StarRocks-1.19 Release Notes

StarRocks version 1.19.0

发布日期:2021年10月25日

New Feature

  • 实现Global Runtime Filter,可以支持对shuffle join实现Runtime filter。
  • 默认开启CBO Planner,完善了colocated join/ bucket shuffle/ 统计信息等功能。参考文档
  • [实验功能]发布主键模型(Primary Key):为更好地支持实时/频繁更新功能,StarRocks新增了一种表的类型: 主键模型。该模型支持Stream Load、Broker Load、Routine Load、JSON导入,同时提供了基于Flink-cdc的MySQL数据的秒级同步工具。参考文档
  • [实验功能]新增外表写入功能。支持将数据通过外表方式写入另一个StarRocks集群的表中,以解决读写分离需求,提供更好的资源隔离。参考文档

Improvement

StarRocks

  • 性能优化:

    • count distinct int 语句
    • group by int 语句
    • or 语句
  • 优化磁盘Balance算法,单机增加磁盘后可以自动进行数据均衡。

  • 支持部分列导出。 参考文档

  • 优化 show processlist ,显示具体SQL。

  • SET_VAR支持多个变量设置,例如 select /*+ SET_VAR(is_report_success=true , parallel_fragment_exec_instance_num=8) */ * from table_name

  • 完善更多报错信息,包括table_sink、routine load、创建物化视图等

StarRocks-DataX Connector

  • StarRocks-DataX Writer 支持设置interval flush。

StarRocks-Spark Connector

  • 支持通过向量化读取,请务必到升级StarRocks到1.19后使用spark-connector 参考文档

Bugfix

  • 修复动态分区表在数据恢复作业完成后,新分区无法自动创建的问题。 # 337

  • 修复CBO开启后 row_number 函数报错的问题。

  • 修复统计信息收集导致fe卡死的问题。

  • 修复 set_var 针对session生效而不是针对语句生效的问题。

  • 修复Hive分区外表 select count(*) 返回异常的问题。

升级注意事项

如果是从StarRocks-1.18.2以后升级只需要按照文档的正常升级流程替换lib 滚动升级即可。

如果是从DorisDB的老版本升级,需要注意bin目录的脚本和环境变量有改动,而且元数据的默认路径也从doris-meta变成了meta,所以升级请确认你的配置文件内容。 可以参考 链接
另外请注意从DorisDB升级到StarRocks以后无法回滚

1赞

1.19.1

发布日期: 2021年11月2日

Improvement:

BugFix:

1.19废弃hdfs外部表功能(ENGINE=broker),与hive外表功能有重叠。

2赞

1.19.2

发布日期: 2021年11月20日

Improvement:

  • bucket shuffle join 支持right join和 full outer join (#1209) (#1234)

Major Bugfix:

  • 修复repeat node 无法进行谓词下推的问题(#1410) (#1417)

  • 修复routine load在集群切主场景下可能导入丢失数据的问题 (#1074) (#1272)

  • 修复创建视图无法支持union的问题 (#1083)

  • 修复一些Hive外表稳定性问题(#1408)

  • 修复一个group by视图的问题(#1231)

1.19.3

发布日期: 2021年11月30日

Improvement:

  • 升级jprotobuf版本提升安全性 (#1506)

Major Bugfix:

  • 修复部分group by结果正确性问题

  • 修复grouping sets部分问题(#1395) (#1119)

  • 修复date_format的部分参数问题

  • 修复一个聚合streamming的边界条件问题(#1584

详细内容参考链接

1.19.4
发布日期: 2021年12月09日

Imporvement

Bugfix

  • 修复带谓词Cross Join查询结果错误bug (#1918)

  • 修复decimal类型,time类型转换bug (#1709) (#1738)

  • 修复colocate join/replicate join选错bug (#1727)

  • 修复若干plan cost计算问题

1.19.5
发布日期: 2021年12月20日

Imporvement

  • 优化shuffle join的一个规划 (#2184)

  • 优化多个大文件导入 (#2067)

Bugfix

1.19.7

发布日期:2022年3月18日

Bug 修复

  • 修复 dateformat 在不同版本输出结果不一致的问题。#4165
  • 修复在导入数据时因错误删除 Parquet 文件而导致 BE 节点崩溃的问题。#3521