主键模型broker load 导入,内存消耗太大

【详述】主键模型broker load 导入,内存消耗太大。一个任务没导完内存就消耗完了
【导入/导出方式】broker load 导hdfs上的gz压缩文件
【背景】建表,导入数据
【业务影响】现在无法导入初始数据进入数据库
【StarRocks版本】例如:2.1.0
【集群规模】例如:3fe(1 follower+2observer)+ 6be(fe与be混部) (3个be性能好点,另外3个相对差一点)
【机器信息】CPU虚拟核/内存/网卡,例如:
3台 另外3台
40C 40C
376G 125G
万兆 万兆
【附件】

  • fe.warn.log/be.warn.log/相应截图

主键模型适用于热点数据的更新,其key导入过程是存在内存中的。所以使用前可以评估下相应的内存开销

你好,问下主键模型的主键索引是什么机制会清除的?比如我按月分区的数据,当前月有热点数据更新,是只会有对应热点数据的主键索引在内存中吗?到了下一个月,前一个月的热点数据没有更新了,那内存中的对应索引是怎么清除的呢

看数据的分区,默认在内存中6min,如果对应分区有导入的话,会将整个分区的索引拉倒内存中。后续大概在2.4 ,2.5会做出改进只拉取一点索引。

2赞

好的,明白了,谢谢。所以对于冷热数据分区,且分区数据量可控的情况下,用主键模型构建其实是比较好的