BE节点CPU使用率高

【详述】BE节点CPU使用率高,全天在60%~70%徘徊
【背景】接入了较多的Flink写StarRocks任务
【业务影响】
【StarRocks版本】2.3.1
【集群规模】3fe(1 follower+2observer)+3be(独立部署)
【机器信息】8C/64G/万兆
【详情】
perf top的执行结果显示:

find_best_tablet_to_compaction和capture_consistent_versions占用的CPU资源较高,请问除了加CPU核数外,有其他降低CPU使用率的调优手段吗

三台节点Tablet总数:275585

正在优化,当前一个临时解决方案,一个彻底解决方法,如果有兴趣的过,我们可以打个临时包,一起测试下。

是不是be.conf中,修改过compaction相关的配置,BE上挂了几块盘?

两块盘,compaction的参数没修改过
生产环境不敢测哟 :sob:

多大数据量,怎么会有20万个Tablet,

curl http://BE_IP:BE_HTTP_PORT/metrics | grep “score” 看下这些指标

那当前版本,不好解决。已优化,还未发版

这个优化了,合并的CPU性能消耗会下降很多是吧

你们这个场景,应该可以下降到只用2个CPU

如果 score值不高的话,可以先改下be.conf cumulative_compaction_check_interval_seconds=4 缓解下

请问 2.4.0版本,解决这个问题了吗

2.4.0还没解决

好的,谢谢! :grinning:

再咨询个问题,starrocks_be_tablet_update_max_compaction_score这个值很高,正常么,有几千万甚至上亿的值。有大部分表是更新模型的。Flink实时往里写数据

update_max_compaction_score高的话,是正常的