如何提高kafka消费速度

【详述】使用 Routine Load导入数据时kafka消息经常积压,无论怎么调整参数都无法减少消息积压,请教一下还有什么办法减少积压吗
【背景】topic分区由3调整6, desired_concurrent_number由3变更为6,积压数据量还是1.6万没有什么提升
【业务影响】
【StarRocks版本】1.19.5
【集群规模】 2fe(1 follower+2observer)+3be(fe与be混部)

你好,当前routine load并发取决于min(min(partitionNum,min(desireTaskConcurrentNum,aliveBeNum)),Config.max_routine_load_task_concurrent_num)
partitionNum:kafka分区数
desireTaskConcurrentNum: desired_concurrent_number配置
aliveBeNum:集群存储的be节点
max_routine_load_task_concurrent_num:be的配置项,默认为5

可以看出来主要受限于存活的be节点数,比如您的kafka分区数>be数量的时候,建议拆分成多个routine load任务,比如您的任务可以拆分成两个routine load任务,可以指定每个任务消费3个分区

desired_concurrent_number增大这个参数对于消费速度的提升没有太大作用吧

是的,没用,请根据这个调整