通过调整并行度增加Routine load 消费kafka数据速率

routine load 消费的并行度取决于以下四个属性的最小值,增大并行度可以增加消费速率:
1.desired_concurrent_number 创建routine load任务时指定参数,默认3。
2.kafka的分区数。
3.fe的配置 max_routine_load_task_concurrent_num = 5。
4.be数量。

可以看出来主要受限于存活的be节点数,比如您的kafka分区数>be数量的时候,建议拆分成多个routine load任务,比如您的任务可以拆分成两个routine load任务,可以指定每个任务消费3个分区