routine load 任务执行速度慢,隔很久执行一次

【详述】使用routine load 方式从kafka导入数据,任务执行速度慢,导致kafka中始终有几十万数据无法消费
【导入/导出方式】routine load
【背景】做过哪些操作?
fe配置:
max_routine_load_task_num_per_be =18
max_routine_load_task_concurrent_num =10
be配置:
routine_load_thread_pool_size=20
创建的任务:
desired_concurrent_number=10
【业务影响】
【StarRocks版本】2.1.4
【集群规模】1fe+1be
【机器信息】32核CPU

routine load 任务执行速度慢,隔很久执行一次,be,fe都重启过,任务也停止重新删除过,执行效率依旧很低。

查看日志,重复报同一个错:
2022-05-10 11:29:31,423 WARN (thrift-server-pool-7|333) [RoutineLoadJob.executeTaskOnTxnStatusChanged():1015] routine load task [job name gstx_mj_from_kafka, task id a721f22a-70c0-4154-a030-4be1d2bd4b6a] aborted because of intolerable failure in opening node channels, remove old task and generate new one

如何提高kafka消费速度 可以参考这篇帖子提供的方法来提高消费速度

谢谢,我去试试。