routine load kafka 经常导致表不可用(error: tablet updates is in error state)

(标题)【概述】关键信息,比如cause by
【详述】问题详细描述
使用的 PRIMARY KEY 模型
同步完custom表后(大概八亿条数据)之后通过routine load kafka 实时同步数据,每隔100s同步一次数据(“max_batch_interval” = “100”),会不有大量相同主键更新后的数据 load 到starrocks。过段时间后表没办法进行任何操作同时提示:ERROR 1064 (HY000): failed to initialize storage reader. tablet=20001798.406049731.e74f2749f2bd4e62-9b7007c951d0bba1, res=Internal error: failed to capture rowset iterators, tablet=20001798.406049731.e74f2749f2bd4e62-9b7007c951d0bba1, res=Internal error: tablet updates is in error state, backend=172.17.2.23, backend=xxx.xxx.xxx.xxx
【背景】做过哪些操作?
给表里插过数据之后没有再做其他操作
【业务影响】
【StarRocks版本】1.18.2
【集群规模】例如:3fe(1 follower+2observer)+4be(fe与be混部)
【机器信息】32CPU/128G内存/100M网卡,例如:48C/64G/万兆
【附件】

  • fe.warn.log/be.warn.log/相应截图
    be

    fe
  • 慢查询:
    • Profile信息
    • 并行度:show variables like ‘%parallel_fragment_exec_instance_num%’;
    • cbo是否开启:show variables like ‘%cbo%’;
    • be节点cpu和内存使用率截图

你好,primary key模型是1.19.0版本及其之后版本才支持的

好的,我升级到1.19.0后再观察下有没有问题

为什么我1.18.2就可以用,正常操作也没问题,就是routine load 导入大量更新数据老出问题

18版本的primary key模型不太稳定,建议使用最新版本