请问下cloudcanal中对starrocks的支持是starrocks官方的sink插件吗？全量同步时报table version limit exceeded错误

💬 StarRocks 用户问答 数据导入与导出
#1

【详述】利用cloudcanal对mysql源中的千万级表进行同步时，全量同步过程中报table version limit exceeded错误，limit 1000
【导入/导出方式】cloudcannal，mysql源binlog实时同步
【背景】测试集群
【业务影响】
【StarRocks版本】2.1.3
【集群规模】3fe（1 follower+2observer）+ 3be（fe与be混部）
【机器信息】32C/64G/万兆
【附件】

#2
  • 建议您在使用CloudCanal 将 增量数据 导入至 StarRocks ，控制导入的频率increBatchWaitTimeMs参数的建议取值范围为大于等于 10000，单位为ms。
  • 当前社区版本最大 4g 规格下建议增量数据导入配置 fullBatchSize<=512,fullRingBufferSize<=512 ，如果同步任务经常内存不足，请联系 CloudCanal 同学提升任务规格。
#3

最新的我看已经没有这个参数了 increBatchWaitTimeMs

#4

您好，您使用的CloudCanal版本应该是我们2.2.1.10？这个之所以没这个参数应该是我们之前意外流出的alpha版本，已经处理过了，下载我们latest版本即可，会有这个参数。另外CloudCanal针对SR的性能优化版本已经在测试尾声，也即将和大家见面，请对我们保持关注，谢谢。关于CloudCanal还有别的问题也可以加入我们社区群

#6

cloudcanal官网为什么不直接开放tgz非docker的社区版本呢？并不是所有公司都docker化

#7

cloudcanal官网为什么不直接开放tgz非docker的社区版本呢？并不是所有公司都docker化

#8

主要docker一建部署比较方便，需要tgz包的可以社区联系我们小助手

京ICP备2022026421号-1