【详述】想用flink-connector-starrocks同步两个mysql库里面的数据同步到starrocks的一个库
【导入/导出方式】导入
【背景】想用flink-connector-starrocks 将两个租户的mysql数据实时同步到starrocks的一个库,
【业务影响】同步大表数据,flink taskmanager 会出现OOM 导致同步数据任务失败,打了dump出来,如下图所示
【StarRocks版本】starrocks-2.0.3,flink-1.13.6,flink-connector-starrocks-1.2.1_flink-1.13_2.11.jar, flink-sql-connector-mysql-cdc-2.1.1.jar
【集群规模】starrocks和flink均单节点部署
【机器信息】starrocks 8核32G flink 4核16G,taskmanager.memory.process.size配置为10728m
【附件】
- fe. .log/be.warn.log/相应截图