StarRocks planner use long time 3000 ms in logical phase

1、查询物化视图刷新异常,
Refresh materialized view eqpt_elec_power_day_dws_view failed after retrying 1 times, error-msg : StarRocks planner use long time 3000 ms in logical phase, This probably because 1. FE Full GC, 2. Hive external table fetch metadata took a long time, 3. The SQL is very complex. You could 1. adjust FE JVM config, 2. try query again, 3. enlarge new_planner_optimize_timeout session variable
2、通过查看profiles,发现主要卡在 planner.preprocessMvs 阶段。为了解决这个问题,添加禁用查询改写参数 force_external_table_query_rewrite=false ,查询速度明显提升,并且 planner.preprocessMvs 不再卡顿。
3、但是,如果需要使用查询改写功能,则性能会变慢。希望能够对此进行优化。
4、针对比较复杂的sql StarRocks planner甚至会花费超过半分钟失败


5、query dump 发现报不支持paimon异常

1赞

版本3.2.3