hive 外部表刷新异常

hive中的分区表,starrocks创建对应的外部表,当hive中分区数据更新之后,刷新外部表(如:REFRESH EXTERNAL TABLE dws_own_external.dws_fact_trade_order_ymd partition(‘date_natural_k=p20220308’),有时候不能立马在starrocks中查询到这个数据。现在不知道哪里可以看到外部表是否刷新成功或者刷新完成。系统自带的两小时刷新一次hive外部表的机制是怎么样的?

您好,请问您使用的版本是?

1.19.5 ,通过select current_version();查询得到的。

refresh是同步的,刷新完成就可以看到,对于存量数据是不需要refresh,对于增量数据或者schemachange有改变的建议每次查询前手动refresh一下,后续我们会优化这块~

如果是分区表,是刷新整个表还是必须要刷新具体的分区才行,如果是刷新整个表的话,能否给个案例。根据官方文档上刷新整个表好像是不行。

https://docs.starrocks.com/zh-cn/main/using_starrocks/External_table#缓存更新可以看下这个case

这里检索refresh,有具体的样例

好的,我再看看,谢谢!

您好,请问hive外部表元数据缓存的刷新,现在默认是2个小时,这个有地方可以修改配置吗(版本2.0.0)。由于分区粒度比较细,所以我们目前的操作只能是每次新增分区后都通过jdbc执行一次当前表的REFRESH,感觉这种方式不够高级 :joy:

这个后续会考虑优化,你可以在git上提个issue,产品会调整相应的优先级尼