【0722】StarRocks SIG-DLA (数据湖分析兴趣小组)Apache Iceberg V2 支持

SIG 近期主要工作:StarRocks DataSource Connector for Apache Iceberg V2
欢迎 Iceberg 老司机和对数据湖分析有强烈热情/需求的伙伴加入我们!

项目背景:
StarRocks 在 2.1 版本开始支持利用外表的方式查询 Apache Iceberg V1。
StarRocks 从 2.3 版本开始,支持了全新的数据源接入框架(DataSource Connector)的预览版本,无需建表即可使用 Catalog 直接查询 Iceberg 的数据。
随着使用 Iceberg 的用户越来越多,对 StarRocks 支持分析 V2 的需求也在不断增加,因此我们希望增加 StarRocks 对 Apache Iceberg V2 的支持。

V2 与 V1 的差别主要在 V2 支持行级删除的格式,它可以支持删除满足某些条件的行数据。详情见:https://iceberg.apache.org/spec/

项目设计文档:
https://docs.google.com/document/d/1ZqVaSI_vBXekqXxNEg8NYvuiKgV2fKpMARhU54FhQaM/edit#

会议目的
1.DataSource Connector for Apache Iceberg V2 设计架构说明
2.需求收集
3.制定后续工作计划

会议时间
:spiral_calendar:日期:2022/07/22
:alarm_clock:时间:16:30-17:30

会议记录

  1. 会议记录视频
  2. 文字会议记录

欢迎大家踊跃参与讨论和后续的研发工作,让新功能提早上线!

这个会有录播回看吗?

会有的,上传了会再放上来~

会议记录视频请见 B 站:https://www.bilibili.com/video/BV1bN4y1j7UG/?vd_source=1cb452610138142d1300dd37a6162a88

文字会议记录:https://docs.google.com/document/d/1ippY_TZTNN4BiQfJxU8Td63v5NOOSPI62ffjpLIPLz8/edit#