DataEase V2 使用增量同步功能实现对历史数据的更新


飞致云 发布于 2025-03-31 / 25 阅读 / 0 评论 /
背景 DataEase V2 支持定时同步功能,同步管理功能支持将用户自己的数据库数据同步到高性能实时分析型数据库(如 Apache Doris)中,以提高数据分析的效率和实时性。我们可以通过配置主键及增量字段的情况下,对于历史数据进行更新,同时同步新数据。

背景

DataEase V2 支持定时同步功能,同步管理功能支持将用户自己的数据库数据同步到高性能实时分析型数据库(如 Apache Doris)中,以提高数据分析的效率和实时性。我们可以通过配置主键及增量字段的情况下,对于历史数据进行更新,同时同步新数据。

一、源数据库 MySQL 表结构及数据如下

二、配置同步任务,设置主键 id,勾选“增量同步”,设置同步字段 update_time

三、执行首次同步,查看 doris 中表结构及数据

四、修改 id 为 1 记录的信息,并插入 id 为 3 的记录

五、再执行一次上述同步任务

六、从 doris 中获取同步表的数据

附:Doris 主键模型



是否对你有帮助?