DataEase V2 对于已存在定时同步任务新增列


飞致云 发布于 2025-02-27 / 12 阅读 / 0 评论 /
DataEase V2 支持定时同步功能,同步管理功能支持将用户自己的数据库数据同步到高性能实时分析型数据库(如 Apache Doris)中,以提高数据分析的效率和实时性。同步任务创建后,对于尚未开始执行的任务,我们可以直接编辑任务,修改其对应的表结构及字段映射关系;对于已经执行过且目标表存在数据

DataEase V2 支持定时同步功能,同步管理功能支持将用户自己的数据库数据同步到高性能实时分析型数据库(如 Apache Doris)中,以提高数据分析的效率和实时性。同步任务创建后,对于尚未开始执行的任务,我们可以直接编辑任务,修改其对应的表结构及字段映射关系;对于已经执行过且目标表存在数据的任务,我们则可以通过以下方式,对表结构进行调整:

  1. 备份数据库!!!

  2. select * from per_sync_task_info; 从定时同步任务表中获取需要修改的 parameter 参数

  3. json 格式化 parameter,parameter 主要由三个部分组成(以下为需要的修改内容)

    1. source:源数据库相关配置

      1. 修改 query 为新 SQL

      2. 在 fieldList 内添加新的字段,格式与其他已有字段类似

    2. target:目标数据库相关配置

      1. 在 fieldList 内添加新的字段,格式与其他已有字段类似

    3. seaTunnelConfig:seatunnel 配置 (base64解码后,json 格式化),主要由三个部分组成

      1. source:源数据库相关配置

        1. 修改 query 为新 SQL

      2. FieldMapper:字段映射关系

      3. sink:目标数据库相关配置

        1. columns:添加新增字段名称

  4. 修改完成后,定时同步任务打开,可以发现 SQL 和字段管理页面都出现了新增字段

  5. 连接 doris 数据库,使用 alter 关键字新增列

  6. 点击同步按钮



是否对你有帮助?