示例与最佳实践

本节聚焦于 Flink CDC YAML 数据摄入作业的实际应用场景：

• 数据库数据实时同步到数据湖和消息队列。
• 表筛选、数据转换与表路由。
• 数据摄入过程中的 AI 数据增强。
• 数据摄入作业调优与故障排查。

示例

• MySQL 数据实时入湖 Paimon：合并订单分表，并同步表结构和数据变更。
• MySQL 变更实时分发投递到 Kafka：将表变更写入独立 Topic，并按主键分区。
• PostgreSQL 数据实时入湖 Iceberg：配置逻辑复制，并同步全量快照、行级变更和新增字段。
• 表筛选与新增表同步：排除临时表、不停机捕获新建表，并从 Savepoint 恢复以纳入历史表。
• 元数据列、计算列与软删除：补充元数据、计算日期分区，并保留删除标记。
• AI Function 配置与实时文本标注：配置模型，并在摄入时完成反馈标注、摘要生成和脱敏。

作业语法和支持的连接器请参见数据管道和 Pipeline 连接器。 模型配置和可用的 AI 函数请参见 AI 模型。