Pipeline Connectors

Flink CDC 提供了可用于 YAML 作业的 Pipeline Source 和 Sink 连接器来与外部系统交互。您可以直接使用这些连接器，只需将 JAR 文件添加到您的 Flink CDC 环境中，并在您的 YAML Pipeline 定义中指定所需的连接器。

Supported Connectors

连接器	类型	支持的外部系统	下载链接
Apache Doris	Sink	Apache Doris: 1.2.x, 2.x.x, 3.x.x	Apache Doris
Elasticsearch	Sink	Elasticsearch: 6.x, 7.x, 8.x	Elasticsearch
Fluss	Source, Sink	Fluss: 0.7, 0.8, 0.9, 1.0	Fluss
Hudi	Sink	Apache Hudi	Apache Hudi
Iceberg	Sink	Apache Iceberg: 1.6, 1.7, 1.8, 1.9, 1.10	Apache Iceberg
Kafka	Sink	Kafka	Kafka
MaxCompute	Sink	MaxCompute	MaxCompute
MySQL	Source	MySQL: 5.7, 8.0.x, 8.4+ RDS MySQL: 5.6, 5.7, 8.0.x PolarDB MySQL: 5.6, 5.7, 8.0.x Aurora MySQL: 5.6, 5.7, 8.0.x MariaDB: 10.x PolarDB X: 2.0.1	MySQL
OceanBase	Sink	OceanBase: 3.x, 4.x	OceanBase
Oracle	Source	Oracle	Oracle
Paimon	Sink	Paimon: 0.6, 0.7, 0.8, 0.9, 1.0, 1.1, 1.2, 1.3, 1.4, 2.0	Paimon
Postgres	Source	PostgreSQL	Postgres
SQL Server	Source	SQL Server	SQL Server
StarRocks	Sink	StarRocks: 2.x, 3.x	StarRocks

下表展示了 Flink CDC 管道连接器和 Flink 之间的版本映射：

Flink CDC 版本	Flink 版本	Pipeline Source	Pipeline Sink	备注
3.7.x	1.20., 2.2.	MySQL, PostgreSQL, Oracle, SQL Server, Fluss	StarRocks, Doris, Paimon, Kafka, Elasticsearch, OceanBase, MaxCompute, Iceberg, Fluss, Hudi
3.6.x	1.20., 2.2.	MySQL, PostgreSQL, Oracle	StarRocks, Doris, Paimon, Kafka, Elasticsearch, OceanBase, MaxCompute, Iceberg, Fluss, Hudi
3.5.x	1.19., 1.20.	MySQL, PostgreSQL	StarRocks, Doris, Paimon, Kafka, Elasticsearch, OceanBase, MaxCompute, Iceberg, Fluss
3.4.x	1.19., 1.20.	MySQL	StarRocks, Doris, Paimon, Kafka, Elasticsearch, OceanBase, MaxCompute, Iceberg
3.3.x	1.19., 1.20.	MySQL	StarRocks, Doris, Paimon, Kafka, Elasticsearch, OceanBase, MaxCompute
3.2.x	1.17., 1.18., 1.19.*	MySQL	StarRocks, Doris, Paimon, Kafka, Elasticsearch
3.1.x	1.17., 1.18., 1.19.*	MySQL	StarRocks, Doris, Paimon, Kafka	仅 Flink CDC 3.1.1 支持 Flink 1.19
3.0.x	1.17., 1.18.	MySQL	StarRocks, Doris

如果现有的连接器无法满足您的需求，您可以自行开发自己的连接器，以将您的外部系统集成到 Flink CDC 数据管道中。查阅 Flink CDC APIs 了解如何开发您自己的连接器。