本文共 730 字，大约阅读时间需要 2 分钟。

1. CDC 是什么

CDC 是 Change Data Capture 的缩写，意为数据变更捕获。其核心思想是实时监测数据库中的数据变动，包括插入、更新和删除等操作，将这些变更按时间顺序记录并写入消息中间件，供其他服务订阅和消费。 在广义上，只要能够捕获数据变更的技术都可以称为 CDC。然而，通常所说的 CDC 技术主要面向数据库的变更，属于一种数据捕获技术。

CDC 的应用场景广泛，主要包括以下几个方面：

• 数据同步：用于备份和容灾
• 数据分发：将数据从一个源发送到多个下游
• 数据采集（ETL）：用于数据仓库或数据湖的数据集成

2. CDC 的种类

CDC 主要分为两种实现方式：基于查询和基于 Binlog。以下是两者的主要区别： - **基于查询的 CDC**：通过执行查询来捕获数据变更，适用于支持触发器机制的数据库。 - **基于 Binlog 的 CDC**：利用数据库的二进制日志文件来记录数据变更，适用于支持 Binlog 功能的数据库。

3. 传统 CDC 与 Flink CDC 对比

传统 CDC 和基于 Flink 的 CDC 在实现方式和应用场景上存在显著差异。以下是两者的对比：

• ETL 分析

  传统 CDC 的 ETL 分析通常依赖于批量处理，可能导致延迟。基于 Flink 的 CDC 则支持在线处理，能够实时完成数据分析和转换，提升了处理效率。

• 基于 Flink 的聚合分析

  基于 Flink 的聚合分析能够在数据流处理过程中即时完成，支持复杂的数据聚合操作，相比传统 CDC 更适合实时数据分析场景。

• 数据打宽

  基于 Flink 的数据打宽支持高效的宽表转换，能够在数据流处理过程中快速扩展数据表结构，显著提升数据处理能力。

转载地址：http://oqefk.baihongyu.com/