CloudCanal 是一款可視化的數(shù)據(jù)同步、遷移工具，可以幫助企業(yè)構(gòu)建高質(zhì)量數(shù)據(jù)管道，具備實(shí)時(shí)高效、精確互聯(lián)、穩(wěn)定可拓展、一站式、混合部署、復(fù)雜數(shù)據(jù)轉(zhuǎn)換等優(yōu)點(diǎn)。

?

應(yīng)用場景

CloudCanal 可以幫助企業(yè)實(shí)現(xiàn)以下數(shù)據(jù)應(yīng)用場景：

• ? 數(shù)據(jù)同步：通過消費(fèi)源端數(shù)據(jù)源增量操作日志，準(zhǔn)實(shí)時(shí)在對(duì)端數(shù)據(jù)源重放，以達(dá)到數(shù)據(jù)同步目的，具備斷點(diǎn)續(xù)傳、DDL 同步、元數(shù)據(jù)映射裁剪、自定義代碼數(shù)據(jù)處理、操作過濾、數(shù)據(jù)條件過濾、高性能對(duì)端寫入等特點(diǎn)。
• ? 數(shù)據(jù)遷移：將指定數(shù)據(jù)源數(shù)據(jù)全量搬遷到目標(biāo)數(shù)據(jù)源，支持多種數(shù)據(jù)源，具備斷點(diǎn)續(xù)傳、順序分頁掃描、并行掃描、元數(shù)據(jù)映射裁剪、自定義代碼數(shù)據(jù)處理、批量寫入、并行寫入、數(shù)據(jù)條件過濾等特點(diǎn)，對(duì)源端數(shù)據(jù)源影響小且性能好，同時(shí)滿足數(shù)據(jù)輕度處理需求。
• ? 數(shù)據(jù)校驗(yàn)和訂正：將源端和對(duì)端數(shù)據(jù)分別取出，逐字段對(duì)比，可選擇差異數(shù)據(jù)訂正，功能可單獨(dú)使用，也可配合數(shù)據(jù)遷移或數(shù)據(jù)同步使用，滿足用戶數(shù)據(jù)質(zhì)量驗(yàn)證與修復(fù)的需求。
• ? 結(jié)構(gòu)遷移和同步：幫助用戶快速將源端結(jié)構(gòu)執(zhí)行到對(duì)端的功能，具備類型轉(zhuǎn)換、數(shù)據(jù)庫方言轉(zhuǎn)換、命名映射等特點(diǎn)，可獨(dú)立使用，也可作為數(shù)據(jù)遷移或數(shù)據(jù)同步準(zhǔn)備步驟。

CloudCanal 目前已經(jīng)支持的數(shù)據(jù)源包括：MySQL、Oracle、PostgreSQL、SQL Server、RDS for MySQL、ElasticSearch、Hive、Kafka、RocketMQ、RDS for PG、ADB for PG、Greenplum、RabbitMQ、TiDB、PolarDB、ClickHouse、PolarDB-X、Redis、Kudu、MongoDB、StarRocks、OceanBase、Doris、SelectDB、SAP Hana、MariaDB、Hudi、Aurora、RedShift、IBM Db2、達(dá)夢(mèng)數(shù)據(jù)庫、高斯數(shù)據(jù)庫、AutoMQ、DocumentDB 等。

系統(tǒng)架構(gòu)

CloudCanal 系統(tǒng)主要分為三個(gè)組件部分：

• ? Console：集中化的管控服務(wù)，以 web 服務(wù)集群存在；承載產(chǎn)品化功能，包括數(shù)據(jù)源/機(jī)器/數(shù)據(jù)任務(wù)生命周期管理、容災(zāi)調(diào)度、監(jiān)控告警、元數(shù)據(jù)管理等。
• ? Sidecar：部署于具體數(shù)據(jù)遷移同步機(jī)器上，承擔(dān)包括獲取需要運(yùn)行的任務(wù)配置、啟停數(shù)據(jù)任務(wù)進(jìn)程、收集和上報(bào)任務(wù)狀態(tài)、執(zhí)行任務(wù)的健康檢查等工作。
• ? CloudCanal Core：部署于具體數(shù)據(jù)遷移同步機(jī)器上，執(zhí)行具體的數(shù)據(jù)遷移、同步、校驗(yàn)、訂正任務(wù)。

其中，CloudCanal Core 由以下功能模塊組成：

• ? 數(shù)據(jù)源插件：包含各個(gè)數(shù)據(jù)庫、消息、數(shù)據(jù)倉庫等數(shù)據(jù)源數(shù)據(jù)讀寫、元數(shù)據(jù)獲取邏輯和對(duì)應(yīng)驅(qū)動(dòng)。各個(gè)插件通過 Java 類加載機(jī)制隔離，任務(wù)運(yùn)行時(shí)只加載對(duì)應(yīng)數(shù)據(jù)源插件。
• ? 核心：包含內(nèi)核代碼骨架、操作過濾、元數(shù)據(jù)映射、DDL 轉(zhuǎn)換、自定義數(shù)據(jù)處理等部分。
• ? 支撐：包含元數(shù)據(jù)、任務(wù)配置、位點(diǎn)、監(jiān)控指標(biāo)，以及和管控交互的邏輯。

產(chǎn)品優(yōu)勢

CloudCanal 相比同類產(chǎn)品的優(yōu)勢如下：

• ? 實(shí)時(shí)高效：數(shù)據(jù)同步功能延遲普遍小于 5 秒 , 期間完成增量數(shù)據(jù)解析、攢批、操作過濾、數(shù)據(jù)轉(zhuǎn)換、元數(shù)據(jù)映射、數(shù)據(jù)寫入等動(dòng)作。
• ? 精確互聯(lián)：對(duì)于數(shù)據(jù)鏈路兩端的數(shù)據(jù)類型、結(jié)構(gòu)規(guī)范、讀寫特點(diǎn)做了精確匹配與轉(zhuǎn)換，讓每一個(gè)數(shù)據(jù)源種類、版本差異 得到妥善解決。
• ? 穩(wěn)定可擴(kuò)展：產(chǎn)品內(nèi)核精簡，單進(jìn)程架構(gòu)，系統(tǒng)分布式、高可用部署。產(chǎn)品通過組合各個(gè)職能的任務(wù)進(jìn)程，實(shí)現(xiàn)大規(guī)模、分布式、高質(zhì)量數(shù)據(jù)管道集群。
• ? 一站式：匯集結(jié)構(gòu)遷移、數(shù)據(jù)遷移、數(shù)據(jù)同步、數(shù)據(jù)校驗(yàn)與訂正、修改訂閱等功能，通過有限狀態(tài)機(jī)讓功能自動(dòng)流轉(zhuǎn)和運(yùn)行。一站式支持用戶數(shù)據(jù)準(zhǔn)備與長期同步過程的一系列工作。
• ? 混合部署：支持各個(gè)公有云、本地機(jī)房私有部署，首要關(guān)注用戶數(shù)據(jù)安全，有效支持異地、云上云下、多云之間數(shù)據(jù)安全同步需求。
• ? 復(fù)雜數(shù)據(jù)轉(zhuǎn)換：產(chǎn)品默認(rèn)包含元數(shù)據(jù)映射、裁剪、過濾等標(biāo)準(zhǔn)能力，同時(shí)支持 用戶上傳業(yè)務(wù)代碼 進(jìn)行數(shù)據(jù)復(fù)雜處理。

版本對(duì)比

CloudCanal 目前提供三種版本的產(chǎn)品，分別為社區(qū)版、商業(yè)試用版、商業(yè)版，三種版本的特點(diǎn)與功能對(duì)比如下：

閱讀原文：原文鏈接