世界滾動(dòng):初探ETLCloud CDC零代碼實(shí)現(xiàn)MySQL數(shù)據(jù)實(shí)時(shí)同步

商洛在線
2023-06-23 17:09:08
來源：RestCloud

1. CDC實(shí)時(shí)數(shù)據(jù)同步的應(yīng)用場(chǎng)景

CDC實(shí)時(shí)同步功能是現(xiàn)代數(shù)據(jù)倉(cāng)庫(kù)技術(shù)中常見的一種數(shù)據(jù)同步技術(shù)，能夠?qū)崿F(xiàn)實(shí)時(shí)交互、持續(xù)同步、高可用性和高性能的數(shù)據(jù)傳輸。

應(yīng)用場(chǎng)景：

實(shí)時(shí)數(shù)據(jù)備份：將源系統(tǒng)的數(shù)據(jù)實(shí)時(shí)備份到目標(biāo)數(shù)據(jù)系統(tǒng)中，確保數(shù)據(jù)的實(shí)時(shí)性和可靠性。

(資料圖片)

高效數(shù)據(jù)同步：保證源系統(tǒng)中數(shù)據(jù)變化及時(shí)地同步到目標(biāo)數(shù)據(jù)系統(tǒng)中，減少數(shù)據(jù)同步延遲和數(shù)據(jù)丟失。

數(shù)據(jù)異構(gòu)轉(zhuǎn)換：將不同數(shù)據(jù)系統(tǒng)之間的數(shù)據(jù)進(jìn)行異構(gòu)轉(zhuǎn)換，實(shí)現(xiàn)數(shù)據(jù)的互通和共享。

數(shù)據(jù)監(jiān)管和審計(jì)：對(duì)數(shù)據(jù)的改動(dòng)進(jìn)行監(jiān)管和審計(jì)，提高數(shù)據(jù)的安全性和合規(guī)性。

ETLCloud CDC 介紹

ETLCloud CDC是一款容安裝易使用的、零代碼的CDC實(shí)時(shí)數(shù)據(jù)同步工具，ETLCloud CDC具有以下功能特點(diǎn)：

零代碼：只需簡(jiǎn)單配置，無(wú)需任何代碼即可完成CDC的配置和同步。

實(shí)時(shí)數(shù)據(jù)同步：將一個(gè)或多個(gè)源數(shù)據(jù)系統(tǒng)的數(shù)據(jù)實(shí)時(shí)傳輸?shù)侥繕?biāo)數(shù)據(jù)系統(tǒng)。

增量數(shù)據(jù)同步：高效的數(shù)據(jù)同步方式，可以只同步最新的更新內(nèi)容，避免全部備份和傳輸。

數(shù)據(jù)源類型：ETLCloud CDC支持多種數(shù)據(jù)源類型的實(shí)時(shí)同步主要包含：MySQL、Sql Server、Oracle、PG、MQ等。

實(shí)時(shí)數(shù)據(jù)類型轉(zhuǎn)換：實(shí)時(shí)將原始數(shù)據(jù)轉(zhuǎn)換為目標(biāo)端可以識(shí)別的格式，從而保證數(shù)據(jù)準(zhǔn)確性和有效性。

DDL同步: 當(dāng)源表的DDL發(fā)現(xiàn)變更時(shí)自動(dòng)同步目標(biāo)表的DDL。

斷點(diǎn)自動(dòng)恢復(fù)：在傳送過程中發(fā)生異常時(shí)能自動(dòng)從斷點(diǎn)位置重新傳送實(shí)時(shí)數(shù)據(jù)。

CDC+ETL一體化架構(gòu): 通過CDC實(shí)時(shí)數(shù)據(jù)流與ETL的結(jié)合實(shí)現(xiàn)對(duì)實(shí)時(shí)復(fù)雜數(shù)據(jù)的處理需求。

此外，ETLCloud CDC 還具備高可用性、靈活配置、數(shù)據(jù)安全加密、任務(wù)監(jiān)控等功能，可滿足不同場(chǎng)景下企業(yè)級(jí)應(yīng)用的要求。

安裝部署

3.1安裝ETLCloud CDC

步驟1：官網(wǎng)下載linux一鍵部署包，把一鍵部署包放到一個(gè)目錄下解壓并進(jìn)入該目錄。

對(duì)腳本文件進(jìn)行賦權(quán)

chmod +x restcloud_install.sh

執(zhí)行腳本

./restcloud_install.sh

等待tomcat啟動(dòng)，當(dāng)出現(xiàn)這個(gè)界面，則restcloud證明啟動(dòng)成功

步驟2：打開瀏覽器輸入{host}/restcloud/admin/login

輸入用戶名密碼: admin/pass

步驟3：登入系統(tǒng)后我們?nèi)ス倬W(wǎng)申請(qǐng)sn碼

填寫好郵箱和對(duì)應(yīng)的機(jī)器號(hào)，點(diǎn)擊驗(yàn)證發(fā)送驗(yàn)證郵件然后就會(huì)返回申請(qǐng)的序列號(hào)到所填寫的郵箱

將返回的序列號(hào)填好，點(diǎn)擊保存，刷新頁(yè)面進(jìn)入到首頁(yè)

步驟4：填寫好序列號(hào)后, 需要執(zhí)行下版本更新, 在平臺(tái)主頁(yè)選擇平臺(tái)監(jiān)控 -> 一鍵備份升級(jí),點(diǎn)擊版本更新按鈕，重啟Tomcat即可。

進(jìn)入tomcat/bin目錄

cd /usr/tomcat/bin

//啟動(dòng)tomcat并打印啟動(dòng)日志

./startup.sh && tail -f ../logs/catalina.out

ETLCloud CDC實(shí)時(shí)庫(kù)表同步

步驟1：啟用MySQL的CDC功能，需要在MySQL的my.cnf配置文件中設(shè)置相應(yīng)的參數(shù)。

在配置文件中增加如下配置，開啟Binlog。

server-id = 123

log_bin = mysql-bin

binlog_format = row

binlog_row_image = full

expire_logs_days = 10

gtid_mode = on

enforce_gtid_consistency = on

修改完配置參數(shù)后重啟MySQL服務(wù)

步驟2：創(chuàng)建數(shù)據(jù)監(jiān)聽器

步驟3：配置數(shù)據(jù)監(jiān)聽器

在創(chuàng)建數(shù)據(jù)同步任務(wù)后，需要對(duì)同步任務(wù)進(jìn)行配置。在這個(gè)過程中，您需要指定要同步的表以及數(shù)據(jù)傳輸模式。

步驟4：啟動(dòng)同步任務(wù)

完成同步任務(wù)的配置后，您需要啟動(dòng)同步任務(wù)以開始實(shí)時(shí)同步數(shù)據(jù)。在ETLCloud中，可以通過單擊“啟動(dòng)”按鈕來啟動(dòng)同步任務(wù)。

步驟5：監(jiān)控同步任務(wù)

啟動(dòng)數(shù)據(jù)同步任務(wù)后，可以通過監(jiān)控面板統(tǒng)計(jì)圖來了解任務(wù)的運(yùn)行狀態(tài)、同步量以及異常情況。

使用Navicat查看源表數(shù)據(jù)（restcloud.test）

使用Navicat查看目標(biāo)表數(shù)據(jù)（test.test）

執(zhí)行插入語(yǔ)句

監(jiān)控面板統(tǒng)計(jì)圖

再次使用Navicat查看源表數(shù)據(jù)（restcloud.test）

目標(biāo)表數(shù)據(jù)（test.test）

通過對(duì)比發(fā)現(xiàn)ETLCloud CDC實(shí)時(shí)同步功能成功使用。

ETLCloud CDC實(shí)時(shí)同步功能是一種高效、可靠的數(shù)據(jù)同步方案，它可以用于實(shí)現(xiàn)源數(shù)據(jù)庫(kù)和目標(biāo)數(shù)據(jù)庫(kù)之間的實(shí)時(shí)同步，從而提高數(shù)據(jù)集成和應(yīng)用開發(fā)的效率。

ETLCloud CDC社區(qū)免費(fèi)版本下載地址：ETLCloud 全域數(shù)據(jù)集成平臺(tái)

標(biāo)簽：