與源庫(kù)流復(fù)制協(xié)議通信：
CMiner通過(guò)流復(fù)制協(xié)議連接到源數(shù)據(jù)庫(kù)上，把WAL日志拉下來(lái)，然后進(jìn)行解碼工作。

解碼進(jìn)程：
CMiner解碼進(jìn)程會(huì)把WAL日志中的數(shù)據(jù)變更如Insert、Delete、Update等增量變化抓取出來(lái)，形成json的格式的數(shù)據(jù)。

kafka發(fā)送進(jìn)程：
CMiner的kafka發(fā)送進(jìn)程把解碼后的數(shù)據(jù)發(fā)送到消息隊(duì)列kafka中。

消費(fèi)程序：
消費(fèi)程序把抓取的增量數(shù)據(jù)，更新到其它的數(shù)據(jù)庫(kù)中，如PostgreSQL、Oracle、MySQL或hadoop中。

源庫(kù)無(wú)需任何改造:
無(wú)需在主數(shù)據(jù)庫(kù)的主機(jī)上部署任何程序，主數(shù)據(jù)庫(kù)的wal_level甚至為replica級(jí)別也可以解碼數(shù)據(jù)。

對(duì)主庫(kù)無(wú)影響：
PostgreSQL自帶的邏輯解碼是在主庫(kù)上完成，對(duì)主庫(kù)性能有加大影響。而CMiner的解碼工作是由獨(dú)立部署CMiner程序完成的，完全不影響主庫(kù)性能。
CMiner也無(wú)需建邏輯復(fù)制槽，完全沒(méi)有把主庫(kù)空間撐滿的風(fēng)險(xiǎn)
可支持流復(fù)制的主備切換:
PostgreSQL自帶的邏輯解碼中的復(fù)制槽在源庫(kù)的主備切換后會(huì)失效，導(dǎo)致數(shù)據(jù)同步中斷，而CMiner不使用邏輯復(fù)制槽，不存在此風(fēng)險(xiǎn)。

DDL：
表加字段、刪除字段，自動(dòng)處理。truncate操作也能抓取到，生成truncate消息。
大事務(wù)支持：
可以靈活處理大事務(wù)，當(dāng)大事務(wù)占用的內(nèi)存超過(guò)我們?cè)O(shè)置的參數(shù)時(shí)，自動(dòng)用磁盤做事務(wù)的緩存，不存在大事務(wù)把內(nèi)存撐爆的風(fēng)險(xiǎn)。
自主可控：
軟件完全自主開發(fā)中啟乘數(shù)科技的PostgreSQL內(nèi)核專家完成，已經(jīng)在銀行中長(zhǎng)期使用，穩(wěn)定可靠。