CMiner是一款抓取PostgreSQL增量变化数据(CDC)的产品

首页
产品
CLup:PostgreSQL高可用集群平台CData高性能数据库云一体机CBackup数据库备份恢复云平台CPDA高性能双子星数据库机
解决方案
数据库专业技术服务全栈式PostgreSQL解决方案Oracle分布式存储化数据库云
客户及伙伴
关于我们
公司简介 联系我们
技术文章
中启开源
img
img

产品介绍

CMiner是一款抓取PostgreSQL增量变化数据(CDC)的产品,类似于Oracle中OGG工具,把增量变化的数据从WAL日志中反解析出来,送到kafaka中。

产品功能

product

平台架构

与源库流复制协议通信:
CMiner通过流复制协议连接到源数据库上,把WAL日志拉下来,然后进行解码工作。

解码进程:
CMiner解码进程会把WAL日志中的数据变更如Insert、Delete、Update等增量变化抓取出来,形成json的格式的数据。

kafka发送进程:
CMiner的kafka发送进程把解码后的数据发送到消息队列kafka中。

消费程序:
消费程序把抓取的增量数据,更新到其它的数据库中,如PostgreSQL、Oracle、MySQL或hadoop中。
product

无侵入设计

源库无需任何改造:
无需在主数据库的主机上部署任何程序,主数据库的wal_level甚至为replica级别也可以解码数据。

对主库无影响:
PostgreSQL自带的逻辑解码是在主库上完成,对主库性能有加大影响。而CMiner的解码工作是由独立部署CMiner程序完成的,完全不影响主库性能。
CMiner也无需建逻辑复制槽,完全没有把主库空间撑满的风险

可支持流复制的主备切换:
PostgreSQL自带的逻辑解码中的复制槽在源库的主备切换后会失效,导致数据同步中断,而CMiner不使用逻辑复制槽,不存在此风险。
product

DDL和大事务完美支持

DDL:
表加字段、删除字段,自动处理。truncate操作也能抓取到,生成truncate消息。

大事务支持:
可以灵活处理大事务,当大事务占用的内存超过我们设置的参数时,自动用磁盘做事务的缓存,不存在大事务把内存撑爆的风险。

自主可控:
软件完全自主开发中启乘数科技的PostgreSQL内核专家完成,已经在银行中长期使用,稳定可靠。

浙江省杭州市滨江区浦沿街道伟业路3号A幢1008室

合作邮箱:services@csudata.com

Copyright © 2021 中启乘数科技(杭州)有限公司 浙ICP备17035180号 浙公安备 33010802009929 号

合作邮箱:services@csudata.com

浙江省杭州市滨江区浦沿街道伟业路3号A幢1008室

Copyright © 2021 中启乘数科技(杭州)有限公司 浙ICP备17035180号 浙公安备 33010802009929 号

img 400-887-8716
img
img
img