Gravity 是一款数据复制组件,提供全量、增量数据同步,以及向消息队列发布数据更新。
DRC 的设计目标是:
- 支持多种数据源和目标的,可灵活定制的数据复制组件
- 支持基于 Kubernetes 的 PaaS 平台,简化运维任务
- 大数据总线:发送 MySQL Binlog,Mongo Oplog 的数据变更到 kafka 供下游消费
- 单向数据同步:MySQL --> MySQL 的全量、增量同步
- 双向数据同步:MySQL <--> MySQL 的双向增量同步,同步过程中可以防止循环复制
- 分库分表到合库的同步:MySQL 分库分表 --> 合库的同步,可以指定源表和目标表的对应关系
- 在线数据变换:同步过程中,可支持对进行数据变换
- 数据源
| 是否支持 | |
|---|---|
| MySQL Binlog | ✅ |
| MySQL 全量 | ✅ |
| Mongo Oplog | ✅ |
| TiDB Binlog | 开发中 |
| PostgreSQL WAL | 开发中 |
- 数据输出
| 是否支持 | |
|---|---|
| Kafka | ✅ |
| MySQL/TiDB | ✅ |
| Mongo DB | 开发中 |
- 数据变换
| 是否支持 | |
|---|---|
| 数据过滤 | ✅ |
| 重命令列 | ✅ |
| 删除列 | ✅ |
