不积跬步,无以至千里;不积小流,无以成江海。

Mysql binlog实时监听,同步数据到kafka集群

数据库 康康 165℃ 0评论

项目介绍

基于 mysql-binlog-connector-java 的springboot项目,实现监听并同步mysql binlog推送到kafka集群,支持数据库、表过滤

项目地址:mysql-sync-kafka

如何使用

配置好kafka集群和要同步的数据库和表即可,注意mysql要开启binlog日志记录,否则启动会报错!

mysql开启binlog日志:

运行sql show variables like ‘log_bin’; 如果Value 为 OFF 则为没有开启日志文件记录,修改配置文件并重启mysql,具体可参考官方文档,以下简单配置仅供参考:

[mysqld]

# binlog 配置

log-bin = /usr/local/var/mysql/logs/mysql-bin.log

expire-logs-days = 14

max-binlog-size = 500M

server-id = 1 #该server-id和项目配置中的binlog.mysql.server-id需要一致

基于 mysql-binlog-connector-java 实现:

其他功能请参考:mysql-binlog-connector-java

转载请注明:左手代码右手诗 » Mysql binlog实时监听,同步数据到kafka集群

喜欢 (0)or分享 (0)
头像
发表我的评论
取消评论

 

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址