文章: Yelp的实时流技术之二:将MySQL表数据变更实时流到Kafka中

2016年9月16日 | By News | Filed in: 未分类.

Source: http://www.infoq.com/cn/articles/yelp-real-time-data-pipeline-part02?utm_campaign=infoq_content&utm_source=infoq&utm_medium=feed&utm_term=global

这是关于Yelp的实时流数据基础设施系列文章的第二篇。这个系列会深度讲解我们如何用“确保只有一次”的方式把MySQL数据库中的改动实时地以流的方式传输出去,我们如何自动跟踪表模式变化,如何处理和转换流,以及最终如何把这些数据存储到Redshift或Salesforce之类的数据仓库中去。这一篇中介绍的是MySQLStreamer,它从MySQL二进制文件中提取所有的数据变更操作事件,再把这些事件发布到Kafka中。

By Prem Santosh Udaya Shankar Translated by 足下


Comments are closed here.