Kafka Consumer各版本分析总结
又是很久没有写技术文章了, 平时的东西会记录在自己的本地, 比较方便; 但是搬上Blog的过程需要重新的总结和回顾甚至排版, 真没有那么多时间弄这些.
进入正题. Kafka从0.7版本到现在的0.10版本, 经历了巨大的变化; 而其中, 首当其冲的是Consumer的机制.
Kafka最早设计Consumer的时候, 大方向比较明确, 就是同时支持Subscribe功能和Message Queue功能. 语义设计上很清晰，但是实现之后, 发现有一些问题. 主要问题集中在:
1 用户希望自己能够控制Offset的保存和读取;
2 Offset保存在Zookeeper中对Zookeeper带来压力较大, 需要脱离的ZK的依赖;
Committing and fetching consumer offsets in Kafka
Offset Management
https://issues.apache.org/jira/browse/KAFKA-657
3 用户希望能获得Offset并且自行决定保存的位置;
4 用户自己控制Offset时, 却会陷入复杂的异常处理逻辑;
5 老的Consumer会有惊群效应和脑裂问题;
Consumer的改进直到0.9版本, 终于有了一个接近完美的版本; 但是由于向前兼容的需要, 以前的Consumer方式正在被使用, 并没有彻底移除. 由于Consumer的多版本存在, 并且个版本的Consumer变化很大, 这些影响又是对上层可见的, 所以对使用者造成了很大的混淆和困惑.
所以我想在这篇Blog中整理分析一下各Consumer的特点和区别, 让大家有一个纵观历史的认识.
智能推荐
注意！
本站转载的文章为个人学习借鉴使用，本站对版权不负任何法律责任。如果侵犯了您的隐私权益，请联系我们删除。