Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。
采用golang生态的 wails 进行开发,支持windows,macos,linux等多平台
笔记梳理2.0版本到4.0版本之间的差异,发现修复代码很独立,并不存在与别的模块耦合的情况。建议有需要修复的朋友可以自行修改自己对应Kafka版本的源码编译、更...
我们前面演示都是依赖ZooKeeper的版本,本小节我们介绍2个版本不依赖ZooKeeper的版本,第一个版本就是我们前面使用的版本:kafka_2.13-2....
使用kafka自带的zookeeper,首先将zookeeper启动之后,在启动kafka的时候,报下面的异常,如下所示:
生产者通过批量压缩后再批量发送的方式,将一批消息作为一个整体(“批消息”)提交给 broker 处理。broker 会直接对这一批消息进行分发、复制、刷盘等操作...
在《5 分钟了解 kafka 核心概念》中笔者对消费者和消费者组均进行了概念解释,为了更高的解释 kafka 分区分配策略,笔者下面会通过几张图来先引入分区分配...
在 Kafka 中,消费者在订阅主题时,可以选择 subscribe 或 assign 两种方法。两者的主要区别在于 消费者的分区分配 和 使用场景。下面是它们...
Kafka 是一个分布式流平台,广泛应用于大规模实时数据流的处理。它的核心概念可以帮助我们理解其运作方式。本文将以简明的方式介绍 Kafka 的几个关键概念,帮...
从上面的表中看到,kafka 目前是 7 个大版本,但是实际上还有 2.x 和 3.x 系列两个版本,下面这张图是 kafka 不同版本的演进情况
一般情况下,我们的分区很少会出现异常的情况,但是在Broker异常下线,尤其是一次性下线多个节点的情况就会出现。我这里为了演示,所以把上个小节5节点Kafka直...
2.如果kafka数据容量大于500G,就存在一定风险无法加载成功,而无法通过健康检查,建议是缩小kafka的占用空间较大的Topic数据保留时长,默认是7天,...
我们上一章介绍了中间件:Zookeeper,本章将介绍另外一个中间件:Kafka。目前这2个中间件都是基于JAVA语言的。
本内容原始内容为英文,如需追求最原汁原味和准确的阅读体验,请直接点击底部 [查看原文] 阅读原始英文素材。 AutoMQ 自 2023 年底正式开源以来,凭借...
作者介绍:简历上没有一个精通的运维工程师,下面的思维导图也是预计更新的内容和当前进度(不定时更新)。