文章作者: BaiYiZhuo
版权声明: 本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Bai's Blog！
相关推荐
2024-12-10
First Kafka Application
使用在线云服务：Create Cluster - Confluent Cloud 创建Kafka基本服务 使用优惠码： 配置集群名称： 创建Topic默认消息分组6个 页面创建消息创建一个新的消息：实际上每个消息依照Key划分到不同的分区位置 存储在分区标号为3的分区上 使用CTLCluster Dashboard - Confluent Cloud
2024-12-10
Kafka Broker - 代理
Kafka分布式系统实际上是通过不同的独立的机器（Broker）组成的网络构成的 每个Broker管理一组Kafka Partition 处理写入读取请求 -> 处理新事件 管理彼此之间的数据复制 初次之外不进行管理其他功能
2024-12-10
Kafka Partitioning - Topic分区
...
2024-12-10
Kafka Producer - 生产者
这是实际上开发使用最多的，每一个Broker其实底层都可以看作一个生产者或者消费者或者Both Producers——生产者 发送消息Topic 相应的Kafka连接池 网络缓冲 消息重发retry 决定消息发送到哪一个Partition Producer：实际的消息发送者 ProducerRecored：保存发送的KV
2024-12-10
Kafka Relication - 副本
为了保证数据安全，Kafkaj将每个分区中的数据进行复制到不同的Broker中 副本叫做Followers，Lead Partition叫做主分区，领导N - 1个分区 写入 / 读取数据实际上是想Leader进行写入，之后由Leader进行写入其他的副本（自动过程 ，只需要开启配置） 可以配置不同级别的数据安全级别
2024-12-10
Kafka Topic - 主题
kafka单机性能其实不是考虑的重点，分布式系统，并且实际上由于Logs非常简单的数据结构，对于Kafka来说可以获得很高的性能，使得Topic复制非常方便。 传统的Mq中实际上存在，主题和Queue用于在源和目标系统之间做缓冲，但是Kafka实际上是Logs，实质上会被Kafka写入Disk进行存储 Topic：Kafka的一组事件组织单元，是含有名称的容器，存放的是多组相关事件。 系统会存在多个需多不同的Topic 可以在两个Topic之间传递交换数据（stream...