文章作者: BaiYiZhuo
版权声明: 本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Bai's Blog!
相关推荐
2024-12-06
First Kafka Application
使用在线云服务:Create Cluster - Confluent Cloud 创建Kafka基本服务 使用优惠码: 配置集群名称: 创建Topic默认消息分组6个 页面创建消息创建一个新的消息:实际上每个消息依照Key划分到不同的分区位置 存储在分区标号为3的分区上 使用CTLCluster Dashboard - Confluent Cloud
2024-12-06
Kafka Broker - 代理
Kafka分布式系统实际上是通过不同的独立的机器(Broker)组成的网络构成的 每个Broker管理一组Kafka Partition 处理写入读取请求 -> 处理新事件 管理彼此之间的数据复制 初次之外不进行管理其他功能
2024-12-06
Kafka Partitioning - Topic分区
...
2024-12-06
Kafka Producer - 生产者
这是实际上开发使用最多的,每一个Broker其实底层都可以看作一个生产者或者消费者或者Both Producers——生产者 发送消息Topic 相应的Kafka连接池 网络缓冲 消息重发retry 决定消息发送到哪一个Partition Producer:实际的消息发送者 ProducerRecored:保存发送的KV
2024-12-06
Kafka Relication - 副本
为了保证数据安全,Kafkaj将每个分区中的数据进行复制到不同的Broker中 副本叫做Followers,Lead Partition叫做主分区,领导N - 1个分区 写入 / 读取数据实际上是想Leader进行写入,之后由Leader进行写入其他的副本(自动过程 ,只需要开启配置) 可以配置不同级别的数据安全级别
2024-12-06
Kafka Topic - 主题
kafka单机性能其实不是考虑的重点,分布式系统,并且实际上由于Logs非常简单的数据结构,对于Kafka来说可以获得很高的性能,使得Topic复制非常方便。 传统的Mq中实际上存在,主题和Queue用于在源和目标系统之间做缓冲,但是Kafka实际上是Logs,实质上会被Kafka写入Disk进行存储 Topic:Kafka的一组事件组织单元,是含有名称的容器,存放的是多组相关事件。 系统会存在多个需多不同的Topic 可以在两个Topic之间传递交换数据(stream...