Kafka Broker - 代理

发表于2022-10-02|更新于2024-11-18|开发 && 学习消息队列Kafka

|总字数:75|阅读时长:1分钟|浏览量:

Kafka分布式系统实际上是通过不同的独立的机器（Broker）组成的网络构成的

每个Broker管理一组Kafka Partition
处理写入读取请求 -> 处理新事件
管理彼此之间的数据复制

初次之外不进行管理其他功能

文章作者: BaiYiZhuo

文章链接: https://blog.baiyz.top/274e60cb/

版权声明: 本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Bai's Blog！

学习消息队列 kafka 大数据

相关推荐

First Kafka Application

使用在线云服务：Create Cluster - Confluent Cloud 创建Kafka基本服务使用优惠码：配置集群名称：创建Topic默认消息分组6个页面创建消息创建一个新的消息：实际上每个消息依照Key划分到不同的分区位置存储在分区标号为3的分区上使用CTLCluster Dashboard - Confluent Cloud

Kafka Consumer - 消费者

Kafka Partitioning - Topic分区

Kafka Producer - 生产者

这是实际上开发使用最多的，每一个Broker其实底层都可以看作一个生产者或者消费者或者Both Producers——生产者发送消息Topic 相应的Kafka连接池网络缓冲消息重发retry 决定消息发送到哪一个Partition Producer：实际的消息发送者 ProducerRecored：保存发送的KV

Kafka Relication - 副本

为了保证数据安全，Kafkaj将每个分区中的数据进行复制到不同的Broker中副本叫做Followers，Lead Partition叫做主分区，领导N - 1个分区写入 / 读取数据实际上是想Leader进行写入，之后由Leader进行写入其他的副本（自动过程，只需要开启配置）可以配置不同级别的数据安全级别

Kafka Topic - 主题

kafka单机性能其实不是考虑的重点，分布式系统，并且实际上由于Logs非常简单的数据结构，对于Kafka来说可以获得很高的性能，使得Topic复制非常方便。传统的Mq中实际上存在，主题和Queue用于在源和目标系统之间做缓冲，但是Kafka实际上是Logs，实质上会被Kafka写入Disk进行存储 Topic：Kafka的一组事件组织单元，是含有名称的容器，存放的是多组相关事件。系统会存在多个需多不同的Topic 可以在两个Topic之间传递交换数据（stream...

数据加载中