Kafka学习

发表于2022-10-01|更新于2024-11-18|开发 && 学习消息队列Kafka

|总字数:33|阅读时长:1分钟|浏览量:

一、介绍

[[First Kafka Application]]
[[Kafka Topic - 主题]]
[[Kafka Partitioning - Topic分区]]
[[Kafka Broker - 代理]]
[[Kafka Relication - 副本]]
[[Kafka Producer - 生产者]]
[[Kafka Consumer - 消费者]]

文章作者: BaiYiZhuo

文章链接: https://blog.baiyz.top/c4f61a31/

版权声明: 本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Bai's Blog！

学习消息队列 kafka 大数据

相关推荐

First Kafka Application

使用在线云服务：Create Cluster - Confluent Cloud 创建Kafka基本服务使用优惠码：配置集群名称：创建Topic默认消息分组6个页面创建消息创建一个新的消息：实际上每个消息依照Key划分到不同的分区位置存储在分区标号为3的分区上使用CTLCluster Dashboard - Confluent Cloud

Kafka Broker - 代理

Kafka分布式系统实际上是通过不同的独立的机器（Broker）组成的网络构成的每个Broker管理一组Kafka Partition 处理写入读取请求 -> 处理新事件管理彼此之间的数据复制初次之外不进行管理其他功能

Kafka Consumer - 消费者

Kafka Partitioning - Topic分区

Kafka Producer - 生产者

这是实际上开发使用最多的，每一个Broker其实底层都可以看作一个生产者或者消费者或者Both Producers——生产者发送消息Topic 相应的Kafka连接池网络缓冲消息重发retry 决定消息发送到哪一个Partition Producer：实际的消息发送者 ProducerRecored：保存发送的KV

Kafka Relication - 副本

为了保证数据安全，Kafkaj将每个分区中的数据进行复制到不同的Broker中副本叫做Followers，Lead Partition叫做主分区，领导N - 1个分区写入 / 读取数据实际上是想Leader进行写入，之后由Leader进行写入其他的副本（自动过程，只需要开启配置）可以配置不同级别的数据安全级别

数据加载中