再过半小时,你就能明白kafka的工作原理了

  • 时间:
  • 浏览:34
  • 来源:小飞娱乐网_提供小欧娱乐网技术_小K娱乐网资讯

  小芳便利店老要出显后,交互图就应如下:

  

  

  发送的流程就在图中由于说明了,就不单独在文字列出来了!要能 注意的同类是,消息写入leader后,follower是主动的去leader进行同步的!producer采用push模式将数据发布到broker,每条消息追加到分区中,顺序写入磁盘,同类保证同一分区内的数据是有序的!写入示意图如下:

  

  

  后边简单的介绍了为啥要能 消息队列以及消息队列通信的并不是生活模式,接下来就到了让我们 本文的主角——kafka闪亮登场的日后 了!Kafka是并不是生活高吞吐量的分布式发布订阅消息系统,它都要能 除理消费者规模的网站中的所有动作流数据,具有高性能、持久化、多副本备份、横向扩展能力……… 同类基本的介绍这里就不展开了,网上有太久关于什么的介绍了,读者都要能 自行百度一下!

  

  保证消息不丢失是另一一三个白多消息队列后边件的基本保证,那producer在向kafka写入消息的日后 ,为啥保证消息不丢失呢?虽日后 边的写入流程图中含描述出来,那同类 通过ACK应答机制!在生产者向队列写入数据的日后 都要能 设置参数来选折 不是确认kafka接收到数据,同类参数可设置的值为01all

  0代表producer往集群发送数据不想能 等到集群的返回,不确保消息发送成功。安全性最低日后 强度最高。

  1代表producer往集群发送数据若果leader应答就都要能 发送下两根,只确保leader发送成功。

  all代表producer往集群发送数据要能 所有的follower都完成从leader的同步才会发送下两根,确保leader发送成功和所有的副本都完成备份。安全性最高,日后 强度最低。

Message底部形态

后边说到log文件就实际是存储message的地方,让我们 在producer往kafka写入的也是两根两根的message,那存储在log中的message是什么样子的呢?消息主要中含消息体、消息大小、offset、压缩类型……等等!让我们 重点要能 知道的是下面另一一三个白多:

  1、 offset:offset是另一一三个白多占8byte的有序id号,它都要能 唯一选折 每条消息在parition内的位置!

  2、 消息大小:消息大小占用4byte,用于描述消息的大小。

  3、 消息体:消息体存放的是实际的消息数据(被压缩过),占用的空间根据具体的消息而不一样。

  通日后边的例子让我们 引出了消息后边件,日后 介绍了消息队列老要出显后的好处,这里就要能 介绍消息队列通信的并不是生活模式了:

  熟悉负载均衡的让我们 应该知道,当让我们 向某个服务器发送请求的日后 ,服务端由于会对请求做另一一三个白多负载,将流量采集到不同的服务器,那在kafka中,由于某个topic有多个partition,producer又为啥知道该将数据发往哪个partition呢?kafka包中含好多个原则:

  1、 partition在写入的日后 都要能 指定要能 写入的partition,由于有指定,则写入对应的partition。

  2、 由于越来越指定partition,日后 设置了数据的key,则会根据key的值hash出另一一三个白多partition。

  3、 由于既没指定partition,又越来越设置key,则会轮询选出另一一三个白多partition。

  回到正题,由于越来越小芳便利店,那快递小哥和我的交互图就应该如下:

  

  

  最后会注意的是,由于往不存在的topic写数据,都要能 写入成功呢?kafka会自动创建topic,分区和副本的数量根据默认配置就有1。

存储策略

  无论消息不是被消费,kafka总要保存所有的消息。那对于旧数据有什么删除策略呢?

  1、 基于时间,默认配置是168小时(3天 )。

  2、 基于大小,默认配置是1073741824。

  要能 注意的是,kafka读取特定消息的时间多样化度是O(1),同类这里删除过期的文件无须会提高kafka的性能!

  Producer将数据写入kafka后,集群就要能 对数据进行保存了!kafka将数据保存在磁盘,由于在让我们 的一般的认知里,写入磁盘是比较耗时的操作,不适合同类高并发的组件。Kafka初始会单独开辟一块磁盘空间,顺序写入数据(强度比随机写入高)。

  由于都看这张图你很懵逼,木有关系!让我们 先来分析相关概念

  Producer:Producer即生产者,消息的产生者,是消息的入口。

  kafka cluster

    Broker:Broker是kafka实例,每个服务器上有另一一三个白多或多个kafka的实例,让我们 姑且认为每个broker对应一台服务器。每个kafka集群内的broker就有另一一三个白多不重复的编号,如图中的broker-0、broker-1等……

    Topic:消息的主题,都要能 理解为消息的分类,kafka的数据就保存在topic。在每个broker上都都要能 创建多个topic。

    Partition:Topic的分区,每个topic都要能 有多个分区,分区的作用是做负载,提高kafka的吞吐量。同另一一三个白多topic在不同的分区的数据是不重复的,partition的表现形式同类 另一一三个白多另一一三个白多的文件夹!

    Replication:每另一一三个白多分区就有多个副本,副本的作用是做备胎。当主分区(Leader)故障的日后 会选折 另一一三个白多备胎(Follower)上位,成为Leader。在kafka中默认副本的最大数量是10个,且副本的数量要能大于Broker的数量,follower和leader绝对是在不同的机器,同一机器对同另一一三个白多分区也就说 由于存放另一一三个白多副本(包括此人 )。

    Message:每两根发送的消息主体。

  Consumer:消费者,即消息的消费方,是消息的出口。

  Consumer Group:让我们 都要能 将多个消费组组成另一一三个白多消费者组,在kafka的设计中同另一一三个白多分区的数据要能被消费者组中的某另一一三个白多消费者消费。同另一一三个白多消费者组的消费者都要能 消费同另一一三个白多topic的不同分区的数据,这也是为了提高kafka的吞吐量!

  Zookeeper:kafka集群依赖zookeeper来保存集群的的元信息,来保证系统的可用性。

  

本文在此人 技术博客不同步发布,详情可猛戳

亦可扫描屏幕右侧二维码关注此人 公众号,公众号内有此人 联系措施,等你来撩...

  

  在后边例子中,“快递小哥”和“买女让我们 的我”同类 要能 交互的另一一三个白多系统,小芳便利店同类 让我们 本文要讲的-“消息后边件”。总结下来小芳便利店(消息后边件)老要出显后有如下好处:

  1、 解耦

  快递小哥手上有同类快递要能 送,他每次都要能 先电话一一确认收货人是不是空、哪个时间段有空,日后 再选折 好送货的方案。越来越 完整版依赖收货人了!由于快递一多,快递小哥估计的忙疯了……由于有了便利店,快递小哥只要能 将同另一一三个白多小区的快递倒入同另一一三个白多便利店,日后 通知收货人来取货就都要能 了,这日后 快递小哥和收货人就实现了解耦!

  如上图所示,发布订阅模式是另一一三个白多基于消息送的消息传送模型,改模型都要能 有多种不同的订阅者。生产者将消息倒入消息队列后,队列会将消息推送给订阅过该类消息的消费者(同类微信公众号)。由于是消费者被动接收推送,同类不想感知消息队列是不是待消费的消息!日后 consumer1、consumer2、consumer3由于机器性能不一样,同类除理消息的能力也会不一样,但消息队列却无法感知消费者消费的强度!同类推送的强度成了发布订阅模模式的另一一三个白多什么的问题!假设另一一三个白多消费者除理强度分别是8M/s、5M/s、2M/s,由于队列推送的强度为5M/s,则consumer3无法承受!由于队列推送的强度为2M/s,则consumer1、consumer2会老要出显资源的极大浪费!

  会老要出显什么状态呢?

  1、为了同类女让我们 ,我请假回去拿(老板不批)。

  2、小哥老要在你楼下等(小哥还有同类的快递要送)。

  3、周末再送(显然等不及)。

  4、同类女让我们 我无须了(绝对不由于)!

  1、 先找到offset的368801message所在的segment文件(利用二分法查找),这里找到的同类 在第六个segment文件。

  2、 打开找到的segment中的.index文件(也同类 368796.index文件,该文件起始偏移量为368796+1,让我们 要查找的offset为368801的message在该index内的偏移量为368796+5=368801,同类这里要查找的相对offset为5)。由于该文件采用的是稀疏索引的措施存储着相对offset及对应message物理偏移量的关系,同类直接找相对offset为5的索引找要能,这里同样利用二分法查找相对offset小于由于等于指定的相对offset的索引条目中最大的那个相对offset,同类找到的是相对offset为4的同类索引。

  3、 根据找到的相对offset为4的索引选折 message存储的物理偏移位置为256。打开数据文件,从位置为256的那个地方刚开始了顺序扫描直到找到offset为368801的那条Message。

  让我们 看后边的架构图中,producer同类 生产者,是数据的入口。注意看图中的红色箭头,Producer在写入数据的日后 永远的找leader,不想直接将数据写入follower!那leader为啥找呢?写入的流程又是什么样的呢?让我们 看下图:

  消息存储在log文件后,消费者就都要能 进行消费了。在讲消息队列通信的并不是生活模式的日后 讲到过点对点模式和发布订阅模式。Kafka采用的是点对点的模式,消费者主动的去kafka集群拉归还息,与producer相同的是,消费者在拉归还息的日后 也是找leader去拉取。

  2、 异步

  快递小哥打电话给我后会能 老要在你楼下等着,直到我拿走你的快递他要能去送此人 的。快递小哥将快递倒入小芳便利店后,又都要能 干同类的活儿去了,不想能 等待时间你到来而老要存在等待时间状态。提高了工作的强度。

  后边介绍了kafka的基础架构及基本概念,他不知道让我们 都看有越来越对kafka有个大致印象,由于对还比较懵也没关系!让我们 接下来再结合后边的底部形态图分析kafka的工作流程,最后再回来整个梳理一遍我相信你都要能 更有收获!

  

  话太久说,先看图,通过这张图让我们 来捋一捋相关的概念及之间的关系:

  如上图,同类partition有三组segment文件,每个log文件的大小是一样的,日后 存储的message数量是不一定相等的(每条的message大小不一致)。文件的命名是以该segment最小offset来命名的,如000.index存储offset为0~368795的消息,kafka同类 利用分段+索引的措施来除理查找强度的什么的问题。

  这套机制是建立在offset为有序的基础上,利用segment+有序offset+稀疏索引+二分查找+顺序查找等多种手段来高效的查找数据!至此,消费者就能拿到要能 除理的数据进行除理了。那每个消费者又是为啥记录此人 消费的位置呢?在早期的版本中,消费者将消费到的offset维护zookeeper中,consumer每间隔一段时间上报一次,这里容易由于重复消费,且性能不好!在新的版本中消费者消费到的offset由于直接维护在kafk集群的__consumer_offsets同类topic中!

  多个消费者都要能 组成另一一三个白多消费者组(consumer group),每个消费者组就有另一一三个白多组id!同另一一三个白多消费组者的消费者都要能 消费同一topic下不同分区的数据,日后 不想组内多个消费者消费同一分区的数据!!!是就有有点儿绕。让我们 看下图:

  

  后边说到数据会写入到不同的分区,那kafka为啥要做分区呢?相信让我们 应该要能猜到,分区的主要目的是:

  1、 方便扩展。由于另一一三个白多topic都要能 有多个partition,同类让我们 都要能 通过扩展机器去轻松的应对日益增长的数据量。

  2、 提高并发。以partition为读写单位,都要能 多个消费者同時 消费数据,提高了消息的除理强度。

  周末无聊刷着手机,某宝网APP老要蹦出来两根消息“为了回馈老客户,女让我们 买一送一,活动仅限今天!”。买一送一还有同类好事,越来越 可要能错过!忍不住立马点了去。于是选了另一一三个白多最新款,下单、支付一气呵成!满足的躺在床上,想着马上有女让我们 了,竟然幸福的失眠了……

  第3天 正常上着班,老要接到快递小哥的电话:

  小哥:“你是xx吗?你的女让我们 到了,我现在在你楼下,你来拿一下吧!”。

  我:“这……我在上班呢,都要能 晚上送过来吗?“。

  小哥:“晚上可不行哦,晚上我也下班了呢!”。

  于是另4此人 僵持了日后 ……

  最后小哥说,要不我帮你倒入楼下小芳便利店吧,你晚上下班了过来拿,尴尬的局面这才得以缓解!

Partition 底部形态

  前面说过了每个topic都都要能 分为另一一三个白多或多个partition,由于你着实topic比较抽象,那partition同类 比较具体的东西了!Partition在服务器上的表现形式同类 另一一三个白多另一一三个白多的文件夹,每个partition的文件夹下面会有多组segment文件,每组segment文件又中含.index文件、.log文件、.timeindex文件(早期版本中越来越)另一一三个白多文件, log文件就实际是存储message的地方,而index和timeindex文件为索引文件,用于检索消息。

  让我们 能都看在系统要能 交互的场景中,使用消息队列后边件真的是好处多多,基于同类思路,就有了丰巢、菜鸟驿站等比小芳便利店更专业的“后边件”了。

  最后,后边的故事纯属虚构……

  3、 削峰

  假设双十一我买了不同店里的各种商品,而恰巧什么店发货的快递就有一样,有中通、圆通、申通、各种通等……更巧的是让我们 都同時 到货了!中通的小哥打来电话叫我去北门取快递、圆通小哥叫我去南门、申通小哥叫我去东门。我一时手忙脚乱……

  如上图所示,点对点模式通常是基于拉取由于轮询的消息传送模型,同类模型的特点是发送到队列的消息被另一一三个白多且要能另一一三个白多消费者进行除理。生产者将消息倒入消息队列后,由消费者主动的去拉归还息进行消费。点对点模型的的优点是消费者拉归还息的频率都要能 由此人 控制。日后 消息队列是不是消息要能 消费,在消费者端无法感知,同类在消费者端要能 额外的线程去监控。

  图示是消费者组内的消费者小于partition数量的状态,同类会老要出显某个消费者消费多个partition数据的状态,消费的强度也就不及只除理另一一三个白多partition的消费者的除理强度!由于是消费者组的消费者多于partition的数量,那会不想老要出显多个消费者消费同另一一三个白多partition的数据呢?后边由于提到过不想老要出显同类状态!多出来的消费者不消费任何partition的数据。同类在实际的应用中,建议消费者组的consumer的数量与partition的数量一致

  在保存数据的小节后边,让我们 聊到了partition划分为多组segment,每个segment又中含.log、.index、.timeindex文件,存放的每条message中含offset、消息大小、消息体……让我们 多次提到segment和offset,查找消息的日后 是为啥利用segment+offset配合查找的呢?若果现在要能 查找另一一三个白多offset为368801的message是什么样的过程呢?让我们 先看看下面的图: