1. 相关概念

1. kafka是一个分布式的消息缓存系统

2. kafka集群中的服务器都叫做broker

3. kafka有两类客户端，一类叫producer（消息生产者），一类叫做consumer（消息消费者），客户端和broker服务器之间采用tcp协议连接

4. kafka中不同业务系统的消息可以通过topic进行区分，而且每一个消息topic都会被分区，以分担消息读写的负载

5. 每一个分区都可以有多个副本，以防止数据的丢失

6. 某一个分区中的数据如果需要更新，都必须通过该分区所有副本中的leader来更新

7. 消费者可以分组，比如有两个消费者组A和B，共同消费一个topic：order_info,A和B所消费的消息不会重复

比如 order_info 中有100个消息，每个消息有一个id,编号从0-99，那么，如果A组消费0-49号，B组就消费50-99号

8. 消费者在具体消费某个topic中的消息时，可以指定起始偏移量

kafka的业务架构：

2. 集群安装

1、解压

2、修改config/server.properties

broker.id=1（每台机器上的id要唯一，可以写成0,1,2,3,4……）

zookeeper.connect=weekend01:2181,weekend02:2181,weekend03:2181

3、将zookeeper集群启动

4、在每一台节点上启动broker

bin/kafka-server-start.sh config/server.properties 1>/dev/null 2>&1 &

5、在kafka集群中创建一个topic

bin/kafka-topics.sh --create --zookeeper weekend01:2181 --replication-factor 3 --partitions 1 --topic order

修改分区个数

bin/kafka-topics.sh –zookeeper localhost:2181 -alter --partitions 5 --topic order

查看该topic

bin/kafka-topics.sh --list --zookeeper weekend01:2181

6、用一个producer向某一个topic中写入消息

bin/kafka-console-producer.sh --broker-list weekend01:9092 --topic order

7、用一个comsumer从某一个topic中读取信息

bin/kafka-console-consumer.sh --zookeeper weekend01:2181 --from-beginning --topic order

8、查看一个topic的分区及副本状态信息

bin/kafka-topics.sh --describe --zookeeper weekend01:2181 --topic order

下面是一个演示：

我们可以这么理解：副本的数量不能大于broker的数量，如果是2就随机在三个broker中选择两个，如果是3就在每个broker中都有一个副本。分区是几，就是topic最终被分成了几份，看leader，就知道该份被分到了哪一台broker上，图中的1,2,3对应的就是配置文件中broker服务器的id。其中的Isr指的是当前这份Partition在哪些broker上处于同步状态。

3. 可能的错误

启动服务器broker报错：

Unrecognized VM option 'UseCompressedOops'

Error: Could not create the Java Virtual Machine.

Error: A fatal exception has occurred. Program will exit.

原因：

需要JDK1.8，而安装的版本低于1.8。

解决办法：

换成JDK1.8，或者改脚本bin/kafka-run-class.sh文件。

去搜索UseCompressedOops关键词，找到那一行的代码如下：

KAFKA_JVM_PERFORMANCE_OPTS="-server -XX:+UseCompressedOops -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:+CMSScavengeBeforeRemark -XX:+DisableExplicitGC -Djava.awt.headless=true"

改成：

KAFKA_JVM_PERFORMANCE_OPTS="-server -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:+CMSScavengeBeforeRemark -XX:+DisableExplicitGC -Djava.awt.headless=true"

问题解决。

4.  发送消息的主要步骤

 

 

首先创建ProducerRecord对象，此对象除了包括需要发送的数据value之外还必须指定topic，另外也可以指定key和分区。当发送ProducerRecord的时候，生产者做的第一件事就是把key和value序列化为ByteArrays，以便它们可以通过网络发送。

接下来，数据会被发送到分区器。如果在ProducerRecord中指定了一个分区，那么分区器会直接返回指定的分区；否则，分区器通常会基于ProducerRecord的key值计算出一个分区。一旦分区被确定，生产者就知道数据会被发送到哪个topic和分区。然后数据会被添加到同一批发送到相同topic和分区的数据里面，一个单独的线程会负责把那些批数据发送到对应的brokers。

当broker接收到数据的时候，如果数据已被成功写入到Kafka，会返回一个包含topic、分区和偏移量offset的RecordMetadata对象；如果broker写入数据失败，会返回一个异常信息给生产者。当生产者接收到异常信息时会尝试重新发送数据，如果尝试失败则抛出异常。

 

内容补充：