来自 电脑知识 2019-10-02 07:58 的文章
当前位置: 威尼斯国际官方网站 > 电脑知识 > 正文

单机集群搭建,慕课网实战

前提是现已设置好了zk集群

铭文一流:

1.下载  kafka_2.11-1.0.0.tgz  下载网站 

单节点单broker的陈设及利用

 

$KAFKA_HOME/config/server.properties
broker.id=0
listeners
host.name
log.dirs
zookeeper.connect

2.解压  tar -zxvf kafka_2.11-1.0.0.tgz

启动Kafka
kafka-server-start.sh
USAGE: /home/hadoop/app/kafka_2.11-0.9.0.0/bin/kafka-server-start.sh [-daemon] server.properties [--override property=value]*

 

kafka-server-start.sh $KAFKA_HOME/config/server.properties

3.修改配置文件 走入config目录修改server.properties 文件

创建topic: zk
kafka-topics.sh --create --zookeeper hadoop000:2181 --replication-factor 1 --partitions 1 --topic hello_topic

 

查看全体topic
kafka-topics.sh --list --zookeeper hadoop000:2181

威尼斯国际官方网站 1

发送新闻: broker
kafka-console-producer.sh --broker-list hadoop000:9092 --topic hello_topic

 修改本人的logs目录与安装分区数量

花费音讯: zk
kafka-console-consumer.sh --zookeeper hadoop000:2181 --topic hello_topic --from-beginning

 威尼斯国际官方网站 2

--from-beginning的使用

设置zk连接地址

翻看全部topic的详细新闻:kafka-topics.sh --describe --zookeeper hadoop000:2181
翻开钦定topic的详细消息:kafka-topics.sh --describe --zookeeper hadoop000:2181 --topic hello_topic

威尼斯国际官方网站 3

 

保存后复制2分同样的,分别改端口与 log日志目录,还会有 broke.id 

单节点多broker
server-1.properties
log.dirs=/home/hadoop/app/tmp/kafka-logs-1
listeners=PLAINTEXT://:9093
broker.id=1

威尼斯国际官方网站 4

server-2.properties
log.dirs=/home/hadoop/app/tmp/kafka-logs-2
listeners=PLAINTEXT://:9094
broker.id=2

 修改server2.properties文件

server-3.properties
log.dirs=/home/hadoop/app/tmp/kafka-logs-3
listeners=PLAINTEXT://:9095
broker.id=3

 威尼斯国际官方网站 5

kafka-server-start.sh -daemon $KAFKA_HOME/config/server-1.properties &
kafka-server-start.sh -daemon $KAFKA_HOME/config/server-2.properties &
kafka-server-start.sh -daemon $KAFKA_HOME/config/server-3.properties &

 修改server3.properties文件

kafka-topics.sh --create --zookeeper hadoop000:2181 --replication-factor 3 --partitions 1 --topic my-replicated-topic

 威尼斯国际官方网站 6

kafka-console-producer.sh --broker-list hadoop000:9093,hadoop000:9094,hadoop000:9095 --topic my-replicated-topic
kafka-console-consumer.sh --zookeeper hadoop000:2181 --topic my-replicated-topic

保存

kafka-topics.sh --describe --zookeeper hadoop000:2181 --topic my-replicated-topic 

逐个运维3个kafka 服务

 

 运营第三个服务

墓志二级:

威尼斯国际官方网站 ,  ./kafka-server-start.sh  -daemon  ../config/server.properties &  

卡夫卡版本下载版本为0.9.0.0相比较稳固,再选相对应的scala版本()

威尼斯国际官方网站 7

单节点单broker的布置及利用=>

 

布局意况变量,修改配置文件:conf/server.properties

 运营第二个服务

broker.id = 0                 //唯一id值

  ./kafka-server-start.sh  -daemon  ../config/server2.properties &  

listeners = :9092               //监听端口号,发送的剧情到broker即为此端口

威尼斯国际官方网站 8

hostname = hadoop000             //默认localhost也行

 

log.dirs = /home/app/tmp/kafka-logs     //一时文件目录,需建立tmp,kafka-logs可不建设构造

 运营第多少个劳务

zookeeper.connect = hadoop000:2181      //创造topic,查询topic,消耗者均为此端口

  ./kafka-server-start.sh  -daemon  ../config/server3.properties &  

[num.partitions = 1]                //分区

 

启动kafka:kafka-server-start.sh $KAFKA_HOME/config/server.properties  //不知底如何运用就施夷光行kafka-server-start.sh

 -daemon   关照进度运转  

创建topic:kafka-topics.sh --create --zookeeper hadoop000:2181 --replication-factor 1 --partitions 1 --topic hello_topic

&  后台运维

询问全数topic:kafka-topics.sh --list --zookeeper hadoop000:2181

本文由威尼斯国际官方网站发布于电脑知识,转载请注明出处:单机集群搭建,慕课网实战

关键词: