首页 > Windows开发 > 详细

kafka介绍及安装配置(windows)

时间:2019-07-17 14:18:09      阅读:82      评论:0      收藏:0      [点我收藏+]
  • Kafka介绍

Kafka是分布式的发布—订阅消息系统。它最初由LinkedIn(领英)公司发布,使用Scala和Java语言编写,与2010年12月份开源,成为Apache的顶级项目。Kafka是一个高吞吐量的、持久性的、分布式发布订阅消息系统。

三大特点:

  高吞吐量 可以满足每秒百万级别消息的生产和消费——生产消费。

  持久性 有一套完善的消息存储机制,确保数据的高效安全的持久化——中间存储。

  分布式 基于分布式的扩展和容错机制;Kafka的数据都会复制到几台服务器上。当某一台故障失效时,生产者和消费者转而使用其它的机器——整体健壮性。

核心:

  Broker:消息代理,一个Kafka节点就是一个broker,多个broker可以组成一个Kafka集群。

  Topic:主题,Kafka处理的消息的不同分类。

  Partition:Topic物理上的分组,一个topic可以分为多个partion,每个partion是一个有序的队列。partion中每条消息都会被分配一个有序的Id(offset)

  Message:消息,是通信的基本单位,每个producer可以向一个topic(主题)发布一些消息,每个消息都属于一个partition

  Producer:消息和数据的生产者,向Kafka的一个topic发布消息。

  Consumer:消息和数据的消费者,定于topic并处理其发布的消息。

  • 安装配置

kafka依赖zookeeper,在Kafka的设计中,选择了使用Zookeeper来进行所有Broker的管理,体现在zookeeper上会有一个专门用来进行Broker服务器列表记录的点,节点路径为/brokers/ids;此外生产者、消费者的负载均衡可使用zookeeper实现等等。因此需要安装zookeeper

下载地址:

  zookeeper:链接:https://pan.baidu.com/s/1iXbLPFzeKTeRaab5CSrD9Q  提取码:ipv9 

 

  kafka:链接:https://pan.baidu.com/s/1BhT4XtMiU_J6PyNb7DtciQ  提取码:sbd5 

 

安装:

  zookeeper:

    1.下载解压(以C:\zookeeper3.4为例),将C:\zookeeper3.4\conf下的zoo_sample.cfg文件更名为zoo.cfg

       技术分享图片

    2.打开zoo.cfg,编辑dataDir=c:\\zookeeper3.4\\temp

      技术分享图片

    3.配置环境变量,系统变量-新建ZOOKEEPER_HOME;并在系统变量path中增加“%ZOOKEEPER_HOME%\bin;”

      技术分享图片

      技术分享图片

    4.打开cmd窗口,输入zkServer启动,默认端口2181;使用kafka期间保持zookeeper启动

      技术分享图片

      技术分享图片

  kafka:

    1.下载解压(以C:\kafka2.12为例),打开c:\kafka2.12\config\server.properties,编辑log.dirs=c:\\kafka2.12\\kafka-logs, zookeeper.connect=localhost:2181

    2.把c:\kafka2.12\bin\window\kafka-run-class.bat 中179行%CLASSPATH%加上双引号

      技术分享图片

    3.打开cmd窗口,进入kafka根目录下,输入 .\bin\windows\kafka-server-start.bat .\config\server.properties 运行

      技术分享图片

 至此,kafka的安装配置完成;下篇文章将介绍springboot集成kafka,及其一些配置详解。

最后说一嘴,关于多个MQ的选型问题,适合项目的就是最好的,适不适合根据各个MQ的优劣势决定。

kafka介绍及安装配置(windows)

原文:https://www.cnblogs.com/729log/p/11200369.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!