首页 > Web开发 > 详细

Apache Kafka教程:入门介绍

时间:2020-01-11 13:25:58      阅读:77      评论:0      收藏:0      [点我收藏+]

Apache Kafka是一个开源流处理软件平台,用于处理实时数据存储。 它在两方(即发送方和接收方)之间充当经纪人。 它一天可以处理大约数万亿个数据事件。
Apache Kafka是一个基于分布式流式处理过程的软件平台。
Apache Kafka是一个发布-订阅消息传递系统,它也允许在应用程序,服务器和处理器之间交换数据。
Apache Kafka最初是由LinkedIn开发的,后来捐赠给了Apache软件基金会。 目前,它由Apache Software Foundation下的Confluent维护。
Apache Kafka解决了发送方和接收方之间数据通讯的令人头疼的麻烦。
消息传递系统是两个或多个成员,设备等之间的简单消息交换。
发布-订阅消息传递系统允许发送方发送/写入消息,而接收方读取该消息。
在Apache Kafka中,发送者被称为发布消息的生产者,而接收者被称为通过订阅消耗消息的消费者
流处理是并行连接系统中的数据处理。 此过程允许不同的应用程序限制数据的并行执行,其中一条记录的执行无需等待前一条记录的输出。 因此,分布式流平台使用户能够简化流过程和并行执行的任务。 因此,Kafka中的流媒体平台具有以下关键功能:
技术分享图片一旦记录流出现,它将对其进行处理。
技术分享图片它的工作方式类似于企业消息传递系统,在该系统中,它发布和订阅记录流。
技术分享图片它以容错的持久方式存储记录流。
技术分享图片 

为了学习和理解Apache Kafka,应该知道以下四个核心API:

技术分享图片

生产者API:此API允许/允许应用程序将记录流发布到一个或多个主题。 (在后面的部分中讨论)
消费者API:此API允许应用程序订阅一个或多个主题,并处理为其产生的记录流。
Streams API:此API允许应用程序有效地将输入流转换为输出流。 它允许应用程序充当流处理器,该处理器使用一个或多个主题的输入流,并生成一个或多个输出主题的输出流。
连接器API:此API与现有数据系统或应用程序一起执行可重用的生产者和使用者API。

Apache Kafka教程:入门介绍

原文:https://www.cnblogs.com/MakeView660/p/12179643.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!