首页 > Web开发 > 详细

flume 用avro 连接多个agent ,拦截器

时间:2020-04-09 12:54:28      阅读:113      评论:0      收藏:0      [点我收藏+]

一、flume 用avro 连接多个agent

1.

技术分享图片

2.配置文件

agent 1: source exec / sink avro
agent2 : source avro / sink logger

技术分享图片技术分享图片

 

 

 3.启动 (先启动第一个,再启动第二个)

技术分享图片

 

 

 技术分享图片

 

 

 技术分享图片

 

 

 4.echo入数据 ,根据你配置的路径(tail -F 。。。。)

技术分享图片

 

 

 5.结果

技术分享图片

 

 

 二、拦截器

1.头部加入时间戳,ip,自定义键值对

技术分享图片

 

 

2.用 telnet 写入

三、

 

 技术分享图片

 

 

 1.发现  以hello 开头的  替换为 nihao

技术分享图片

 

 

 

也是用 telnet 写入

2.过滤  以hello打头的语句

技术分享图片

 

 

 

技术分享图片

 

 

 regex_filter 默认是匹配上了才通过, 匹配不上则过滤掉。所以刚才上课时,没有再logger中显示是正确的: 因为没有以 Hello 打头,则没匹配上,所以没显示

如果要相反的逻辑,则要增加一个配置: 将  excludeEvents 配置为 true

3.

技术分享图片

 

 

 技术分享图片

 

 h1 h2 h3 为 key

技术分享图片为value

 

 

 

 技术分享图片

 

 

 

 ---------------

search_replace:将括号中的密码替换为6个 ******
hello wolrd!
My password for phone is (pass:778899)

技术分享图片

技术分享图片

 

 

 -----------------------

regex_extractor : 将[] 中的名字放在head 里, name=>hsq
my name is [hsq]

技术分享图片技术分享图片

 

 

 技术分享图片

 

 正则表达式的语法加强学习 , 可以参考 技术分享图片https://www.runoob.com/regexp/regexp-syntax.html

 

flume 用avro 连接多个agent ,拦截器

原文:https://www.cnblogs.com/zbf-1998/p/12666093.html

(1)
(1)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!