今天10点时候同事报出kibana突然不显示log了，开始紧急排查
1. 从数据源头查起,先看被filebeat监视的log文件是否在更新(一般只要log对应服务在正常运行，log文件中就会有数据持续更新)
tail -f log.log
发现log中数据在持续更新，说明数据源头没有问题
2. 查看filebeat服务的log
filebeat 服务的log输出在nohup中
tail -f nohup.out
filebeat 正常，没有问题
3. 检查logstash
查看logstash是否在运行
在运行，但是是否logstash和ES的通信是否正常呢?
看logstash 的log
tail -f nohup.out
what？ [FORBIDDEN/12/index read-only / allow delete (api)];"})
索引被置为了只读。。。。
官网对这个问题介绍：
进入kibana Dev Tools
再次查看discover并刷新，log开始更新了`````````````
总结：
这个问题出现的原因就是ES存储磁盘空间不足导致，控制洪水阶段水印。它默认为95%,这意味着Elasticsearch执行一个只读索引块(index.blocks.read_only_allow_delete)每个指标都有一个或多个碎片分配的节点上,至少有一个磁盘超过限额。这是最后一招,以防止节点耗尽磁盘空间。一旦有足够的磁盘空间用于允许索引操作，索引块必须手动释放。
leader同志 多给点硬盘空间不行吗？？？
ELK 错误: retrying failed action with response code: 403, kibana无log显示
原文：https://www.cnblogs.com/wangbaojun/p/11344916.html