尽管zookeeper在编程上有很多的阱陷，API也非常的难用，但zookeeper服务本身可以说是很牢靠的了，所以在网上貌似关于运维的文章比较少。
但省心并不代表不会出麻烦，下面总结下zookeeper运维相关的东东。
重要的参考资料
这里有一个很好的Pdf，介绍了很多zookeeper的东东，作者是zookeeper的committer之一：
http://www.infoq.com/presentations/Misconfiguration-ZooKeeper
另外，这里有一个总结：http://marcin.cylke.com.pl/blog/2013/03/21/zookeeper-tips/
配置zookeeper开机启动
首先修改bin/zkEnv.sh，配置ZOO_LOG_DIR的环境变量，ZOO_LOG_DIR是zookeeper日志输出目录：
export ZOO_LOG_DIR="/home/zookeeper/zookeeper345_1/bin"
再在/etc/init.d目录下增加zookeeper1文件，并加个可执行权限：
cd /etc/init.d
touch zookeeper1
chmod +x zookeeper1
再修改zookeeper1的内容为：
#/bin/sh
#chkconfig: 2345 20 80
# description: zookeeper1
case $1 in
start) /home/zookeeper/zookeeper345_1/bin/zkServer.sh start ;;
stop) /home/zookeeper/zookeeper345_1/bin/zkServer.sh stop;;
status) /home/zookeeper/zookeeper345_1/bin/zkServer.sh status;;
restart) /home/zookeeper/zookeeper345_1/bin/zkServer.sh restart;;
*) echo "require start|stop|status|restart" ;;
esac最后用chkconfig -add zookeeper1 增加服务。这样就搞定了。
如果是想配置Upstart方式的启动，可以参考：http://blog.csdn.net/hengyunabc/article/details/18967627
zookeeper VIRT虚拟内存占用过大的问题：
这个和zookeeper的实现有关，参考这里：http://zookeeper-user.578899.n2.nabble.com/setting-zookeeper-heap-size-td6983511.html
线上的zookeeper的VIRT有30多G，查看了data, dataLog，总共才几百M。不过一直没什么问题。
Unreasonable length的问题：
https://issues.apache.org/jira/browse/ZOOKEEPER-1513
目前线上用的是345版本，而zookeeper最后的release版本就是这个，有大概一年多没更新了。。
这个问题有可能是client尝试向zookeeper上放超过1M的数据时，出现的。
想修改这个默认配置，则可以修改"jute.maxbuffer"这个环境变量。参考：http://zookeeper.apache.org/doc/r3.3.3/zookeeperAdmin.html
但是我们线上是因为端口扫描工具造成的，这个就相当地诡异了。停止端口扫描工具之后，就没有这个问题了。
watches数量多的问题：
dubbo对于每个结点都会watch，导致watch数很多，随便都几千个。
用wchs，wchc，wchp这些命令可以查看watches的信息，包括总数，每条路径上的watch的数量。每个client的。
查找不能成功启动原因：
zookeeper会有很多原因启动不成功，可以通过:
./zkServer.sh start-foreground
来查看启动时报的是什么异常，同时也可以查看运行过程中的异常。
另外，通过：
./zkServer.sh print-cmd
可以查看zookeeper启动的各个参数，包括java路径等，也可以便于查找问题。
配置自动清理日志：
从3.4.0开始，会自动清理日志了，所以这个通常不用配置。
配置autopurge.snapRetainCount 和 autopurge.purgeInterval 参数。
保留的snapshop的数量，默认是3个，最小也是3.
参考这里：http://nileader.blog.51cto.com/1381108/932156
另外要注意的是，zookeeper重启会自动清除zookeeper.out日志，所以如果出错要注意先备份这个文件。
管理工具：
Zookeeper官方自带的管理员工具：
http://zookeeper.apache.org/doc/trunk/zookeeperAdmin.html 官方的命令行工具可以胜任绝大部分工作了。
zktop
https://github.com/phunt/zktop python写的小工具，很有意思
taokeeper
项目地址：https://github.com/alibaba/taokeeper
淘宝出品的一个监控工具，还有可以用脚本来监控的功能。虽然开源了，但是实际上很难用，代码也很难扩展，而且有些jar包是淘宝内部的。
我修改了下，可以正常使用，代码地址在：https://github.com/hengyunabc/taokeeper
但是我们线上也没有用这个，线上只有zabbix的监控。
安装配置参考：
编译
1.下载这两个项目：
git clone https://github.com/hengyunabc/common-toolkit.git
git clone https://github.com/nileader/zkclient.git
先分别执行 mvn -Dmaven.test.skip install
2.下载本项目：
git clone https://github.com/hengyunabc/taokeeper.git
执行 mvn -Dmaven.test.skip clean package
到taokeeper-monitor/target/目录就可以看到生成的War包了。
部署
taokeeper使用mysql数据库来保存一些配置和日志。
导入taokeeper-build/etc/taokeeper.sql 文件，也可以从这里下载：文件:Taokeeper.sql.zip 。
配置tomcat启动参数，增加JVM启动参数：
JAVA_OPTS=-DconfigFilePath="~/taokeeper/taokeeper-monitor-config.properties"
并在上面的配置中配置好参数，例如：
systemInfo.envName=TEST
#DBCP
dbcp.driverClassName=com.mysql.jdbc.Driver
dbcp.dbJDBCUrl=jdbc:mysql://localhost:3306/taokeeper
dbcp.characterEncoding=GBK
dbcp.username=root
dbcp.password=root
dbcp.maxActive=30
dbcp.maxIdle=10
dbcp.maxWait=10000
#SystemConstant
SystemConstent.dataStoreBasePath=~/taokeeper/
#SSH account of zk server
SystemConstant.userNameOfSSH=hello
SystemConstant.passwordOfSSH=hello
其中SSH用户密码要配置对，zookeeper部署的机器要开放SSH服务。
把生成的War包改为ROOT.war，放到tomcat的webapps目录下，启动tomcat。
如果报log4j错误，则还要配置webapps/ROOT/WEB-INF/classes/log4j.properties 文件。也可以在编绎前先修改好。
打开 http://localhost:8080/ ，就可以看到taokeeper的界面了。
工作原理
taokeeper通过SSH连接到zookeeper部署的机器上，再在上面执行zookeeper的Four Letter Words来得到统计信息，再分析保存到mysql数据库中。
参考：http://zookeeper.apache.org/doc/trunk/zookeeperAdmin.html#sc_zkCommands
监控目标机器的负载，也是通过SSH连接到目标机器，再执行top等命令，再分析得到数据。
注意事项
在chrome浏览器下，“机器监控”这个功能有时会把信息显示下浏览器的下面，要拉到最后才能看到，并不是这个功能不能工作。
Exhibitor
这个是Netflix出品的一个监控工具，但实际上也很难用。。
Exhibitor的主要功能 监控本机的Zookeeper服务，可以自动重启挂掉的Zookeeper服务；
定期备份数据；
定期清理Zookeeper日志；
提供了一个Web界面可以修改Zookeeper的数据；
REST API。
Exhibitor安装
Exhibitor提供了三种运行方式：独立的jar文件，War包，core jar。推荐用jar方式运行，配置管理都很方便。
安装方法可以参考这里：https://github.com/Netflix/exhibitor/wiki/Building-Exhibitor，也可以从这里下载已经编绎好的jar文件:文件:Exhibitor-war-1.0-jar-with-dependencies.zip，下载后要修改后缀为jar。
运行
java -jar <path>/exhibitor-xxx.jar -c file
Exhibitor自动创建配置文件，在web界面所做的配置更改都会保存到exhibitor.properties中。
配置项
参考：https://github.com/Netflix/exhibitor/wiki/Configuration-UI
在配置“Servers”参数时，一定要注意要配置的是hostname，而不是IP。所以如果配置的是IP的话，一定要到目标机器上去检查hostname和IP是否一致。
注意事项
Exhibitor通过jps命令来判断Zookeeper服务是否运行，所以要配置好jps命令，如果没有当前没有jps命令的话，可以通过类似如下的命令创建一个软链接：
ls -s /home/www/jdk/jdk1.7.0_15/bin/jps /usr/bin/jps
Exhibitor会自动创建并覆盖zookeeper的配置文件，所以要在Web界面上把Zookeeper的所有参数都配置，
否则如果Zookeeper被Exhibitor重启后，可以会出现因为配置有错误而无法启动的状况。
在“control panel”面板中，当显示绿色，则说明Zookeeper服务正常，可以对外服务，当显示黄色或者红色，
则Zookeeper不能对外提供服务（这个和Zookeeper进程是否存在，是两个概念，即使Zookeeper进程存在，也可能无法对外提供服务）。
Exhibitor会定时探测Zookeeper服务是否正常，但是时间间隔默认配置为0，这个会导致机器CPU被消耗。要在Web界面中配置好“Live Check (ms)”参数。
因为Exhibitor如果探测到Zookeeper服务没有启动，会自动启动Zookeeper进程，所以在升级Zookeeper之前，要先停掉Exhibitor。
其它的一些东东：
性能测试相关：
http://zookeeper.apache.org/doc/r3.4.5/zookeeperOver.html
http://wiki.apache.org/hadoop/ZooKeeper/ServiceLatencyOverview 自带的文档里有一点，不过貌似没更新过
http://wiki.apache.org/hadoop/ZooKeeper/ServiceLatencyOverview Hadoop里带的一个测试
https://ramcloud.stanford.edu/wiki/display/ramcloud/ZooKeeper+Performance
http://rdc.taobao.com/team/jm/archives/1070 淘宝的一个测试
zookeeper运维
原文：http://blog.csdn.net/hengyunabc/article/details/19006911
