120      阿裏雲  技術社區[雲棲]

zookeeper運維

盡管zookeeper在編程上有很多的阱陷，API也非常的難用，但zookeeper服務本身可以說是很牢靠的了，所以在網上貌似關於運維的文章比較少。

但省心並不代表不會出麻煩，下麵總結下zookeeper運維相關的東東。

重要的參考資料

這裏有一個很好的Pdf，介紹了很多zookeeper的東東，作者是zookeeper的committer之一：
https://www.infoq.com/presentations/Misconfiguration-ZooKeeper
另外，這裏有一個總結：https://marcin.cylke.com.pl/blog/2013/03/21/zookeeper-tips/

配置zookeeper開機啟動

首先修改bin/zkEnv.sh，配置ZOO_LOG_DIR的環境變量，ZOO_LOG_DIR是zookeeper日誌輸出目錄，ZOO_LOG4J_PROP是log4j日誌輸出的配置：

if [ "x${ZOO_LOG_DIR}" = "x" ]
then
    ZOO_LOG_DIR="$ZOOBINDIR/../logs"
fi

if [ "x${ZOO_LOG4J_PROP}" = "x" ]
then
    ZOO_LOG4J_PROP="INFO,ROLLINGFILE"
fi

再在/etc/init.d目錄下增加zookeeper1文件，並加個可執行權限：

cd /etc/init.d
touch zookeeper1
chmod +x zookeeper1

#/bin/sh 
#chkconfig: 2345 20 80   
# description:  zookeeper1
case $1 in
          start) su zookeeper /home/zookeeper/zookeeper345_1/bin/zkServer.sh start   ;;
          stop) su zookeeper /home/zookeeper/zookeeper345_1/bin/zkServer.sh stop;;
          status) su zookeeper /home/zookeeper/zookeeper345_1/bin/zkServer.sh status;;
          restart) su zookeeper /home/zookeeper/zookeeper345_1/bin/zkServer.sh restart;;
              *)  echo "require start|stop|status|restart"  ;;
esac

zookeeper VIRT虛擬內存占用過大的問題：

這個和zookeeper的實現有關，參考這裏：https://zookeeper-user.578899.n2.nabble.com/setting-zookeeper-heap-size-td6983511.html

線上的zookeeper的VIRT有30多G，查看了data, dataLog，總共才幾百M。不過一直沒什麼問題。

Unreasonable length的問題：

watches數量多的問題：

查找不能成功啟動原因：

zookeeper會有很多原因啟動不成功，可以通過:

./zkServer.sh start-foreground

./zkServer.sh print-cmd

配置自動清理日誌：

從3.4.0開始，會自動清理日誌了，所以這個通常不用配置。

配置autopurge.snapRetainCount 和 autopurge.purgeInterval 參數。
保留的snapshop的數量，默認是3個，最小也是3.

autopurge.snapRetainCount=3
autopurge.purgeInterval=1

另外要注意的是，zookeeper重啟會自動清除zookeeper.out日誌，所以如果出錯要注意先備份這個文件。

配置zookeeper.out的位置及log4j滾動日誌輸出

今天發現線上的bin/zookeeper.out 居然有6G大小。看了下zkServer.sh的代碼，這個zookeeper.out實際上是nohup的輸出。

而nohup的輸出實際上是stdout,stderr的輸出，所以還是zookeepe本身的日誌配置的問題。

研究了下bin/zkServer.sh和conf/log4j.properties，發現zookeeper其實是有日誌相關的輸出的配置，隻要定義相關的變量就可以了。

主要是ZOO_LOG_DIR和ZOO_LOG4J_PROP這兩個環境變量：

zkServer.sh裏的：

if [ ! -w "$ZOO_LOG_DIR" ] ; then
mkdir -p "$ZOO_LOG_DIR"
fi

_ZOO_DAEMON_OUT="$ZOO_LOG_DIR/zookeeper.out"

    nohup $JAVA "-Dzookeeper.log.dir=${ZOO_LOG_DIR}" "-Dzookeeper.root.logger=${ZOO_LOG4J_PROP}" \
    -cp "$CLASSPATH" $JVMFLAGS $ZOOMAIN "$ZOOCFG" > "$_ZOO_DAEMON_OUT" 2>&1 < /dev/null &

#
# Add ROLLINGFILE to rootLogger to get log file output
#    Log DEBUG level and above messages to a log file
log4j.appender.ROLLINGFILE=org.apache.log4j.RollingFileAppender
log4j.appender.ROLLINGFILE.Threshold=${zookeeper.log.threshold}
log4j.appender.ROLLINGFILE.File=${zookeeper.log.dir}/${zookeeper.log.file}

而zkServer.sh會加載zkEnv.sh。

因此，其實修改下bin/zkEnv.sh就可以了：

https://gist.github.com/hengyunabc/61d74672e7a662a5366c

if [ "x${ZOO_LOG_DIR}" = "x" ]
then
    ZOO_LOG_DIR="$ZOOBINDIR/../logs"
fi
 
if [ "x${ZOO_LOG4J_PROP}" = "x" ]
then
    ZOO_LOG4J_PROP="INFO,ROLLINGFILE"
fi

# Max log file size of 10MB
log4j.appender.ROLLINGFILE.MaxFileSize=10MB
# uncomment the next line to limit number of backup files
log4j.appender.ROLLINGFILE.MaxBackupIndex=10

Too many connections from 錯誤

這個錯誤是因為同一個IP的zookeeper socket 連接數大於60了。zookeeper server默認限製每個IP最多60個連接。

這個在測試服務器上出現的，因為測試服務器上太多進程在跑了。。

修改為：

maxClientCnxns=150

https://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_advancedConfiguration

This ZooKeeper instance is not currently serving requests 的錯誤提示

當集群裏的結點隻剩下一台，或者不足半數時，就會出現這個錯誤提示。

通常在，隻啟動第一台zookeeper時會報這個錯誤。

在zookeeper server的日誌裏，會有類似的日誌：

Exception causing close of session 0x0 due to java.io.IOException: ZooKeeperServer not running

Zookeeper連接速度很慢，Dubbo初始化很慢，應用啟動很慢的問題

發現線下環境遷移到新機器後，應用啟動變得很慢，本來十幾秒啟動的應用，變成幾分鍾才能啟動。

啟動過程沒有報錯，隻是Dubbo的注冊信息日誌一直在比較慢地刷。

開始懷疑是網絡問題，但是檢查了iptables沒有開啟，用iptraf查看流量，也不高。機器的空閑內存也足夠。

再檢查Zookeeper的配置，磁盤的空間，應用的dubbo配置，jvm配置，發現都沒有問題。

沒辦法了，用jprofiler來測試下，發現“org.I0Itec.zkclient.ZkClient$1.call”，這個調用耗時比較大。

這樣確認是zookeeper本身比較慢，不是應用的問題。

用下麵的zookeeper benchmark工具測試了下性能，發現read速度還可能，create/write速度非常慢，qps隻有個位數。

於是問了下運維的同事，原來新機器是用共享磁盤的，所以速度很慢。

而zookeeper每次write請求都要寫到log日誌，並刷到磁盤裏，所以非常的慢。

後來運維的同事換為本地磁盤，一切恢複正常。

管理工具：

Zookeeper官方自帶的管理員工具：

zktop

taokeeper

項目地址：https://github.com/alibaba/taokeeper 
淘寶出品的一個監控工具，還有可以用腳本來監控的功能。雖然開源了，但是實際上很難用，代碼也很難擴展，而且有些jar包是淘寶內部的。
我修改了下，可以正常使用，代碼地址在：https://github.com/hengyunabc/taokeeper 
但是我們線上也沒有用這個，線上隻有zabbix的監控。
安裝配置參考：

編譯

部署

工作原理

注意事項

Exhibitor

這個是Netflix出品的一個監控工具，但實際上也很難用。。

Exhibitor安裝

運行

配置項

注意事項 

其它的一些東東：

性能測試相關：

https://github.com/brownsys/zookeeper-benchmark
這個工具輸出結果比較亂，不過用起來還不錯。
    mvn -DZooKeeperVersion=3.4.5 package
    ./runBenchmark.sh  test
然後在test文件夾下，會有生成的信息。主要在zk-benchmark.log這個文件裏。

https://zookeeper.apache.org/doc/r3.4.5/zookeeperOver.html  

最後更新：2017-04-03 12:55:00

  上一篇： Sql Server在建好的表中，新增一列

  下一篇： HDU 1181 變形課