872      阿里云  技术社区[云栖]

MongoDB Replica Set使用几点总结

本文会涉及到MongoDB副本集的初始化，读写性能，scala driver，简单运维等内容。

副本集初始化

在各个节点上replica set进程，

nohup numactl --interleave=all ./mongod --dbpath /home/mongodb/data/  --logpath /home/mongodb/mongodb-linux-x86_64-2.4.7/run.log --port 8017 --rest --journal --replSet smartq --oplogSize 500 --profile=1 --slowms=5 --fork &

1. Journal日志。Journal日志通过预写式的redo日志为MongoDB增加了额外的可靠性,开启该功能时,数据的更新会先写入Journal日志,定期提交,然后在真实数据上执行这些变更,如果服务器安全关闭,日志会被清除在服务器启动时,如果存在Journal日志,则会执行提交.启动Journal功能只需要在启动mongod时指定-journal参数即可,这样,系统的Journal信息都会被放到数据库目录(默认是/data/db)的journal文件夹中
2. oplog日志。MongoDB的高可复用策略中有一种叫做Replica Sets,Replica Sets复制过程中一个服务器充当主服务器,而一个或多个服务器充当从服务器,主服务器将更新写入一个本地的collection中,这个collection记录着发生在主服务器的更新操作,并将这些操作分发到从服务器上。这个日志是一个capped Collection,且有大小之分,所以最好在启动mongod服务时配置好大小(单位:MB). mongd -oplogsize=1024
3. 慢查询日志。慢查询日志记录了执行时间超过所设定时间阈值的操作语句,慢查询日志对于发现性能有问题的语句很有帮助,建议开启此功能经常分析该日志的内容.要配置这个功能值需要在mongod启动时指定profile参数即可。Eg.将超过5s的操作记录都记录下来 mongod --profile=1 --slowms=5 运行一段时间后,可以通过查看db.system.profile 这个collection来获取慢日志信息

numactl --interleave=all

起了各个节点后，连接到某一台mongod上，进行副本集初始化工作：

var config = { 
  _id: "smartq", 
  members: [ 
    {
      _id:0, 
      host:"host0-ip:8017"
    }, 
    {
      _id:1, 
      host:"host1-ip:8017"
    }, 
    {
      _id:2, 
      host:"host2-ip:8017"
    } 
  ] 
}
rs.initiate(config)

读写性能

我的副本集的写性能，在java driver环境下，差不多是1W-2W+ 行每秒，吞吐量大约2M+ 每秒。写只能在primary节点上进行。

我的副本集的读性能，在不带索引的情况下，DBCursor的扫描速度是4K~7K 行 每秒。输入一个查询，执行后，返回一个DBCursor是很快的，但是游标的顺序fetch行数还是比较慢的。我尝试了DBCursor提供的一些方式(我使用的是mongo-java-driver-2.10.1的包)，对比了下以下几种获取速度，

rs = coll.find().sort(new BasicDBObject("_id", 1)).toArray();
rs = coll.find().batchSize(100).limit(l).toArray();
rs = coll.find().toArray(); // toArray()开销
Iterator it = coll.find().iterator(); // little faster than toArray()
while (it.hasNext()) {
    it.next();
}

总结是读性能在速度上还是需要索引支撑，且在能承受最终一致性的前提下，将读分布到secondary上缓解。

Scala Driver
尝试了下Scala Driver来进行读性能的测试，速度和java driver是一致的，而scala driver本身也是对java driver的简单封装，且目前支持的api也不全。

Scala Driver项目叫Casbah，是10gen官方的Toolkit。在build.sbt下的配置如下：

name := "hi-scala"

organization := "xx.xxx.xxx"

version := "0.0.1-SNAPSHOT"

scalaVersion := "2.9.3"

libraryDependencies ++= Seq(
  "org.mongodb" %% "casbah" % "2.6.3"
)

import com.mongodb.casbah.Imports._

object CasbahTest extends Logging {
  
  def main(args: Array[String]): Unit = {

    val mongoClient = MongoClient("host-ip", 8017)
	
    val db = mongoClient("db")

    val coll = db("collection")

    val start = System.currentTimeMillis()

    val rs = coll.find()

    // for (doc <- rs) {
    //   doc
    // }

    logInfo("Result: " + rs.size) // no toArray()

    val end = System.currentTimeMillis()

    logInfo("Time: " + (end-start))
    
  }
}

Copy Collection

在同个db下拷贝collection似乎没有快速的方法，那就写简单的js，进行insert操作，

 var i = 0;
 while(i < 10000) {
   var cname = 'copy' + i;
   db.copy1.find().forEach( function(x){
     db.getCollection(cname).insert(x);
   });
   i++
 }

nohup  ./mongo localhost:8017/hdfs ../../jscript/copy_collection.js &

最后更新：2017-04-03 14:54:23

  上一篇： Javax.swing中JFrame.getContentPane().add(pane)与JFrame.add(pane)有何区别?

  下一篇： 编程的视频