我所了解的各公司使用的Ceph存儲集群

Ceph 作為軟件定義存儲的代表之一，最近幾年其發展勢頭很勐，也出現了不少公司在測試和生產係統中使用 Ceph 的案例，盡管與此同時許多人對它的抱怨也一直存在。本文試著整理作者了解到的一些使用案例。

1. 攜程（Ctrip）

攜程所使用的各種存儲的現狀：

• 商業存儲：
  • SAN(HP/ HPS) , 1+ PB, 數據庫
  • NAS (HW) , 800+ TB, 文件共享
• 開源存儲
  • GlusterFS, 1+ PB, 數據庫備份
  • FastDFS,   1+ PB, 海量照片
  • HDFS,      10+ PB, 大數據

而在不久的將來，隨著公司業務的發展，攜程需要的存儲容量需要擴大到10倍以上。

攜程選擇Ceph的理由：低成本 + SDS + Scale-out + 統一存儲 + 企業特性

 

攜程目前的Ceph集群的配置：

• CephVersion: 0.94.2，H release
• Object Storage: RGW + Swift API
• SDK: Python/ Java/ C#/ Ruby
• OS: Centos 6.4
• 硬件：CPU(2 channels & 32 Core)、Mem128GB、disk（12*3TB/SATA disk +2*256GB raid1 SSD）、NIC(4*Gigabit LAN, bond 2 in 1 pair)

RGW 使用架構：

攜程有在數據中心之間的同步數據的需求。在研究了 CRUSHmap、Radosgw-agent、Federate gateway （不穩定、不靈活（隻支持Zone 之間同步）、不易擴展）後，其自研了COS方案，它具有穩定、靈活、擴展性等特點：

 

下一步的計劃：

• Database on Ceph (Dev & QA Farm)
• Openstack/ DockerIntegrate with Ceph
• IT “Dropbox”

資料來源：攜程在 2015/10/18 SH Ceph Day 上的分享。

樓主點評：

• 與互聯網公司的通常做法一致：慎重選擇、細致測試、分布使用（往往從開發測試環境中使用開始）、開源的不夠用就自研
• 希望攜程能有更多的分享和回饋社區

2. 聯通研究院

中國聯通研究院在使用Ceph對象和文件存儲：

 

該集群還比較小，更多的是處於做大規模使用前的準備階段。其測試環境：

 

測試結果：

他們認為SSD對性能提升的效果一般：

資料來源：聯通研究院在 2015/10/18 SH Ceph Day 上的分享。

樓主點評：

• 尚處於小規模測試和試用階段
• 使用的測試方法或者調優手段可能沒到位，不然性能提高不會那麼少

3. 寶德雲（PLCloud）

寶德雲使用Ceph的理由：

• Pure Software
• Open Source, Commercial Support
• Unified Storage: RBD, RGW, CephFS
• Scale Out
• Self Healing
• Replication and Erasure Coding
• Integrate well with OpenStack

寶德雲的用法：OpenStack + Ceph （RDB，CephFS）+ Docker

• 所有 OpenStack 存儲都放在 Ceph 上
• 18*(5 OSD+1SSD) / CephRBD / CephFS
• 785VM / 4vCPU32GB per VM
• Ubuntu14.04 / Docker1.6.1 / 150+ Containers per VM
• All VM Mount CephFS
• Mount VM Directory as Container’s Data Volume
• Boot 1 VM < 5s
• Boot 1 Container < 1s
• Boot 150+Containers < 120s

• Ceph Rados Gateway driver for Docker Registry

•  

    Map RBD device inside DockerContainer

• CephFS as Data Volume

•  

    CephFS as NAS Storage

• Run Ceph in Containers

使用案例：寶德雲上的愛慕流媒體服務

• Run media web/app/dbvmover OpenStackand CephRBD
• Use CephRGW as media resource storage
• Put video TransportStream/jpg file via c-language programme
• Manage resource via python-swiftclient
• 400+KB per video tsfile
• Reserved video ts/jpg file 7 days or 30 days
• Allow media server temporary access to objects
• Provide media service for Internet and Intranet User

資料來源：寶德雲在 2015/10/18 SH Ceph Day 上的分享。

樓主點評：

• 夠大膽（到目前為止 CephFS 還不穩定呐）、夠與時俱進（什麼東西新就用什麼）
• 沒說清楚怎麼支持愛慕的超大流數據 

4. CERN （歐洲核子研究委員會）實驗室（來源）

4.1 測試環境

CERN 的一些實習生搭了一套環境，使用 NetApp Cinder driver 和 Ceph，進行性能比較。

NetApp 環境（適應iSCSI驅動）：                               Ceph 集群：

       

FAS2040 Storage Systems

• Data ONTAP 8
• 52 Disks

Benchmark 環境：

做法：在兩個存儲上分別創建100G，200G，400G的卷，分別掛載到三個虛機上，使用 hdparm、Flexible I/O Tester 和 dd命令作為測試工具。 

4.2 測試結果

（FIO使用的是 writeback 緩存機製）

結論：

（1）讀上，Ceph 比 NetApp 更快；寫上，兩者差不多。

（2）Ceph 使用緩存的話，對 I/O 性能影響很大。writeback 能較大地提交性能，而writethrough 隻能輕微地提交性能。

（3）對單個卷使用不同的條帶化參數，能提交其性能。該功能會在 Cinder 中實現。

5. 樂視雲（來源）

    樂視采用了 Ceph RBD 作為 統一存儲，OpenStack使用的Cinder，後端接的是Ceph，Glance也是共享Ceph存儲。同時還提供了 S3 對象存儲，用作於 CND 源站，存儲樂視網的視頻以及客戶需要分發的資源。S3 也是全國分布式部署，用戶可以就近上傳，再推送到北京。目前樂視雲 OpenStack 規模已達 900 個物理節點，對象存儲的數據達到數PB。樂視認為，“ceph 數據分布，性能方麵都很不錯，crush算法是它的亮點“。

6. UnitedStack （來源）   

    國內的 UnitedStack 應該說對 Ceph 做出了很大的貢獻，包括很多的 bug fix 和新的功能，同時，也使用 Ceph 搭建了很大規模的雲。他們 Ceph 團隊的 blog 非常值得關注。下麵是他們的測試報告：

IOPS：                                                                                  吞吐率

 

寫懲罰：

結論：