96      技術社區[雲棲]

淘寶開源數據庫OceanBase編譯、安裝和配置手冊

概述

    OceanBase是 一個高性能的分布式表格係統，提供類似BigTable的性能和擴展性，但表格中保存的是強類型的數據，比如integer,string，datetime等。 它使用C++編寫，運行於64位Linux環境下。生產環境下需要使用多台機器搭建OceanBase集群以提供高可用和高性能，但是你也完全可以使用一 台機器運行OceanBase。

    本章節講解如何迅速搭建一個可用的最小OceanBase環境，在這之前請確保你能提供以下的條件:

• 64位的Linux服務器一台, 內存至少1G。
• 足夠的磁盤空間，最少100MB。
• 擁有root權限或能通過sudo提升至root權限。

    如果你滿足要求，恭喜你。可以繼續安裝OceanBase的過程了。這大概分為如下幾個步驟:

• 從源碼編譯安裝OceanBase及其依賴的庫
• 啟動OceanBase
• 使用OceanBase

    最後，我們會對OceanBase中的配置做一個粗略的解釋以幫助你解決啟動時遇到的問題。

從源碼編譯安裝OceanBase及其依賴的庫

    在安裝OceanBase之前，請檢查gcc的版本:

   最好用gcc 4.1.2編譯，如果版本不匹配，不一定可以編譯成功，歡迎大家測試不同版本的編譯器，同時歡迎大家提供patch讓OceanBase能在更多版本的編譯器下編譯通過。

    Oceanbase在運行時需要用到一些動態庫，建議在bashrc中將LD_LIBRARY_PATH設置好：

安裝依賴的庫

[libtoolize]

    編譯腳本中用到了aclocal, autoconf, automake等工具，一般機器上會自帶。如果機器上沒有安裝，請先安裝：

liblzo2

    liblzo2是一個壓縮庫，OceanBase需要用它來壓縮靜態數據. 利用yum快速安裝

    如果yum找不到這個包，可以選擇手動安裝：

    安裝完成後你可以編譯一個C程序看看編譯器能否找到它:

    如果沒報錯就說明安裝成功了。如果顯示下麵的消息則說明$LD_LIBRARY_PATH變量沒有配置正確，請確定liblzo2.so.2所在目錄並加入到$LD_LIBRARY_PATH中。

Snappy

    Snappy是Google出品的壓縮庫，OceanBase用它來壓縮靜態數據[可選]. 注意：Snappy依賴於lzo庫，請先裝lzo庫再裝Snappy。利用yum快速安裝

    如果yum找不到這個包，可以選擇手動安裝：

    安裝完成後你可以編譯一個C程序看看編譯器能否找到它:

    如果沒報錯就說明安裝成功了。如果顯示下麵的消息則說明$LD_LIBRARY_PATH變量沒有配置正確，請確定liblzo2.so.2所在目錄並加入到$LD_LIBRARY_PATH中。

libnuma

    Oceanbase中用到了NUMA支持，需要libnuma的支持。下麵通過yum安裝numactl來添加numa相關的頭文件和庫。

    如果yum找不到這個包，可以選擇手動安裝：

libaio

    Oceanbase中用到了AIO，需要libaio的支持。下麵通過yum安裝libaio來添加numa相關的頭文件和庫。

    如果yum找不到這個包，可以選擇手動安裝：

tbnet和tbsys

    tbsys是對操作係統服務的封裝，tbnet則提供了網絡框架，OceanBase依賴於這兩個庫。 tbnet和tbsys被作為tb-common-utils被開源了， 可以訪問  https://code.taobao.org/trac/tb-common-utils/wiki/ZhWikiStart 以了解更多情況。 注意，安裝和使用tbnet和tbsys之前，要設置好 TBLIB_ROOT 這個環境變量，這個環境變量指示了安裝tbnet和tbsys庫的路徑.

    用如下命令下載源碼並編譯安裝:

    安裝成功後, TBLIB_ROOT 所指示的目錄下會有include和lib兩個目錄，可用如下的命令驗證編譯器能否找到庫:

    如果報錯，檢查 TBLIB_ROOT 是否設置正確了。

gtest

    可選。如果你執行./configure –without-test-case不編譯OB的test，那麼這一節可以忽略。如果你要編譯test，本節內容僅供參考：新版gtest是不允許安 裝的，gtest上的wiki有說到。建議./configure && make之後，直接:

編譯安裝OceanBase

    檢出OB分支源代碼：

    編譯安裝

    注意 –without-test-case表示不編譯測試用例，因為OceanBase使用googletest作為測試框架，如果你想跑單元測試，需要把googletest的頭文件和庫放入到oceanbase源碼頂層目錄的include和lib目錄。 安裝完成後需要進行一次初始化，根據當前機器配置生成必要的初始化文件。執行single-machine-bootstrap腳本就可以完成全部初始化工作。

一切初始化完成後係統目錄如下圖所示：

 /
        |--/usr/lib/
        |   |-- liblzo*.so.*
        |   |-- libsnappy*.so.*
        |   `-- ...
        |
        |--$HOME
            |-- tb-common-utils
            |-- ob-src-dir
            |   `- ...
            |
            `-- ob-install-dir
                |-- single-machine-bootstrap
                |-- include
                |-- lib                     
                |-- bin                     
                |-- @etc                    
                |   |-- rootserver.conf
                |   |-- mergeserver.conf
                |   |-- chunkserver.conf
                |   |-- updateserver.conf
                |   `-- schema.ini          
                |
                `-- @data                   
                    |-- ups_commitlog
                    |-- rs_commitlog
                    |-- ups_data
                    |-- log
                    |-- cs
                    `-- rs

啟動OceanBase

    在整個OceanBase集群中一共有四種角色：RootServer?,UpdateServer?,ChunkServer?和MergeServer:

• RootServer?是集群的中心控製結點
• UpdateServer?是集群的更新服務結點
• ChunkServer?是集群靜態數據存儲結點
• MergeServer?為查詢服務結點。

    應用程序使用OceanBase，需要通過客戶端庫，客戶端隻需要知道RootServer的地址即可。

    在最簡單的情況下，OceanBase由一個RootServer, 一個UpdateServer, 一個ChunkServer和一個MergeServer組成，這四個Server都運行在同一台物理機上。可以用如下的命令啟動四個Server:

    當然，OceanBase並不強製要求四個Server的啟動順序。

    Server都作為daemon運行，可以用如下命令查看對應的log：

    在成功啟動OceanBase後，按照默認的配置認生成了一個名為test的表。這個表是典型的kv數據表，可以使用OceanBase提供的API讀寫這個表。 如有運行有問題，可以參考後麵關於配置的更加詳細的解釋。

使用OceanBase

    TODO

配置文件說明

    OceanBase提供表格存儲服務，所以首先要有一個schema文件描述表格，其次RootServer,UpdateServer?, ChunkServer?和MergeServer都有自己的配置文件。 四個Server的配置文件是在啟動Server時通過命令行參數指定的，schema文件的路徑是在RootServer的配置文件中指定的。

修改數據庫schema配置文件

    一個schema配置文件描述一個應用，一個應用可以有多個表格，配置文件中要指定應用的名字，及每個表的名字，每一列的名字，類型等信息。 詳細的描述參見源碼包的文檔: doc/OceanBase的schema.docx

修改 rootserver.conf

    RootServer?的配置主要指定自己的地址及UpdateServer的地址，Schema文件的路徑等。

修改 updateserver.conf

    UpdateServer?的配置主要指定自己的地址及RootServer的地址， 數據的存儲目錄等信息。

關於UpdateServer的數據目錄結構

    store_root, raid_regex和dir_regex 共同指定了UpdateServer的數據目錄，UpdateServer?以 sstable的方式保存數據。在 store_root 項指定的目錄下建立多個與 raid_regex 配置項匹配的目錄， 目前默認的目錄名是這樣的raid1 raid2 raid3 ….，同一個sstable文件會在一個raid目錄產生多份拷貝，在上述每個raid目錄下建立多個與 dir_regex 配置項匹配的軟鏈接，目前默認的目錄名是這樣的store1 store2 store3… 分別指向不同設備掛載點下的目錄(如 /data/1-1/ups_store /data/1-2/ups_store… ), 在測試時我們可以使用普通的目錄代替掛載點。

    因此建立好的環境用tree命令看是這樣的：

data
        |-- raid1
        |   |-- store1 -> /data/1-1/ups_store/
        |   |-- store2 -> /data/1-2/ups_store/
        |   |-- store3 -> /data/1-3/ups_store/
        |   |-- store4 -> /data/1-4/ups_store/
        |   `-- store5 -> /data/1-5/ups_store/
        `-- raid2
            |-- store1 -> /data/2-1/ups_store/
            |-- store2 -> /data/2-2/ups_store/
            |-- store3 -> /data/2-3/ups_store/
            |-- store4 -> /data/2-4/ups_store/
            `-- store5 -> /data/2-5/ups_store/

    可用如下的命令建立目錄和鏈接

mkdir -p /data/{raid{1..2},{1..2}-{1..5}/ups_store} for i in {1..2}; do  for j in {1..5}; do  ln -s /data/$i-$j/ups_store /data/raid$i/store$j; # 注意這裏建立軟鏈接時最好使用絕對路徑  done  done

修改 mergeserver.conf

    MergerServer?的配置主要指定RootServer的地址等。

修改 chunkserver.conf

    ChunkServer?的配置主要指定RootServer的地址, 數據存儲目錄等。

    chunkserver的數據放在 /datadir_path/$i/application_name/sstable 下, 並且由於該目錄並不存在因此需要建立對應的目錄

最後更新：2017-04-02 16:48:10

  上一篇： 前端必備：jQuery 1.7.1API手冊

  下一篇： iOS中的圖像處理（三）——混合運算