67
Go在百萬億級搜索引擎中的應用
Poseidon 係統是由 360 開源的日誌搜索平台，目前已經用到了生產環節中，可以在數百萬億條、數百 PB 大小的日誌數據中快速分析和檢索特定字符串。因為 Golang 得天獨厚的支持並發編程，Poseidon 的核心搜索引擎、發報器、查詢代理是用 Golang 開發的，在核心引擎查詢、多天查詢、多天數據異步下載中大量使用了 goroutine+channel 。
大家上午好，我是郭軍，很高興今天在這裏和大家交流。我今天演講題目，Golang 在百萬億搜索引擎中的應用。Poseidon在希臘意思是海神，在這裏是海量數據集的主宰者。
之前我的工作一直麵向海量用戶，去年年中我接觸大數據以及海量數據這樣的場景，在今天的演講中，主要會涉及以下幾方麵內容：
- 設計目標
- Go 應用場景與遭遇的挑戰
- 怎樣應對?
- 開源的改變
- 總結
設計目標
首先說一下為什麼要做這個係統。這是一個安全公司，APT ( 高危威脅持續性事件)。在追查APT事件的時候，我們通常會找一個樣本在某一樣時間之內到底做了什麼事情。在海量日誌中找這些信息的話，運氣好不堵塞的時候，大約兩、三小時可以跑出來，如果運氣不好，跑的任務太多堵塞的話就要修複，可能一天兩天才能出來數據，顯然這樣的效率是不高的。
我們的設計目標，我們總的數據量保留三年的曆史數據，一共有一百萬億條，大小有 100 PB。秒級交互式搜索響應，從前端發起請求到某一天數據，我們會在幾秒鍾之內給你返回。我們之前設定秒級60秒返回就可以，實際上做完之後測試的結果都在3秒到5秒之內，90%請求在10秒之內。每天要支持兩千億數據量灌入，原始數據僅存一份，對現有 MR 任務無侵略。ES 原始數據不止存一份，會再存一份，我們這麼大數據量來說，再存副本的話，維護成本以及代價是非常大的。ES 支持不了百萬億級數據量，現在業界做到一千億，我們隻做到300多G。然後自定義的分詞策略，我們每一個業務的日誌格式都不一樣，分詞策略需要特別靈活;然後故障轉移節點負載均衡，自動恢複，支持原始日誌的批量下載。
圖1
圖1是我們總體流程，這個圖比較複雜，我們之前有同事分享過這個架構。如果今天再分享架構可能時間會不夠，圖2是它的一個非常簡單的粗略圖。
圖2
Go 應用場景與遭遇的挑戰
首先原始日誌。 在轉化的時候我們把每 128 行原始日誌抽取出來作為一個文檔，多個文檔聯結在一起形成一個文件。這裏會有人問為什麼選擇 128 行，我們每天日誌量是700億，按照每一行一個文檔我們有700 億文檔。一行日誌一個文檔，700 億文檔占用空間太大;700 億數據會膨脹。選擇 128 行是因為：第一，700 億除 128 ，大約是 5.46 億左右，在一定範圍內可以承受;第二，因為我們的ID都是數字形式，以發號器形式發出來的，我們壓縮數字的時候，肯定要采取各種各樣的壓縮辦法，我們在這個地方用的插分，對於128 數字的壓縮是比較好的。壓縮 128 行日誌對比壓縮1行日誌高很多。我們每天原始日誌，我說的業務每天原始日誌有 60 ，壓縮之後我們能打成 10 左右，這是每天的數據。我們在輸出的時候，這個是原始的日誌，最後就要到原始日誌裏麵找，最後就要構建數據。因為我們要存入進去的時候，剛剛我說的一句話，很多人不明白，多個連接起來形成一個文件。有一個非常大的優勢，裏麵的數據我放到另外一個文件裏麵，我一直疊加，最後這個文件可以被解壓。換一種方式來說，把文件都輸出到一個文件裏麵，作為這一個文件，我從這個文件裏麵取出某一段來，我就可以解壓出來，這是一個非常大的特性。因為我需要讀一段日誌，我肯定要知道這個我從哪個地方讀到哪個地方，我要知道我讀的壓縮文件，解壓出來就是128行日誌。我們把整個原數據放到這裏麵，去建索引以及原數據，大體就是這樣一個流程。首先看一下離線引擎，客戶端請求日誌，包括 PC 衛士、網絡以及瀏覽器等等，這塊相當於傳統搜索引擎的爬蟲。下麵會具體講到，離線生成 DocGz 、DocGzmeta ，然後構建原數據。在線引擎，web 我們做簡單的頁麵開發，到 proxy 集群，再發到 searcher 集群，然後走到 readHDFS ，readHDFS這個服務是用 Java開發，用 Java 開發有很多坑，但是又不得不用，因為java仍然是操作hadoop最合適的語言。
來說一下數據結構。 我們用 ProtrBuffer 描述核心數據結構。每一個 ID 下麵分為兩段，那個 docID 就是我這個文檔的編號;第二是 rowIndex，每個裏麵都會對應多行日誌，我這裏麵對應 128 行裏麵哪一行日誌，就是這個做的定位。我們用 map 的形式描述出來，這個是由 DocID 形成的列表，每一個裏麵會對應多個DocIDList。map 和 string 裏麵，我要先找到 map ，然後再把數據拿出來。如圖3所示。
圖3
說一下搜索引擎的核心技術。 首先倒排索引，倒排索引有一個趨勢，DocidList 非常長。我們一個分詞會先計算出來 hashid ，知道 hashid 之後要查詢的時候我們要做一個平台，給出要查詢哪一個業務，比如我要查網絡等等這些，我們以業務的簡寫拚接上hashid，然後要查詢的時間，查詢哪一天的數據，我們引擎不是實時，因為數據量太大做不了實時，隻能做到今天查昨天。然後解析 invertedindex 拿到對應的文檔信息在裏麵，找到這個位置之後，把我們所有的需要的原數據抽出來，然後解壓。我們就知道某一個分詞對應著 DocidList 是哪一個，根據 DocidList 去查要查的 map 信息在哪個地方，獲取之後再拚一個路徑，把原始數據拿出來。拿出原始數據之後，一個文件裏麵會有 128 行日誌，這 128 行日誌Doc裏麵rowindx 找到文檔在哪一行，做過濾就可以了。用非常簡單的話來總結一下，因為 Docid 比較長，我們存一個位置，我們的 DocidList 每一個 Docid 對應的文檔也比較多，我們讀原始文檔的時候，也會存一個位置，在計算機領域中，各種難以解決的問題都可以添加一個間接的中間層來解決這個問題。如圖4所示。這句話在我們係統中有了很好的嚐試，不僅是這一塊。
圖4
再來說一下 idgeneratror 。 按照每天業務 27700 億來算，分詞以後是 100 億，每一個分詞對應 277 行日誌，這是平均數，每天 Docid 有 27700 億個。按照每個 4 字節來計算，光是 Docid 數字將近 11TB。在這裏進行了處理，采用分段區間獲取降低 qps，每天的 id 重新從 0 開始分配。我們每天 Docid 倒排索引量在2.4T。每天 27700 億我們做起來也稍微有點發怵，我們想了一個辦法，我們業務名加時間作為 key，每天id 從零開始重新分配，這樣就可以保證我每天的量不至於太高，而且分出來的 Docid 不用太大，如果太大的話，可能數據就會比較膨脹。我現在建了索引是哪個業務，什麼時間段，哪一天的，我這次要請求哪一個區段，如果說我請求了 1 到 100 個這個區段，在 idgeneratro 會提前預留出 1 到 100 這個空隙。
Proxy/Searcher詳細設計。 Searcher核心引擎就是走四級索引裏麵做的事情，其中包括過濾和模煳查詢等等，這些不是主幹業務我沒有說。從裏麵拿出map數據，然後再取原始數據，取完數據以後，我們有很多原始數據非常大，大約有幾十兆左右，如果放在處理器前端，前麵會直接卡死，我們會把原始數據比較大的業務，在頁麵上麵給大家展示，點擊查看原始數據這麼一個鏈接，點了以後再過來請求一遍，這是一個非常簡單的架構。如圖5所示。
圖5
Searcher並發模型。 因為讀 四級索引的時候，讀 Docid 的過程一模一樣，所以我在這裏用讀 Docid 舉例子，比如我拿到 DocidList 的數據，我會給每一個 Docid 分配一個 Goroutine ，拚接出來 doc path ，讀取原始日誌，然後做過濾，最後返回給前端。如圖6所示。
圖6
怎樣應用
第一個瓶頸。 我們團隊的基礎組件全是 c++，我們團隊核心業務，以及在線引擎、核心引擎都是c++ 來做的。我們用到 gdb 進行調試，進程過多，用 c++ 組件一開始想偷懶，然後編輯進C，再放到 Go 裏麵去。每一個讀取 Docid 中，每一個文件都會去讀，我們的運用程序經常就掛，當時也沒有原因，最後我們才看到執行 CGO 的時候，我們收到一個信號，就是 signal exit，然後我們進行GDB調試，說是進程太多，因為CGO在執行的時候會新建一個M。
解決方案：用Go重新實現一遍，將組件作為http服務，Go Client調用，做集中式處理。
第二個瓶頸。 在係統中，我們大量使用 Goroutine，子寫程 panic 在主寫程不能被處理掉。
解決方案：我們在通道類型裏麵為struct，封裝正常數據和error，在主協程取取出數據，統一做處理。
經驗小結。
- 即使精通很多語言，最好不要混用，要非常謹慎引入其他語言的解決方案。
- 不要完全相信recover，它不能恢複runtime的一些panic。
看一下我們的Proxy多天並發查詢設計。 如圖7所示。要做 多天查詢有兩種方案。第一種方案把多天查詢加上，這樣使我們核心查詢引擎變得非常臃腫，我們還是那句話，加一個中間層。把多天變成單天，然後在Proxy 拿到所有的單天數據，就形成了多天查詢。
圖7
我們還有另外一個項目，請求Poseidon的數據，我們想到兩種解決方案，第一種解決方案，你在自己第三方係統裏麵做緩存，要不我們做緩存，我們是這樣取舍。如果第三方係統裏麵做緩存，所有的查詢，緩存隻能在第三方係統裏麵用。如果在我們這裏緩存，他們發了請求到我們這來，其他所有第三方裏麵都有可能能用上。我們是這樣做的，首先請求 Searcher 拿到當天的數據，比如查一個月的數據，請求 Searcher 單天的數據，如果每一個Goroutine 去查一天，每一個 Goroutine 拿到 Searcher 單天數據之後，把它解出來，看一下是不是錯誤數據。如果是錯誤數據的話，直接給客戶端把這條數據返回錯誤，並不是給客戶端整個錯誤，因為隻是這一天某一條數據有錯誤。而不至於我們在查詢 30 天數據的時候，裏麵隻要某一天某一條數據有錯誤，就直接返回給用戶，我這個係統不可用。如果不是錯誤數據，會根據請求參數，請求參數有很多。除了這些之外，還有查詢的時間，根據這個來做一個Cace Key，然後打回給前端。
我們遇到一個問題，每一個用戶會把整個索引流程都跑一遍，也就是說用戶會給我們實時測試。在同一個時間之內，同一份數據在緩存時間之內不會走完整個 readhdfs 流程。build index 程序化，我們會有監控，如果程序化我們會知道，程序掛了會報警感知，但是數據錯誤卻是未知，我們現在還沒有做到這種監控。但是這個數據錯誤是未知的，我們修複索引就會花費大量時間，去重新寫日誌，跑 Docid，還要解決漏洞。
我們的解決方案，第一個減少緩存時間，在可容忍錯誤數據時間之內，用戶查詢能及時發現問題，恢複一天兩天數據還可以，不至於緩存 30 天或者一、兩個月，到最後錯誤數據會越來越多。第二個解決方案，參考 NSQ，利用 for+select 的不確定性來分餾，隨機流量到 chanel 和 hdfs 做熱測試。缺點，就是開發成本相對第一種方案來說有點高。這塊要注意，開發成本並不是非常高，因為 select 而隻能從 chanel 拿數據。
第二個經驗小結。 不要選擇非常高大上的一些技術，或者說一些我們所說的黑科技，簡單、有效、夠用能解決問題完全可以。利用 Goroutine 設計並發程序很方便，但是並發運行模型一定要 hold 住。我們之前Gopher 群裏麵發過一個博客，裏麵發了很多動態圖，一些 Go 的 Goroutine 和 channel 如何並發，動態圖畫的非常炫。我們在寫自己業務的時候，我們看了 Goroutine 以及 Goroutine 和 channel 怎麼聯動，我們自己有概念。我要表達觀點的時候，我一時也找不到非常恰當的名詞來描述，我不知道這個名詞之前有沒有，或者有沒有其他的意義。
Proxy多天異步下載。 如圖8所示。前端發起請求，要選擇下載多少天，下載多少數據，服務端接受到請求之後，馬上給客戶端返回，我已經收到了，把這個消息寫到channel。剛開始我們已經說過在readHDFS是是用JAVA寫的，Goroutine太多，底層掛掉。兩個Searcher到HDFS的時候，一個分詞對應上百個Docid，可能對應著上百個文件，因為每一個Docid不一定在一個文件裏麵。在Searcher裏麵的時候，看起來進來一個請求，實際上往後會越來越大，到最後可能就是指數級的增長，像我們滾雪球一樣。
圖8
首先JAVA做了簡單的連接池，然後有熔斷機製，如果超出一定的連接數，直接返回error。像我們很早之前的時候，保險絲，家裏麵的電率大的時候，保險絲是用鉛絲做的，鉛絲會熔化掉。
再說一下GC的變化。 首先我說一下GC在我們整個係統中，從來都不是瓶頸。在這裏說的幾點，是我們升級之後簡單做的測試，在這裏和大家交流一下。如果有其他做測試比我們更細的同學，可以交流一下。
Go 1.7。 我們之前用的 1.5，升級到 1.7 之後，我們的 GC 下降到了三分之一。
nginx 代理問題，之前我做分享的時候，有同學問我在 Go 前端要不要加nginx代理。我之前做的係統麵向海量用戶，我們隻把 GoServer 打包成二進製的可執行包，請求打到 lvs 的80 端口然後再轉發到 GoServer 8080，非常簡單。在這個項目我們用了 nginx，我們有用它的理由。
訪問控製和負載均衡。 負載均衡我們可以用 LVS 做，我們這個項目的場景，使用的人非常少。第一我們是一個內部項目，權限問題，我們所在前端端口隻能讓開放的一些機器來訪問，除了我們自己的前端器會訪問以外，其實還有其他的一些團隊，會過來直接寫腳本請求我們的數據。我們nginx裏麵直接用了這兩個，這樣我不需要在Go裏麵做，前麵就可以直接用nginx做了簡單的負載均衡。要不要nginx，完全取決於自己業務的場景。因為在這個場景中，加了nginx也隻是給運維稍微增加了負擔，但是ip限製和負載均衡不需要重新開發了，之前沒有用因為它沒有在裏麵起到任何作用，而且之前是對外的服務，不需要有任何的限製，任何人都可以過來請求。
開源的改變
我們考慮開源。 在去年11月份的時候，我們開源了係統，係統有66%代碼是用Golang寫的。我們有兩個問題需要解決，第一個問題第三方依賴的問題，我們開源主體方案沒有用到我們自己的內部依賴包，這些第三方的組件，我們應該如何維護它，我當時和很多人交流過，這種方式也比較多，但是他們各有各的優點和缺點，幾乎沒有一個非常完美的方案，能解決到依賴裏麵再套依賴，以及多層依賴關係，至少我沒有找到，既然沒有的話，就選擇最大眾化，最簡單的方案，用這個方式來解決。
在我們整個服務裏麵，我們自己開發了幾個服務，一共有五個。我們當時考慮過，如果讓用戶部署五個服務，即使我們寫好了腳本，部署起來在每個用戶端操作係統不同，CPU位數不同等等，都會出各種各樣的問題。排查起問題來，不知道排查哪一個服務，對於我們這些開發者來說，我們排查問題的時候，也會根據日誌一個服務一個服務去找。我們考慮到，我們把所有的服務打成一個ALL in One一個包。在實際交流試用中，我們了解到有很多人沒有選擇All in One而選擇這五個服務獨立部署。
我們開源有五個月，有很多人想讓我們把模煳查詢以及過濾開源出來。模煳查詢我們做的非常簡單，我們用了一個數據庫，有並發能力。我們先把我們需要模煳查詢的分詞給分出來，放到數據庫裏麵，在數據庫裏麵我就可以操作，我們平常用到的模煳查詢關鍵詞，也就是幾十億左右，幾十億的量做一個操作，那簡直太簡單了，查到之後就知道關鍵詞，拿到關鍵詞之後，接下來的方案就是一個用多個關鍵詞查詢多天的場景，用多個關鍵詞和單個關鍵詞是一樣的。多個關鍵詞去查詢和用多天查詢是一樣的，每個關鍵詞分一個Goroutine去查詢，就可以解決問題了。
總結回顧
首先Go的開發體驗比較好，性能比較高，服務很穩定，我們除了線上有一次事故之後，好像就再也沒有過。我們線上是用自己寫的做監控，如果它掛掉就會自動拉起來，當然這是一種比較low的方式，因為它可能沒有掛，但是它的確死掉了。可以滿足大部分的需求場景，GO語言程序開發需要在代碼可讀性和性能之間做平衡取舍，應用程序並發模型需要在控製之內。我們有很多人在群裏麵問連接池以及對象池，連接池我們不說，因為很多客戶端都會實現連接池這個功能，我們考慮對象池。對象池優點的確很大，因為它可以複用對象減輕壓力，這是最核心的功能。複用對象解決了gc壓力，但還有一個代碼可讀性的問題，引進對象池，對象池和業務沒有關係，你要看對象池怎麼做，代碼可讀性會非常差。還要說的是，對象池這種解決方案，在Go1.2的時候，用起來很爽，但是目前為止1.4到1.7的時候，對象池這種方案已經遠遠用不到了，因為gc已經不是那麼明顯。除非在非常極端的情況下，我們可能會用到這種非常極端的方式解決問題，但是我想大部分的公司都不太會遇到這種問題。我們知道Go在開發安卓，我們現在用的最多就是它和c++以及c的配合然後在用CGO引入到GO，謹慎與其他語言合用，即使對語言都非常熟，你也並不知道他們兩個結合起來說不定引發一個問題，可能是你永遠解決不了的問題。要合理引進第三方解決方案，在運維成本和係統維護成本要做平衡。
本文作者：郭軍
來源：51CTO
最後更新：2017-11-02 15:05:31