400
阿裏雲雙11訪談之Elasticsearch
摘要：阿裏雲宣布與Elastic公司建立了合作夥伴關係，並在雲棲大會上聯合發布阿裏雲Elasticsearch產品。在阿裏雲雙11訪談Elasticsearch專場中，阿裏雲大數據Elasticsearch資深產品經理洪陽為大家簡單介紹了阿裏雲Elasticsearch的基本情況，並且分享了阿裏雲Elasticsearch的優勢以及在日誌處理分析、搜索以及安全等領域實際應用。以下內容根據訪談視頻整理而成。
阿裏雲Elasticsearch簡介
阿裏雲Elasticsearch是阿裏雲投入了大量資源開發的重磅產品。在杭州雲棲大會期間，阿裏雲與Elasticsearch官方進行了聯合發布，在雲棲大會上，Elasticsearch的創始人、Elastic 公司CEO Shay Banon也不遠萬裏親臨現場與大家分享他與Elasticsearch共同經曆的那段曆史，他表示非常期待Elasticsearch社區能夠在中國與阿裏雲碰撞出不同的火花。目前阿裏雲Elasticsearch產品已經正式商業化了，大家可以登錄阿裏雲官方獲取關於Elasticsearch的更詳細信息。
接下來分享一下阿裏雲Elasticsearch的功能和特性。目前很多用戶都在ECS上自建了Elasticsearch，與這種自建的方案相比，阿裏雲的Elasticsearch在剛開始定義這款產品的時候都沒有打算更換新名字，最主要的原因就是希望能夠基於Elasticsearch的一整套開源技術棧去實現雲化處理，進而為用戶提供服務。所以阿裏雲Elasticsearch產品的底層是與開源社區實現了完全匹配的，大家可以理解成與開源社區完全兼容。在此基礎之上，阿裏雲Elasticsearch本身還提供了Kibana以及X-Pack這樣商業化插件的預置，為了使用戶的使用更加順暢，還提供了像ik等的分詞插件。因為在用戶長期的使用過程當中，隨著業務不斷發展的過程往往會涉及到存儲的彈性擴容的需求，阿裏雲Elasticsearch對於這些都基於阿裏雲的底層平台進行了處理，所以相對於自建而言，阿裏雲Elasticsearch在這些方麵會節約了大量的運維和部署成本。同時，阿裏雲與Elasticsearch官方進行了戰略合作，Elasticsearch官方會提供7*24小時的技術支持，所以相比於自建而言，阿裏雲Elasticsearch在售後方麵也具有非常大的優勢。總結而言，阿裏雲Elasticsearch產品有三個亮點：功能更加豐富、成本更加低廉、能夠提供更多服務支持。
阿裏雲Elasticsearch產品在日誌分析領域的應用
目前，無論是在國內還是國外，Elasticsearch的應用場景其實都是非常廣的，很多中小型公司甚至一些大型的公司都在使用ELK框架，而ELK框架所解決的核心問題就是日誌分析。大家在做日誌分析的時候通常都會遇到幾個比較棘手的問題，比如在日誌收集和存儲方麵，一般而言像異構數據源太多，對接的數據搬遷任務比較重的時候也會涉及到很多的適配性問題，這也是比較痛苦的。而且ELK框架中的Logstash其實是可以做具有較高適配性的數據同步功能的，對於關係型數據庫以及增量數據和離線數據的搬遷都是有非常好的支持的，包括與非常火的Hadoop之間也存在ES-Hadoop插件做雙向的數據搬遷的工作，所以在這個方麵Elasticsearch還是比較強大的。
此外，在日誌處理上麵還會涉及到搜索。對於日誌搜索而言，Elasticsearch本身提供全文檢索的能力是非常強大的。另外Elasticsearch還能夠提供元數據或者指標搜索這樣的功能。Elasticsearch本身還能夠提供基於地理坐標的搜索能力，現在很多基於地圖這部分的場景的搜索也是可以應用到的。在日誌搜索之後還會有一些分析等的需求，一般而言，無論是使用Hadoop進行分析還是使用關係型數據庫進行分析都是可以的，Elasticsearch的框架裏麵也提供了很多強大的聚合分析能力。在Elasticsearch 5.X版本中，X-Pack插件還提供了更為豐富的數據可視化以及機器學習的功能，在數據分析以及挖掘方麵還是可以提供給大家很多能力的。除此之外，在日誌分析的結果出來之後，對於查看權限以及安全管控部分，阿裏雲的Elasticsearch集成了X-Pack，並且還提供了一個RDBC模型的權限管控的能力。最後因為阿裏雲具有彈性伸縮的優勢，用戶不需要去關心業務增長過程當中去采購機器、采購節點再進行數據備份等繁瑣的問題。總而言之，阿裏雲Elasticsearch的這些優點就剛好將日誌分析場景下的訴求全部解決掉了。
阿裏雲Elasticsearch的實際落地
在像共享單車、共享汽車等這樣的很多用戶的業務場景中都會涉及到地理位置信息，比如每個用戶消費的時候都會產生一些經緯度、路線以及支付方式等數據。一般情況下，大部分公司都會有一些訴求，希望看到某個區域內在某個時間點的數據是怎樣的，那麼Elasticsearch本身就可以去支持的。當這些數據歸檔到Elasticsearch中成為索引之後，無論是基於地理信息進行搜索還是進行全文匹配，還是基於關鍵字去做搜索最終形成一些聚合的數據報表出來都是非常方便的。
阿裏雲Elasticsearch在安全領域的應用
在安全領域，阿裏雲Elasticsearch也是在日誌部分表現出非常強大的處理能力。在安全方麵，一般分為事前的安全監控和預處理、事中的阻斷侵入以及異常檢測、事後的對於日誌進行安全審計和有效信息的挖掘。我們可以使用Elasticsearch在事前監控一些端口，因為數據是實時的，所以可以進行實時的監控數據展現；在事中，使用Elasticsearch可以非常方便地實現安全事件分析和流量統計，並且能夠非常迅速地給出反饋；在事後，還可以通過Elasticsearch對於安全日誌進行審計檢查以及搜索，還可以進行深度的挖掘和信息探查進而獲得更好的結果反饋。所以Elasticsearch在安全領域也能夠得到很好的利用。
阿裏雲Elasticsearch在搜索領域的應用
上麵一直在談論日誌分析，其實大家都了解Elasticsearch也是一款搜索產品，其實在搜索場景下，Elasticsearch是一個老牌的服務，其全文檢索的能力也是非常強大的。而阿裏雲的Elasticsearch攜帶了中文領域最火的ik分詞，用戶就可以基於這個分詞插件做一些簡單的中文的索引。接下來，阿裏雲Elasticsearch也會很快推出基於ik的自定義分詞庫，用戶可以將專業場景的分詞庫預置到Elasticsearch裏麵去，獲得更好的查詢效果。
OpenSearch與Elasticsearch
提到全文檢索，大家也都知道阿裏雲還有一款重磅產品叫做OpenSearch，這款產品是基於阿裏巴巴淘係十多年來的搜索業務自己研發的產品。而很多用戶都有一些困惑，就是如何在特定的場景下取舍OpenSearch和Elasticsearch。
其實OpenSearch和Elasticsearch這兩款產品之間的定位雖然存在一定的重合，但是卻不存在任何衝突。OpenSearch是阿裏巴巴自研的，走的是阿裏巴巴自己的技術棧，本身因為阿裏巴巴主棧多年搜索經驗的積累沉澱，OpenSearch會有很多比較優化的相關算法提供給用戶，基於這些算法就能夠使用戶獲得比較好的搜索結果。在未來的整體規劃中，OpenSearch依然會在搜索場景上繼續走下去，未來會提供一些個性化的搜索推薦，還會做一些相關行業的分詞庫提供給大家。而Elasticsearch產品的定位在日誌分析和搜索，未來阿裏雲Elasticsearch會背靠生態在日誌分析、挖掘以及可視化展現方麵做更多的工作和努力，還會打通阿裏雲上的存儲設備以及數據庫產品之間數據的流通，更快地讓阿裏雲上的客戶的數據能夠被Elasticsearch實現快速索引並提供服務。未來Elasticsearch也會在多可用區、服務穩定性、成本節約以及安全方麵投入更多的精力，盡可能地降低用戶的使用成本並提高使用體驗和安全性。所以OpenSearch和Elasticsearch這兩款產品之間並不會有很大的衝突。
阿裏雲Elasticsearch的“雙11”特惠
目前阿裏雲Elasticsearch已經處於公開售賣階段了，如果大家想要獲得阿裏雲Elasticsearch這款產品可通過兩個途徑，一個是通過阿裏雲官網Elasticsearch服務頁麵，另外一個就是可以在阿裏雲大數據產品欄目中找到。在本次“雙11”活動中，阿裏雲Elasticsearch也會為用戶提供最大的優惠，請大家把握住本次機會。此外，因為阿裏雲與Elasticsearch官方達成了戰略合作，未來也會邀請Elasticsearch資深專家為大家進行服務支持，並且也會舉辦技術培訓等線下活動，具體情況請關注Elasticsearch產品的相關公告。
最後更新：2017-10-30 12:04:27