694      iPhone_iPad_Mac_apple

處理-搭建監控係統__最佳實踐_日誌服務-阿裏雲

日誌服務簡介

日誌服務是阿裏雲一個重要的基礎設施，支撐著阿裏雲所有集群日誌數據的收集和分發。眾多應用比如OTS、ODPS、CNZZ等利用日誌服務logtail收集日誌數據，利用API消費數據，導入下遊實時統計係統或者離線係統做分析統計。作為一個基礎設施，日誌服務具備：

1. 可靠性：經過多年阿裏集團內部用戶的檢驗，經曆多年雙十一考驗，保證數據的可靠、不丟失。
2. 可擴展性：數據流量上升，通過增加shard個數快速動態擴容處理能力。
3. 便捷性：一鍵式管理包括上萬台機器的日誌收集。

日誌服務幫用戶完成了日誌收集，統一了日誌格式，提供API用於下遊消費。下遊係統可以接入多重係統重複消費，比如導入Spark、Storm做實時計算，也可以導入elastic search做搜索，真正做到了一次收集，多次消費。在眾多數據消費場景中，監控是最常見的一種場景。本文介紹阿裏雲基於日誌服務的監控係統。

日誌服務把所有集群的監控數據作為日誌收集到服務端，解決了多集群管理和異構係統日誌收集的問題，監控數據統一成格式化的日誌發送到日誌服務.

日誌服務為監控係統提供了

1. 統一的機器管理：安裝一次logtail，所有的後續操作在日誌服務端進行。
2. 統一的配置管理：需要收集哪些日誌文件，隻要在服務端配置一次，配置會自動下發到所有機器。
3. 結構化的數據：所有數據格式化成日誌服務的數據模型，方便下遊消費。
4. 彈性的服務能力：處理大規模數據寫入和讀取的能力。

監控係統架構

如何搭建監控係統

1. 收集監控數據：

1. 參考快速入門了解如何配置SLS的日誌收集，確保日誌收集到了日誌服務。

2. 中間件使用API消費數據

可以參考SDK使用方法，選擇適合你的SDK版本。通過SDK的PullLog接口從日誌服務批量消費日誌數據，並且把數據同步到下遊實時計算係統。

3. 搭建storm實時計算係統

選擇storm或者其他的類型的實時計算係統，配置計算規則，選擇要計算的監控指標，計算結果寫入到OTS中。

4. 展示監控信息

通過讀取保存在OTS中的監控數據，在前端展示；或者讀取數據，根據數據結果做報警。

最後更新：2016-11-23 17:16:06

  上一篇： 處理-實現ActionTrail__最佳實踐_日誌服務-阿裏雲

  下一篇： 處理-訪問日誌統計分析__最佳實踐_日誌服務-阿裏雲