閱讀657 返回首頁    go 阿裏雲

采集-公網數據__最佳實踐_日誌服務-阿裏雲

對一些應用場景而言，需要實時收集公網數據，例如移動端，HTML網頁，PC、服務器、硬件設備、攝像頭等實時數據進行處理。

在傳統的架構中，一般通過前端服務器+Kafka這樣的搭配來實現如上的功能。現在日誌服務的LogHub功能能夠代替這類架構，並提供更穩定、低成本、彈性、安全的解決方案。我們來比較下：

場景

公網有移動端、外部服務器、網頁和設備數據進行采集。采集完成後需要進行實時計算、數據倉庫等數據應用。

arch

方案1：前端服務器+Kafka

由Kafka不提供Resful協議，更多是在集群內使用。因此一般需要架設Nginx服務器做公網代理，再通過Logstash、或API通過Nginx寫Kafka等消息中間件。

需要設施為：

設施 數目 配置 作用 價格
ECS服務器 2台 1核2GB 前端機、負載均衡，互備 108 元/台*M
SLB 1台 標準 按量計費實例 14.4 元/Month (租賃) + 0.8元/GB (流量)
Kafka / ZK 3台 1核2GB 數據寫入並處理 108 元/台*M

方案2：使用LogHub

通過Mobile SDK、Logtail、Web Tracking JS直接寫入LogHub EndPoint。

需要設施為：

設施 作用 價格
LogHub 實時數據采集 <0.2元/GB，參見計費規則

場景對比

場景1：一天10GB數據采集，大約一百萬次寫請求。（ 這裏10GB是壓縮後，實際前數據大小一般為50GB-100GB左右）

  1. 方案1
  2. --------------
  3. SLB 租賃：0.02 * 24 * 30 = 14.4 元
  4. SLB 流量：10*0.8*30  = 240 元
  5. ECS 費用：108 * 2 = 216
  6. Kafka ECS: 免費，假設與其他服務公用
  7. 共計：484.8 元 / 月
  9. 方案2：
  10. --------------
  11. LogHub流量：10 * 0.2 * 3- = 60 元
  12. LogHub請求次數：0.12 （假設一天100W請求）* 30 = 3.6 元
  13. 共計：63.6 元

場景2：一天1TB數據采集，大約一億次寫請求

  1. 方案1
  2. --------------
  3. SLB 租賃：0.02 * 24 * 30 = 14.4 元
  4. SLB 流量：1000 * 0.8* 30  = 24000 元
  5. ECS 費用：108 * 2 = 216
  6. Kafka ECS: 免費，假設與其他服務公用
  7. 共計：24230.4 元 / 月
  9. 方案2：
  10. --------------
  11. LogHub流量：1000 * 0.15 * 30 = 4500 元 （階梯計價）
  12. LogHub請求次數：0.12 * 100（假設一天1億請求）* 30 = 360 元
  13. 共計：4860 元 / 月

方案比較

從以上兩個場景可以看到，使用Loghub進行公網數據采集成本是非常有競爭力的。除此之外，和方案1相比還有其他優勢：

  • 彈性伸縮：MB-PB/Day 間流量隨意控製
  • 豐富權限控製：通過ACL控製讀寫權限
  • 支持HTTPS：傳輸加密
  • 日誌投遞免費：不需要額外開發就能與數據倉庫對接
  • 詳盡監控數據：讓你清楚業務情況
  • 豐富SDK與上下遊對接：和Kafka一樣擁有完整的下遊對接能力，和阿裏雲及開源產品深度整合

有興趣可以參見日誌服務主頁體驗該服務。

最後更新：2016-10-08 20:23:15

  上一篇：go 采集-日誌管理__最佳實踐_日誌服務-阿裏雲
  下一篇：go 采集-專用網絡(VPC)日誌文件__最佳實踐_日誌服務-阿裏雲