閱讀317 返回首頁    go 阿裏雲 go 技術社區[雲棲]


HiTSDB 上雲功能性列表

  • 時間線倒排
  • 刪除時間點
  • 查詢時間線
  • 刪除時間線
  • 顯示時間線數量
  • 設置數據生命周期
  • 寫入限流
  • 查詢限流
  • 指標數據采集

HiTSDB 時間線索引

  • 時間線采用倒排的方式管理。
  • metric作為一級map。 tags倒排映射成ids
  • 所有的metric, tags存儲為字典表編碼後的格式。
  • 默認倒排存放到hitsdb_index, hitsdb_inverted_index表中
  • 重啟後通過回放hitsdb_index重新build倒排

刪除時間點

  • api/delete_data

    {
      start: xxx,
      end: xxx,
      metric: xxx
    }
    
  • DeleteMetricDataPointRpc
    查詢時間線後,按照自然邊界分片刪除。

查詢時間線

  • api/dump_meta

    {
      metric: xxxx,
      max: xxx
    }
    
    {
      tagkey: xxxx,
      max: xxx
    }
    
  • 返回值 List>

  • DumpTagsTsMetaIndexRpc

刪除時間線

  • api/delete_meta
    {
    metric: xxx
    }

    {
      metric: xxx,
      tags:{
          key:value
      }
    }
    
  • DeleteMetricMetatRpc

顯示時間線數量

  • api/tscount
  • 采用coprocessor統計時間線數量:AggregationClient
  • 1分鍾周期性查詢

設置數據生命周期

  • api/ttl
  • GET 獲取當前ttl, POST更新當前ttl
  • UpdateTTLRpc -> setTimeToLive
  • 默認時間單位是秒

寫入限流

  • tsd.rate.limiter
  • tsd.max.writerate 最大寫入: 默認30000
  • tsd.max.tsnum, 最大時間線數量: 默認100000
  • MAXWRITERATE

查詢限流

  • tsd.rate.limiter
  • tsd.max.queryrate 最大查詢:
  • tsd.max.subqueries 最大子查詢

指標數據采集

  • Telegraf數據采集接口
  • api/v2/stats
  • 寫入點數 (tsd.datapoint.added)
  • 磁盤空間 (tsd.disk.usage)
    • https://" + nameNode + ":50070/jmx?qry=Hadoop:service=NameNode,name=FSNamesystem
  • 時間線數量 (tsd.tscount)

鑒權

  • AuthenticationChannelHandler
  • AuthenticationPlugin
  • tsd.core.authentication.enable = true
  • tsd.core.authentication.plugin = xxxx

加密

  • pipeline.addLast("ssl", sslContext.newHandler())
  • tsd.core.ssl.enable = true

最後更新:2017-08-18 11:32:51

  上一篇:go  Fastjson 在HiTSDB中的應用
  下一篇:go  《分布式係統:概念與設計》一3.4 互聯網協議