590
學術界關於HBase應用場景(物聯網/車聯網/交通/電力等)研究大全
引言
HBase在互聯網領域有廣泛的應用，比如：互聯網的消息係統的存儲、訂單的存儲、搜索原材料的存儲、用戶畫像數據的存儲等。得益於HBase海量的存儲量及超高並發寫入讀取量。HBase在09年就開始在工業界大範圍使用，在學術界，也有非常多的高校、機構在研究HBase應用於不同的行業，本文主要梳理下這些資料(主要是中文資料,有一些是碩士論文\期刊)，這些很多都在工業界使用了。大家也可以感覺下，HBase應用的方麵還是非常多的。大家也可以看下是否的場景是否對應起來。 由於涉及到版權，我提供鏈接，不提供資源下載，請大家見諒。
HBase最主要的特性
- HBase基於HDFS，可以提供廉價的解決方案。在阿裏雲ApsaraDB for HBase會發布基於D1、I2的物理機方案，存儲成本為0.1元每GB每月左右，且可以在線動態添加節點，增加容量。 無需一次性投入全年的量。
- HBase容量可以無限擴容：在100T的數據量上毫無壓力，在1P的數據量上也類似。
- HBase提供超高的並發量：主要得益於係統的除了Master之外的所有節點都直接跟客戶端通信，且係統自動分區。有的係統會有一個路由中心，此會極大的限製並發量及流量
- 跟Spark、HadoopMR等分析係統結合 關於 阿裏雲HBase產品的優勢見：阿裏雲HBase優勢
行業
物聯網行業 & 車聯網
基於HBase的大規模無線傳感網絡數據存儲係統: 無線傳感網絡(WSN)存在分布的跨區域性,隨著無線傳感網絡的擴張,傳感器數目增多,將產生大規模的傳感數據.針對存儲大規模無線傳感網絡數據的問題,提出了一個兩層分布式存儲架構,使用分布式數據庫HBase存儲跨區域的無線傳感網絡數據和全局數據存儲管理目錄,實現一個近實時的存儲係統.實驗結果證明,該係統有良好的擴展性、存儲和查詢效率.
基於HBase的車聯網傳感數據管理係統設計 :關係型數據庫由於麵向行存儲以及無法擴展等原因,已很難滿足大規模車聯網傳感數據的存儲與查詢要求.針對該問題,設計了一個基於非關係型數據庫HBase存儲的車聯網傳感數據管理係統.該係統采用Hadoop與HBase搭建分布式實驗平台,采用C#語言開發Web網頁端.通過與傳統關係型數據庫SQL Server的存儲與查詢效率進行對比分析,表明HBase在處理大規模車聯網傳感數據方麵具有明顯優勢.
基於HBase的交通數據區域查詢方法:隨著智能交通的發展,交通數據呈現出指數性增長.為了提升時空區域查詢性能,論文提出了一種基於HBase的交通數據區域查詢方法HRQ.該方法利用交通數據的三維時空特性,采用Geohash算法將交通數據的經緯度信息轉為Geohash編碼,然後與時間組合作為HBase行鍵,並設計了相應的查詢算法.實驗結果表明,與直接組合經緯度和時間作為行鍵的方法相比,在基於時間範圍的區域查詢上HRQ方法的性能要高30%以上,在基於區域範圍的區域查詢上HRQ的性能優勢隨著查詢區域的增大而增加.
交通
- 基於HBase的交通流數據實時存儲係統:交通流數據具有多來源、高速率、體量大等特征,傳統數據存儲方法和係統暴露出擴展性弱和存儲實時性低等問題.針對上述問題,設計並實現了一套基於HBase交通流數據實時存儲係統.該係統采用分布式存儲架構,通過前端的預處理操作對數據進行規範化整理,利用多源緩衝區結構對不同類型的流數據進行隊列劃分,並結合一致性哈希算法、多線程技術、行鍵優化設計等策略將數據並行存儲到HBase集群服務器中.實驗結果表明:該係統與基於Oracle的實時存儲係統相比,其存儲性能提升了3～5倍;與原生的HBase方法相比,其存儲性能提升了2～3倍,並且具有良好的擴展性能.
- 基於HBase的交通卡口數據存儲和查詢係統研發:該係統采用分布式架構，前端攝像頭傳感器以Http協議方式將交通卡口數據發送給Flume分布式采集係統，采集係統對多源異構數據進行分類、聚合規範化整理，然後將不同類型的卡口數據傳入到Kafka分布式消息隊列中進行數據劃分，數據劃分中重寫了Kafka原有的Partition類，從而更好的實現了卡口數據讀取的實時性。Storm分布式實時計算係統從消息隊列中獲取卡口數據並且完成存儲過程，最終將卡口數據寫入到HBase集群服務器中。利用Phoenix-client作為HBase之上的Sql層，實現對HBase數據庫查詢。在保證係統高可靠、高可用的情況下，實現了卡口係統數據的快速寫入和讀取。
電力
- HBase 在智能電網異構數據同步中的應用:未來的智能電網在運行中將會產生海量的多態、異構數據，對這些數據的可靠獲取、實時分析、同步及處理會給電網信息係統帶來前所未有的壓力。因此，把電網大數據遷移到雲端—數據中心，來實現異構數據的精準、實時同步則顯得尤為必要。以解決未來智能電網大數據處理問題為出發點，通過對電網數據中心相關功能需求進行細致分析，對比傳統的關係型數據庫建模基礎，提出了基於Hbase架構的智能電網數據中心的解決方案。最後通過對比 MySQL 性能進行模擬測試，得出所提出的設計方案能夠很好地適用於未來智能電網數據中心的構建以及異構數據的同步，達到電網大數據的實時共享、監測及準確分析、處理的目的，在未來智能電網信息管理係統中具有廣闊的應用前景。
金融
- 基於HBase的金融時序數據存儲係統 ： 設計並實現了1個基於HBase的金融時序數據的存儲係統。設計了基於金融時序數據的HBase預分區策略,可解決HBase存儲熱點的問題;采用了行鍵優化策略和基於時序數據的表設計策略,可解決數據存儲分散的問題;使用了提供異步處理機製的事件驅動的Netty框架所編寫的中間件接收采集器發送的請求,可解決高並發事務的處理問題。實驗結果表明,與HBase原生方法相比,該係統的性能在處理高並發事務時更好。
航空
- 基於HBase的民用航空發動機大數據管理係統： 為克服傳統關係型數據庫存儲管理海量航空發動機狀態監控數據的不足,本研究提出了基於HBase的民用航空發動機大數據管理係統.首先分析了該係統的功能需求,給出了係統整體架構與模塊設計,並對關鍵技術進行了闡述.最後設計試驗對比HBase與Oracle的搜索效率.試驗結果表明檢索結果集較大時HBase的搜索效率明顯高於Oracle.本研究中提出的航空發動機大數據管理係統為發動機海量數據的存儲管理提供了一種解決方案.
小文件存儲(圖片視頻等)
-
一種基於HBase的海量圖片存儲技術針對海量圖片存儲,已有若幹個基於Hadoop的方案被設計出來.這些方案在係統層小文件合並、全局名字空間以及通用性方麵存在不足.本文基於HBase提出了一種海量圖片存儲技術,成功解決了上述問題.本文將介紹基於HBase海量圖片存儲技術方案,分析其原理及優勢,該方案在城市交通監控中得到應用驗證.
- 基於 HBase 的小文件高效存儲方法 :基於 Hadoop 平台的相關係統得到了廣泛應用。Hadoop 分布式文件係統（Hadoop distributed file system， HDFS）通過分布式的工作方式，負責處理海量文件數據。對 HDFS 而言，海量數據中的小文件存儲問題製約著係統高效工作的能力。針對海量數據中小文件讀寫效率低的情況，提出一種基於 HBase（Hadoop database）的海量小文件高效存儲方法，利用 HBase 的存儲優勢，將小文件直接存儲於 HBase，從而有效減少元數據節點服務器（Name-Node）的負載，並對上層應用係統提供透明的訪問接口。實驗結果表明，該方法可以實現海量小文件的高效存儲，提高 HDFS 環境下小文件的讀寫效率。
寫在最後
更多關於Hbase學術的論文參考：HBase應用 ，或者在 https://xueshu.baidu.com/ 搜索 hbase相關的論文，比如 hbase 傳感器
一些HBase其它的資料參考
HBase全網最佳學習資料匯總：匯總了HBase大部分的資料的連接
歡迎加入群內交流
最後更新：2017-09-22 13:02:59