988
技術社區[雲棲]
基於阿裏雲MaxCompute實現複雜事件檢測
一、需求背景
隨著信息化的不斷發展，業務係統的不斷完善，企業麵臨新的問題：
1、現代工業中的輸入事件流數量正成倍地增加，其中包含大量的原子事件，由原子事件構成的複合事件，甚至由複合事件構成的複雜事件。
2、現代工業對於軟硬件係統實時響應的要求很高，用戶要求係統可以對一些關鍵的業務輸入事件做出即時的響應行為。
3、現代工業生產環境苛刻，一般需要嚴格的過程控製和安全措施。生產過程包含複雜的物理、化學過程，及各種突變和不確定性因素，當生產中的複雜事件沒有被實時檢測出來，很有可能造成生產的失敗甚至災難性的後果。
生產環境事件源
二、基於阿裏雲的解決方案
工業生產環境中，複雜事件具有以下特點：
事件來源眾多
信息量大
連續的、流動的
實時識別複雜模式
實時處理
針對以上特點，阿裏雲已提供眾多中間件來滿足複雜事件檢測的需求：有消息隊列、負載均衡、數據存儲、實時計算，已初步滿足基本事件的處理功能，從大量事件數據流中過濾，分析有意義的事件，並能夠實時取得這些有意義的信息的技術ESP，但是並不支持從大量的基本事件中挖掘複雜的模式(CEP)，例如周期性發生的事件、順序性事件A->B、時間窗口內A OR B發生的事件，基於以上的空白需求，我們實現了基於複雜事件模式識別的中間件產品Blue Event Analytics，結合阿裏雲已有的中間件，滿足複雜事件檢測的需求，與阿裏雲其餘中間件結合架構，如下圖所示：
阿裏雲複雜事件檢測
2.1 功能架構：
產品的核心功能應該包含數據集成、事件檢測與處理、消息通知、可視化展示幾大基本模塊，詳細功能架構如下：
功能架構
技術架構
2.2 Blue Event Analytics（BEA） 功能特點如下：
完全托管：一種完全托管的服務，它可針對流數據運行查詢，無需預置或管理任何基礎設施
高性能：單節點每秒處理50萬個事件，事件識別延時達到微秒級
分布式檢測：自動化彈性擴展，實現分布式事件檢測，確保高可用性
事件分析：支持類準SQL的事件查詢語言。無需了解複雜的處理框架和編程語言。
集成：與阿裏雲其他產品如 OSS，MNS，RDS，ONS，MaxCompute等深度整合
按量付費：使用時，隻需為所用的處理資源付費。隨著輸入數據量的變化，將自動擴展或縮減資源，且隻需為實際使用的處理資源付費。
三、BEA的應用場景
BEA的應用場景十分廣泛，主要對應的行業需求場景如下：
| 行業 | 處理問題 | 描述 |
| 金融 | 快速的感知 | 資本市場中的交易者希望對細微的價格差異做出反應。 |
| 風險控製 | 在銀行領域，風險包括信用風險，市場風險和操作風險。風險控製係統需要監控銀行多個業務係統的多個對象和多種數據，按照大量既定的風險控製規則進行對交易行為的判斷甄別，發現存在風險的交易行為，及時做出應對措施。 | |
| 欺詐發現 | 包括(1)信用卡欺詐；（2）保險欺詐；（3）洗錢；（4）各種證券交易違規行為。 | |
| 算法交易 | 使用計算機來進行證券交易的行為，係統需要同時監控大量的數據信息，按照若幹交易策略，決定何時什麼價格買什麼品種買多少。 這個也比較適合使用複雜事件處理技術。 | |
| 連鎖故障 | 連鎖故障 | 電網連鎖故障是一係列故障事件的集合最突出的特點是故障事件之間的相關性連鎖性和時間 上的先後繼起性，基於BEA通過相繼故障事件之間存在的時間拓撲和電氣的因果及聚合關係 對簡單故障事件進行關聯和聚合在連鎖故障發生初期準確診斷出連鎖故障。 |
| 能耗優化 | 通過複雜的需求響應（DR）解決方案將電網係統運營商和發電企業連接在一起，與能源管理和監控公司簽訂合同，以提供能源使用負荷削減服務。而這些科技公司正是使用基於CEP應用，與大型的能源消費的商業企業和工業企業合作，來削減能源消耗的需求。 | |
| RFID | 實時定位係統 | 實時定位係統(RTLS)使用 RFID 實時定位來識別帶有標 簽的運動物體，並根據在其位置信息和其他信息做出適當的處理。 |
| 物流 | 運輸和後勤企業利用交通工具實時遙感探測技術來更有效地管理車輛和船舶。 | |
| 醫療 | RFID 技術和嵌入式設備如生理傳感器和環境傳感器已經應 用於醫療保健領域，因此，醫院需要處理不同來源的大量實時數據，且這些數據的格式與傳入速率不同。CEP 可以提供很好的解決方案。 | |
| IT基礎設施監控 | 監控 | 對大規模的企業來說，應用性能的變化直接影響到客戶的體驗和 滿意度。服務突然的中斷會影響大量客戶的使用，導致業務出現延遲甚至最終給 企業帶來重大損失。目前最大的挑戰是監控係統獲取的數據量大，而且隨著環境 和一些不確定因素的影響，問題不斷增多，產生的事件種類繁多，因而很難從中 獲取關聯的重要的複合事件信息 。 |
| 個性化服務 | 根據客戶的搜索信息、購買記錄和消費行為等各個方麵的 信息，在客戶進入商家係統的同時，判斷此用戶的喜好，預測用戶的購買行為， 然後展現給用戶一個私人訂製的個性化界麵，上麵展示了用戶關注的動態、可能 購買的產品、服務的鏈接等等。 | |
致力攻克企業大數據信息化難題，提供專業服務和解決方案，更多案例可進入官網詳細了解：www.blueintelligence.com
文章轉載 藍智雲海
最後更新：2017-04-20 20:01:25