887
技術社區[雲棲]
消息隊列服務（MQS）技術淺析
1 MQS簡介
消息隊列服務（Message Queue Service，簡稱MQS），是阿裏雲推出的分布式消息中間件服務。
MQS旨在提供可靠、海量、高並發的分布式消息隊列服務，從而幫助應用開發者實現應用之間以及應用內部各組件之間的消息傳遞，解耦係統之間的依賴。
2 MQS功能特點
消息隊列最早出現在操作係統中，解決了傳統的進程通信模式中存在的很多弊端。消息隊列具備的優點包括：
（1） 單獨對消息的收、發進行管理，確保消息的成功傳遞。
（2） 提供異步的通信協議，消息產生者隻需要將消息發送到消息隊列中，即可立刻返回。
（3） 大大降低異構係統之間的耦合度。
在大數據時代，傳統的消息隊列無法滿足日益增長的消息通信需求，用戶個人搭建消息隊列集群會帶來較大的機器和運維成本；同時隨著移動端規模的爆發式增長，對消息隊列的安全性、可靠性以及可擴展性提出了挑戰。阿裏雲推出的消息隊列服務（MQS）是基於阿裏雲飛天雲平台上的消息中間件服務，相比傳統的消息隊列而言，具備如下特點：
l 零運維、高性能、高可擴展。
l 數據多冗餘架構，確保消息的可靠性。
l 在有效期內，保證每條消息至少可被消費一次（at-least-once）。
l 允許創建海量的消息隊列。
l API接口簡單易用，對平台無依賴。
l 不嚴格保證消息的FIFO屬性。
3 MQS基本架構
MQS的基本架構如圖1所示。可以分為四部分：
l OAuth、Authorization驗權驗證模塊。接入阿裏雲的賬號驗證體係，用戶需首先在阿裏雲官網（www.aliyun.com）申請賬號並開通服務之後方可使用MQS服務。
l Http Front模塊。主要負責對用戶的HTTP請求進行解析、處理，並接入阿裏雲的驗證驗權模塊，最終在MQS的後端服務集群執行完請求後將結果返回給用戶。
l MQS Master模塊。主要負責Message數據的切片調度，實現分布式的load balance。
l Message Data Server集群。基於阿裏雲飛天分布式計算平台的MQS後端服務集群，是MQS的核心模塊，實現了關於隊列、消息的所有操作。
圖1 MQS架構圖
3.1 數據多冗餘
如圖1所示，寫入到MQS的所有消息數據都會對應三份拷貝，從而確保數據的高可靠性。
3.2 Qos控製
在Message Data Server層針對每個隊列都設置有單獨的QoS控製，針對該隊列的訪問請求量不得超過其QoS上限值。
3.3 數據多切片分布
隊列的消息數據是按照特定的算法進行切片分布的，並由MQS Master進行集中管理，這不僅有效的實現了load balance，同時還能夠動態的進行集群規模的彈性擴展。
4 MQS隊列中消息存活周期
在具體介紹隊列中消息存活周期之前，首先介紹下MQS涉及到的相關術語。
Active Message（活躍消息）
隊列中可以被取出消費的消息。
Inactive Message（非活躍消息）
隊列中已經被取出但未刪除的消息，非活躍消息將保持一段時間（隊列的VisibilityTimeout屬性值）無法被其他人取出。
Expired Message （過期消息）
當隊列中的某條消息超過了消息有效時間（TTL）之後仍未被取出，則該消息將變為過期消息，會被後台GC模塊回收。
在介紹完一些基本術語之後，圖2中顯示了一條消息的整個生命周期。
- 在PutMessage之後，消息進入到隊列中，即成為能夠被取出的ActiveMessage；（如圖2中A所示）
- 在消費者取出該條消息之後則轉變為InactiveMessage；（如圖2中B所示）
a) 如果在VisibilityTimeout時間段內，消費者將該條消息消費完畢，並發送刪除請求，則該消息將會從隊列中刪除；（如圖2中C所示）
b) 如果消費者未完成消費，則InactiveMessage將會在VisibilityTimeout之後自動轉換成ActiveMessage，從而可以再次被取出消費；（如圖2中D所示）
- 在消息有效時間過後，消息將變為ExpiredMessage，從隊列中刪除。（如圖2中E.1和E.2所示）
圖2 隊列中消息的生命周期
5 MQS中多樣的隊列模式
在滿足普通的消息收發模式的同時，MQS還向用戶提供了多樣的隊列模式，分別包括延遲隊列、長輪詢隊列以及優先級隊列等。
5.1 延遲隊列
在延遲隊列中，發送到隊列中的每一條消息都會保持一段等待時間，在等待時間過後才可以被取出消費。延遲隊列可以幫用戶輕鬆實現任務定時分發等功能。目前延遲隊列支持最大的延遲時間長達7天。
5.2 長輪詢隊列
由於MQS實現的是基於HTTP協議的API接口，用戶是通過拉（pull）的方式進行消息的獲取，從而可能會出現消息數據獲取不及時或者頻繁發送空取消息的無用請求。MQS通過長輪詢（long polling）的方式確保了用戶能夠在減少無用請求的基礎上，又能及時獲取到消息。
5.3 優先級隊列
優先級隊列能夠為用戶提供具備消息優先級別的隊列。發送到隊列中的每條消息都會設置有相應的優先級別；在進行消費時，較高優先級別的消息將會先被取出。目前優先級隊列暫時無法確保百分百的優先級順序。
6 技術展望
作為消息通訊的中間件服務，MQS會將服務的穩定性和安全性放在首位，主要工作將包括：
- 開放賬戶訪問權限授予的API接口；
- 增加隊列狀態監控報警機製；
同時，在功能和性能方麵將進行更多的嚐試：
- 長連接功能打開；
- 後端server采用更高效的異步處理模式；
- 死信隊列，消息數據備份等。
最後更新：2017-04-03 05:39:25