矽穀飄來五個字,SMACK
上次我們跟大家分享了「少打一局王者榮耀就能上手Spring Cloud?!」,學到就是賺到,翹課的同學抓緊補習了。本期為大家帶來全新「與矽穀大數據工程師吃著火鍋唱著歌就把SMACK入門了」篇。
SMACK起源於矽穀,旨在提供更快更強的大數據處理能力。SMACK剛登上技術舞台,便將傳統的數據處理能力提升了一個量級,狠狠打了hadoop等技術的老臉,從此有了一個響亮的名字SMACK。(假的)

hadoop:聽說你很拽厚 ! now listen, you have free-style ? what’s your name?
SMACK: emmmmmmmm
SMACK是由Spark、Mesos、Akka、Cassandra、Kafka 5個技術名詞的縮寫,以Spark平台為大數據運算引擎(煤氣灶)、搭配分散式資源管理平台Mesos(鴛鴦鍋)、以及消息處理平台Kafka(紅油鍋底)、臉書和Twitter都愛用的NoSQL資料庫Cassandra(食材)、再加上分散式運算工具Akka(漏勺),適用於廣泛的數據處理場景的大數據框架(重慶老灶火鍋)。
當然,SMACK框架中的技術可以自由增加或替換,以此完成不斷升級的大數據處理需求。SMCAK雲框架裏,我們在引擎層增加了Flink用於處理實時數據(麻油小碗),使用Kubernetes替換Mesos作為容器層(九宮格鍋)。這裏以某網站數據為例,提供SMACK大數據框架的最佳實踐,包括SMACK、數據接入、數據展示在內的完整框架展示。
Step 1. 安裝雲幫PaaS平台(整體式廚房)
好雨雲幫PaaS平台【免費版、自助安裝】
好雨雲幫PaaS平台【企業版】
- 平台運行最小環境要求:4核CPU & 8GB 內存
- 框架運行最小環境要求:8核CPU & 32GB 內存
Step 2.下載SMACK Dockercompose文件(外賣小火鍋,配送到家的那種,懂伐)
注:這個compose文件已經包含示例數據(帶鍋底),如需導入自己的項目數據,請看 Step 6。
Step 3.將compose文件導入雲幫平台(升鍋開火)
1.找到docker-compose_ACP 文件

2.通過雲幫平台啟動

3.下一步… 一步…. 步….

注意!這裏有個組件拓撲圖。

再次注意!這裏需要全部開啟“對外服務”(應用組組件之間互相通訊)。

又一次注意!有四個組件需要額外開啟“外部訪問”。




3.設置完成後,點擊頁麵下方“建立一組應用”
各組件變綠以後,表示創建成功,SMACK 為ready狀態。(開鍋大吉)

(我變綠了,但我也變強了)
還是注意! 接下來需要調整組件內存。(以海邊的kafka為例)
(打開之前導入docker-compose_ACP文件)

進行內存調整設置
調整完成後,點擊“設置”,係統自動調整內存。
(其他組件調整方式同kafka)
step 4.示例數據導入(自帶鍋底)
1.由於每個人的口味不同,這裏以Grafana為例。
2.配置SMACK雲框架中的示例數據(Grafana數據源設置)
step 5.數據展示效果(盛盤動筷)
step 6.如何變成自己的項目(下自己的喜歡菜,讓別人無菜可吃)
修改docker-compose.yml文件,找到akka-instream並添加,然後重新部署(重複 step 3-4-5,咕嚕咕嚕咕嚕)
—————————————————客氣的結束語————————————————
大數據火鍋盛宴,各位吃的還滿意嗎? 要不要我下麵....
下麵給大家預告下第三期「兩學一做,擁護基於區塊鏈的智能合約技術」 ,預計跟最phone 8同期發布,敬請期待。
最後更新:2017-08-16 16:32:30