446
kafka
introduction
對於流平台 有三個關鍵的作用
1.它允許發布和記錄流 這方麵有點像消息隊列或者是信息係統
2.它運行以容錯的機製存儲流
3.允許處理流記錄
好處
1.建立實時流數據管道在係統和引用之間
2.建立實時流應用用於轉換或者響應數據
概念
kafka運行在集群上一個或者多個服務
kafka集群儲存流記錄在分類中這個分類被叫做topics
每條記錄由key value 和shij時間戳組成
kafka有四個核心API
生產者 Producer API :允許發布流記錄到topics上
消費者consummer API:允許一個應用讚成一個或者多個topics和流進程記錄生產他們
流 Streams API 允許應用以處理器 消費輸入流通過一個或者多個topics生產一個或者多個輸出topic 可以有效地將輸入流轉換為輸出流
連接 Connector API
kafka 的topic中存在的應用或者數據係統允許建立或者運行生產者或消費者 例如 age連接到關係型數據庫興許可以鋪貨所有改變的了的表.
在kafka中的客戶端和服務器之間的信息交流通過一個簡單 高效 與語煙無關的TCP 協議完成
核心抽象流記錄到topic中
topic是一個分區或者命名為可以記錄發布的分區
最後更新：2017-11-09 20:33:40