閱讀811 返回首頁    go 阿裏雲 go 技術社區[雲棲]


flink - 反壓

https://wuchong.me/blog/2016/04/26/flink-internals-how-to-handle-backpressure/

https://ci.apache.org/projects/flink/flink-docs-master/internals/back_pressure_monitoring.html

 

反壓之所以會是需要的,因為當源端流量過大,而消費端無法及時消費時,可能會導致job crash;比如內存耗盡等;

其實通過合理控製資源的使用,JStorm也可以做到自然反壓的

spout pending隊列是可以配置的,隻有當record被ack,才會發送新的record,也可以達到流控的目的

Flink沒有實現特別的反壓邏輯,是因為對於flink而言,每層的buffer是可控的,是一個固定大小的bufferpool,當buffer用完時,發送端自然會停止發送,達到限流的目的,從而防止資源耗盡

最後更新:2017-04-07 21:25:37

  上一篇:go Why Apache Beam? A data Artisans perspective
  下一篇:go Open Sourcing Kafka Monitor