探索 Spark Streaming State 管理
Apache Spark 是由几个模块组成,每个模块都负责不同的功能。其中一个很强大的模块就是Streaming API,开发者可以用来在continuous stream上抽象出Discretized Stream(简称DStream)然后进行计算。
本文会深入探索Spark Streaming中一个特别的属性:Stateful Streaming API。带状态的Streaming使得我们可以维持多个小批次的State,组成想要的会话数据。