探索 Spark Streaming State 管理

Apache Spark 是由几个模块组成,每个模块都负责不同的功能。其中一个很强大的模块就是Streaming API,开发者可以用来在continuous stream上抽象出Discretized Stream(简称DStream)然后进行计算。

本文会深入探索Spark Streaming中一个特别的属性:Stateful Streaming API。带状态的Streaming使得我们可以维持多个小批次的State,组成想要的会话数据。

results matching ""

    No results matching ""