spark streaming 主要处理哪些实际问题

spark streaming 主要处理哪些实际问题

随着大数据的发展，人们对大数据的处理要求也越来越高，原有的批处理框架MapReduce适合离线计算，却无法满足实时性要求较高的业务，如实时推荐、用户行为分析等。 Spark Streaming是建立在Spark上的实时计算框架，通过它提供的丰富的API、基于内存的高速执行引擎，用户可以结合流式、批处理和交互试查询应用。

可以的，spark streaming主要四有四个方面。 能在故障报错与straggler的情况下迅速恢复状态； 更好的负载均衡与资源使用； 静态数据集与流数据的整合和可交互查询； 内置丰富高级算法处理库（sql、机器学习、图处理）。