spark读取kafka数据，之后进行过滤，过滤后计算有多少条数据怎么写

Question

如题所述

Answer 1

spark读取kafka数据，之后进行过滤，过滤后计算有多少条数据怎么写
前面应该还有个数据生产者，比如flume. flume负责生产数据，发送至kafka。 spark streaming作为消费者，实时的从kafka中获取数据进行计算。 计算结果保存至redis，供实时推荐使用。 flume+kafka+spark+redis是实时数据收集与计算的一套经典架构