spark的优点有哪些

Question

如题所述

Answer 1

Spark作为分布式计算引擎的一颗璀璨之星，继承了MapReduce分布式并行计算的优点，并改进了MapReduce明显的缺陷。
MapReduce是基于进程的计算，任务调度和启动开销大。此外Map中间结果要落地到磁盘，网络I/O和磁盘I/O十分频繁，延迟高，处理效率低，无法充分利用内存；
Map端和Reduce端均需要排序，耗费时间；不适合迭代计算，交互式处理(数据挖掘)和流式处理(点击日志分析)，无法满足实时性较高的业务。编程不够灵活，因其是用Java编写的，编写一个完整的MapReduce任务代码的数据行数要远远大于Spark实现相同的功能。