66问答网
所有问题
当前搜索:
有spark为什么还要hive
有spark为什么还要hive
答:
spark
本身不提供存储
spark
SQL和
hive
到底
什么
关系
答:
SparkSQL并不能完全替代Hive,它替代的是Hive的查询引擎,
SparkSQL由于其底层基于Spark自身的基于内存的特点,因此速度是Hive查询引擎的数倍以上
,Spark本身是不提供存储的,所以不可能替代Hive作为数据仓库的这个功能。SparkSQL相较于Hive的另外一个优点,是支持大量不同的数据源,包括hive、json、parquet、jd...
大数据运算的三种引擎是
什么
?有什么区别?
答:
3)Shark/
Spark
:为了提高Map-Reduce的计算效率,Berkeley的AMPLab实验室开发了Spark,Spark可看做基于内存的Map-Reduce实现,此外,伯克利还在Spark基础上封装了一层SQL,产生了一个新的类似
Hive的
系统Shark。4) Stinger Initiative(Tez optimized Hive):Hortonworks开源了一个DAG计算框架Tez,Tez可以理解为G...
spark
sql依赖
hive
吗
答:
第一,
Spark SQL在Hive兼容层面仅依赖HQL parser、Hive Metastore和Hive SerDe
。也就是说,从HQL被解析成抽象语法树(AST)起,就全部由Spark SQL接管了。执行计划生成和优化都由Catalyst负责。借助Scala的模式匹配等函数式语言特性,利用Catalyst开发执行计划优化策略比Hive要简洁得多。去年Spark summit上Cat...
Hadoop,
Hive
,
Spark
之间是
什么
关系
答:
Hive
是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。
Spark
是一种与 Hadoop...
Hadoop,
Hive
,
Spark
之间是
什么
关系
答:
为了简化数据分析工作,需要加强对数据规范化的工作,为此,引入
hive
做数据结构化管理,开启
spark
-thrift的ODBC/JDBC接口,数据分析工具(报表工具/挖掘工具)通过ODBC/JDBC接入。此架构的压力在于数据规范化过程,或者说是日常数据加工过程,需以spark-sql、h-sql作为开发基础,开发通用java接口模板调用spark-...
“大数据架构”用哪种框架更为合适?
答:
hadoop+
spark
+
hive
是一个很不错的选择.hadoop的HDFS毋庸置疑是分布式文件系统的解决方案,解决存储问题;hadoop mapreduce、hive、spark application、sparkSQL解决的是离线计算和即席查询的问题;spark streaming解决的是实时计算问题;另外,
还需要
HBase或者Redis等NOSQL技术来解决实时查询的问题。除了这些,...
大数据查询分析技术有哪些?
答:
Hive
适合于长时间的批处理查询分析,而Impala适合于实时交互式SQL查询,Impala给数据人员提供了快速实验,验证想法的大数据分析工具,可以先使用Hive进行数据转换处理,之后使用Impala在Hive处理好后的数据集上进行快速的数据分析。
Spark
拥有Hadoop MapReduce所具有的特点,它将Job中间输出结果保存在内存中,从而...
大数据处理软件用
什么
比较好
答:
4、Apache
Spark
Apache Spark是Hadoop开源生态系统的新成员。它提供了一个比
Hive
更快的查询引擎,因为它依赖于自己的数据处理框架而不是依靠Hadoop的HDFS服务。同时,它还用于事件流处理、实时查询和机器学习等方面。5、 Jaspersoft BI 套件 Jaspersoft包是一个通过数据库列生成报表的开源软件。行业领导者...
大数据核心技术有哪些
答:
4、数据查询分析:
Hive的
核心工作就是把SQL语句翻译成MR程序,可以将结构化的数据映射为一张数据库表,并提供HQL(HiveSQL)查询功能。
Spark
启用了内存分布数据集,除了能够提供交互式查询外,它还可以优化迭代工作负载。5、数据可视化:对接一些BI平台,将分析得到的数据进行可视化,用于指导决策服务。
1
2
3
4
5
6
7
8
9
10
涓嬩竴椤
灏鹃〉
其他人还搜
hive和spark的区别
hivesql面试必会6题经典
hadoop与hive的关系
hive面试
spark面试题
hadoop三大核心组件
spark为什么比hive快
sparkhive与hadoop
hive sparksql