66问答网
所有问题
spark SQL和hive到底什么关系
如题所述
举报该问题
其他回答
第1个回答 2016-03-23
历史上存在的原理,以前都是使用hive来构建数据仓库,所以存在大量对hive所管理的数据查询的需求。而hive、shark、sparlSQL都可以进行hive的数据查询。shark是使用了hive的sql语法解析器和优化器,修改了执行器,使之物理执行过程是跑在spark上;而sparkSQL是使用了自身的语法解析器、优化器和执行器,同时sparkSQL还扩展了接口,不单单支持hive数据的查询,可以进行多种数据源的数据查询。
相似回答
spark
SQL和hive到底什么关系
答:
Hive是一种基于HDFS的数据仓库,并且提供了基于SQL模型的,针对存储了大数据的数据仓库,进行分布式交互查询的查询引擎。
SparkSQL
并不能完全替代Hive,它替代的是
Hive的
查询引擎,SparkSQL由于其底层基于Spark自身的基于内存的特点,因此速度是Hive查询引擎的数倍以上,Spark本身是不提供存储的,所以不可能替代Hi...
spark
SQL和hive到底什么关系
答:
而hive、shark、sparlSQL都可以进行hive的数据查询。shark是使用了
hive的sql
语法解析器和优化器,修改了执行器,使之物理执行过程是跑在spark上;而
sparkSQL
是使用了自身的语法解析器、优化器和执行器,同时sparkSQL还扩展了接口,不单单支持hive数据的查询,可以进行多种数据源的数据查询。望采纳 ...
大数据运算
的
三种引擎是
什么
?有什么区别?
答:
1)
Hive
,披着
SQL
外衣的Map-Reduce。Hive是为方便用户使用Map-Reduce而在外面封装了一层SQL,由于Hive采用了SQL,它的问题域比Map-Reduce更窄,因为很多问题,SQL表达不出来,比如一些数据挖掘算法,推荐算法、图像识别算法等,这些仍只能通过编写Map-Reduce完成。2) Impala:Google Dremel的开源实现(Apache ...
Hadoop,
Hive
,
Spark
之间是
什么关系
答:
Hive
是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单
的sql
查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类
SQL
语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。
Spark
是一种与 Hadoop...
大数据学
什么
框架?什么是生态圈?
答:
Hive
:Hadoop中的数据分析引擎,支持
SQL
HBase:基于HDFS的NoSQL数据库 ZooKeeper:分布式协调服务,可以用于实现HA(高可用架构)其他 (二)Spark生态圈 Spark Core:
Spark的
核心,用于离线计算 Spark SQL:Spark的数据分析引擎,支持SQL语句 Spark Streaming:Spark的流式计算引擎,但本质依然是离线计算 MLlib...
Hadoop,
Hive
,
Spark
之间是
什么关系
答:
用hadoop ->
hive
->
spark
->报表工具(brio)的架构打通数据通路之后,做数据分析会变得非常简单(just like 图形化开发-拖拉拽)。在构建spark离线数据分析平台之前,先简单说明传统的离线数据分析平台。传统离线数据分析工作,一般把数据结构化存储在RDBMS,可通过
SQL
代码、报表工具、挖掘工具快速对数据进行...
大家正在搜
kylin和hive的是什么关系
spark和hive的关系
spark为什么比hive快
有spark为什么还要hive
hive和hadoop的关系
sparkhive与hadoop
hive和hdfs的关系
hive是关系型还是非关系型
spark on hive