66问答网
所有问题
spark sql为什么需要hive-site
如题所述
举报该问题
推荐答案 2017-02-03
shark是使用了hive的sql语法解析器和优化器,修改了执行器,使之物理执行过程是跑在spark上;
而sparkSQL是使用了自身的语法解析器、优化器和执行器,同时sparkSQL还扩展了接口,不单单支持hive数据的查询,可以进行多种数据源的数据查询。
温馨提示:答案为网友推荐,仅供参考
当前网址:
http://66.wendadaohang.com/zd/2nUD2UUnpvsi9pDpxn.html
相似回答
spark
SQL
和
hive
到底
什么
关系
答:
Hive是一种基于HDFS的数据仓库,并且提供了基于SQL模型的,
针对存储了大数据的数据仓库,进行分布式交互查询的查询引擎
。SparkSQL并不能完全替代Hive,它替代的是Hive的查询引擎,SparkSQL由于其底层基于Spark自身的基于内存的特点,因此速度是Hive查询引擎的数倍以上,Spark本身是不提供存储的,所以不可能替代Hi...
spark
SQL
和
hive
到底
什么
关系
答:
历史上存在的原理,以前都是使用hive来构建数据仓库,所以存在大量对hive所管理的数据查询的需求。而hive、shark、sparlSQL都可以进行hive的数据查询。shark是使用了
hive的sql
语法解析器和优化器,修改了执行器,使之物理执行过程是跑在spark上;而
sparkSQL
是使用了自身的语法解析器、优化器和执行器,同时sp...
spark从
hive
数据仓库中读取的数据可以使用
sparksql
进行查询吗_百度知 ...
答:
1、为了让Spark能够连接到Hive的原有数据仓库
,我们需要将Hive中的hive-site.xml文件拷贝到Spark的conf目录下,这样就可以通过这个配置文件找到Hive的元数据以及数据存放。在这里由于我的Spark是自动安装和部署的,因此需要知道CDH将hive-site.xml放在哪里。经过摸索。该文件默认所在的路径是:/etc/hive/conf...
Spark
-
SQL
、
Hive
on Spark、Spark on Hive
答:
Hive
SQL
的语法被直接应用,但执行依旧是
Spark的
RDD引擎。这种模式常用于Spark作为开发框架,Hive作为数据仓库存储的场景。在性能上,这三个选项的主要区别在于使用方式和接口,而非底层计算引擎,因为它们都基于Spark的RDD引擎。因此,选择哪一种主要取决于具体的任务需求和开发环境。
Spark
SQL到底支持
什么SQL
语句
答:
Shark和
sparkSQL
但是,随着
Spark的
发展,其中sparkSQL作为Spark生态的一员继续发展,而不再受限于hive,只是兼容hive;而hive on spark是一个
hive的
发展计划,该计划将spark作为hive的底层引擎之一,也就是说,hive将不再受限于一个引擎,可以采用map- reduce、Tez、spark等引擎。
Hadoop,
Hive
,
Spark
之间是
什么
关系
答:
为了简化数据分析工作,
需要
加强对数据规范化的工作,为此,引入
hive
做数据结构化管理,开启
spark
-thrift的ODBC/JDBC接口,数据分析工具(报表工具/挖掘工具)通过ODBC/JDBC接入。此架构的压力在于数据规范化过程,或者说是日常数据加工过程,需以spark-
sql
、h-sql作为开发基础,开发通用java接口模板调用spark-...
大家正在搜
相关问题
spark SQL和hive到底什么关系
为什么sparkSQL
如何为SparkSQL添加hive中支持的而SparkSQL...
spark从hive数据仓库中读取的数据可以使用sparks...
Hadoop,Hive,Spark 之间是什么关系
Spark-Hadoop,Hive,Spark 之间是什么关...
Hadoop,Hive,Spark 之间是什么关系
Spark SQL 到底怎么搭建起来