66问答网
所有问题
当前搜索:
有spark为什么还要hive
spark
sql和sql的区别
答:
Shark和
spark
SQL 但是,随着
Spark的
发展,其中sparkSQL作为Spark生态的一员继续发展,而不再受限于hive,只是兼容hive;而hive on spark是一个
hive的
发展计划,该计划将spark作为hive的底层引擎之一,也就是说,hive将不再受限于一个引擎,可以采用map-reduce、Tez、spark等引擎。
大数据架构究竟用哪种框架更为合适
答:
hadoop+
spark
+
hive
是一个很不错的选择.hadoop的HDFS毋庸置疑是分布式文件系统的解决方案,解决存储问题;hadoop mapreduce、hive、spark application、sparkSQL解决的是离线计算和即席查询的问题;spark streaming解决的是实时计算问题;另外,
还需要
HBase或者Redis等NOSQL技术来解决实时查询的问题;除了这些,大数据平台中必不可...
spark
与
hive
查询得出的数据不同
答:
在实际工作的情况中,经常
有spark
与hive查询出来的数据存在不一样的情况,基本的原因如下:1、由于精度不一样导致的 2、更多的时候确实是由于元数据混乱导致的 (就是说
hive中
能读到这个字段的值,但是在spark中却无法读取到该字段的值。很多时候可能还是由于大小写的混乱所导致的)同一条sql,hive能...
hive
是
什么
答:
1.
Hive的
基本定义:Hive是Apache软件基金会的一个开源项目,它允许开发者使用SQL语句来查询和分析存储在Hadoop分布式文件系统上的大规模数据集。Hive将SQL查询转换为MapReduce、Tez或
Spark
作业来执行,并返回一个结果表,使数据分析变得简单和直观。2. Hive的数据存储与管理:Hive提供了数据存储和管理的基础...
spark on
hive
和hive on
spark的
区别
答:
rdd 操作. 不过目前大部分使用的是spark on hive === 后面补充的:: 我去了某通之后, 知道了 把
hive的
执行引擎换成
spark 的
也挺多的. 主要是为了使用类 sql 和相关脚本来完成任务.为了真理,我要把那个垃圾的回答给顶下去...
spark
能不能取代mapreduce
答:
hive
已经使用 hive on
spark
了, 之前是使用 mapreduce的。所以说 已经替代了
spark
和hadoop的区别
答:
spark
和hadoop的区别:诞生的先后顺序、计算不同、平台不同。诞生的先后顺序,hadoop属于第一代开源大数据处理平台,而spark属于第二代。属于下一代的spark肯定在综合评价上要优于第一代的hadoop。计算不同spark和hadoop在分布式计算的底层思路上,其实是极为相似的,即mapreduce分布式运算模型:将运算分成两...
spark
和hadoop的区别
答:
两者可合可分 Hadoop除了提供为大家所共识的HDFS分布式数据存储功能之外,还提供了叫做MapReduce的数据处理功能。所以这里我们完全可以抛开
Spark
,使用Hadoop自身的MapReduce来完成数据的处理。相反,Spark也不是非要依附在Hadoop身上才能生存。但如上所述,毕竟它没有提供文件管理系统,所以,它必须和其他的...
Spark
可以完全替代hadoop吗
答:
近日,著名大数据专家Bernard Marr在一篇文章中分析了
Spark
和 Hadoop 的异同 Hadoop和Spark均是大数据框架,都提供了一些执行常见大数据任务的工具,但确切地说,它们所执行的任务并不相同,彼此也并不排斥 虽然在特定的情况下,Spark据称要比Hadoop快100倍,但它本身没有一个分布式存储系统 而分布式存储是...
大数据之
Hive
总结篇及Hive优化
答:
Hive的
诞生背景是为了解决大数据时代下,关系型数据库难以处理海量数据的问题。通过Hadoop框架,Hive将数据存储在HDFS中,并支持
Spark
和Tez等分布式计算引擎,用于离线批处理。在
Hive中
,SQL查询的执行过程包括SQL解析、转换为OperatorTree、逻辑和物理优化等步骤,将复杂任务简化为用户友好的操作。Hive支持多种...
<涓婁竴椤
1
2
3
4
5
6
7
8
9
10
涓嬩竴椤
灏鹃〉
其他人还搜
spark on hive
hive调用spark
spark查询hive
spark和hive的整合
spark连接hive
spark与hive的区别
hive mapreduce
spark on hive实例
hadoop怎么进入hive