66问答网
所有问题
当前搜索:
hive和hdfs的关系
技术选型 - OLAP大数据技术哪家强?
答:
Hive Hive这个工具,大家一定很熟悉,大数据仓库的首选工具。可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能。主要功能是可以将sql语句转换为相对应的MapReduce任务进行运行,这样可能处理海量的数据批量,
Hive与HDFS
结合紧密,在大数据开始初期,提供一种直接使用sql就能访问
HDFS的
方案,...
怎么通过sqoop将
hdfs
上数据导入到mysql
答:
sqoop是一个能把数据在
关系
型数据库
和HDFS
之间互相传输的工具。在这里,我写一下用java 程序来实现sqoop把数据从HDFS写入到MYSQL。在接触sqoop之前,我自己写了一个传输类来实现数据从HDFS到MYSQL。这里简单说一下时间的思想:1、在MYSQL中创建一个参数表A,用来记录要传输的表的表名B和字段。2、HDFS上...
hive
性能优化及参数调优
答:
dfs.block.size默认是128M,这个参数通过hive来更改是没有实际用的,只能通过
hdfs
来修改 ***实际在
hive中
,并不是split的大小要小于等于blocksize,而是可以远大于blocksize,为什么???(map的数量)*** <1>当hive需要处理的文件是压缩,且压缩算法不支持文件切分的时候,决定map个数的因素主要是文件块实际存储的大小, ...
求解:为什么我将
hive中的
表导出到本地,本地上有文件,
hdfs
上也有对应的文...
答:
你目录不写file://的话,默认数据是导到
hdfs
上面的
大数据是什么?大数据和Hadoop之间有什么联系?
答:
那么这种计算模式如何实现呢,Hadoop的来临解决了这个问题,Hadoop是Apache(阿帕切) 的一个开源项目,它是一个对大量数据进行分布式处理的软件架构,在这个架构下组织的成员
HDFS
(Hadoop分布式文件系统),MapReduce、 Hbase 、Zookeeper(一个针对大型分布式系统的可靠协调系统),
hive
(基于Hadoop的一个数据...
我想学习
hive
,请问安装hive之前,必须安装centos、hadoop、java这些吗...
答:
运行
hive
Hive
运行依赖于hadoop,在运行hadoop之前必需先配置好hadoopHome。export HADOOP_HOME=<hadoop-install-dir> 在
hdfs
上为hive创建\tmp目录和/user/hive/warehouse(akahive.metastore.warehouse.dir) 目录,然后你才可以运行hive。在运行hive之前设置HiveHome。export
HIVE
_HOME=<hive-install-dir> 在...
hive
1和hive2的区别
答:
支持在
HDFS
和HBase上临时查询数据 支持用户自定义函数,格式 成熟JDBC和ODBC驱动程序,用于ETL和BI 稳定可靠的批处理 支持在不同计算框架运行 缺点:
Hive的
执行延迟比较高,因此Hive常用于数据分析,对实时性要求不高的场合 迭代式算法无法表达 数据挖掘方面不擅长 Hive自动生成的MapReduce作业,通常情况下不...
大数据平台是什么?什么时候需要大数据平台?如何建立大数据平台?_百度知...
答:
数据量与计算量:涉及到数据量的评估,也包括2方面:现有的情况:现在有多少数据?都存储在哪里?业务部门提的各种指标需求,每天需要多长时间计算完成?每天什么时候完成昨天经营情况的数据更新?增长的情况:每天、每周、每个月的数据增量有多少?按照这个增速,现有的配置还能满足多长时间的需求?以上2个...
关于hadoop的描述哪些是正确的
答:
第一段:基本定义与背景 Hadoop诞生于2005年,是Apache软件基金会下的一个开源项目。其核心设计目标是允许在商用硬件集群上处理大规模数据集。Hadoop的得名灵感来自于创始人儿子的一只玩具象。第二段:分布式文件系统与MapReduce Hadoop的核心组件之一是Hadoop Distributed File System (
HDFS
),它是一个高度...
对于
Hive中
关于普通表和外部表描述不正确的是()
答:
对于
Hive中
关于普通表和外部表描述不正确的是()A.删除外部表时,只删除外部表数据而不删除元数据(正确答案)B.删除普通表时,元数据和数据同时被删除 C.外部表实质是将已经存在
HDFS
上的文件路径跟表关联起来 D.默认创建普通表 答案解析:解析:外部表和内部表很类似,但是其数据不是放在自己表所属的...
棣栭〉
<涓婁竴椤
4
5
6
7
9
10
8
11
12
13
涓嬩竴椤
灏鹃〉
其他人还搜