HDFS联邦能够解决对文件系统数据的流式处理访问。HDFS 提供文件权限和身份验证。
HDFS的简介:
HDFS(Hadoop Distributed File System)是hadoop项目的核心子项目,是
分布式计算中数据存储管理的基础。是基于流数据模式访问和处理超大文件的需求而开发的, 可以运行于廉价的商用服务器上。
它所具有的高容错、 高可靠性、 高可扩展性、 高获得性、 高吞吐率等特征为
海量数据提供了不怕故障的存储, 为超大
数据集(Large Data Set) 的应用处理带来了很多便利。
HDFS是开源的,存储着Hadoop应用将要处理的数据,类似于普通的Unix和linux文件系统,不同的是它是实现了google的GFS文件系统的思想,是适用于大规模分布式数据处理相关应用的、可扩展的
分布式文件系统。
HDFS的功能:
1)数据的
分布式存储和处理。
2)Hadoop 提供了一个命令接口来与 HDFS 进行交互。
3)namenode 和 datanode 的内置服务器可帮助用户轻松检查群集的状态。
4)对文件系统数据的流式处理访问。
5)HDFS 提供文件权限和身份验证。