大数据工程师需要学习哪些?

现在想学大数据,希望网友给个中肯的回答,谢谢

    Java :只要了bai解一些基础即可,做大数据不需要很深的Java 技术,学java SE 就相当于有学习大数据。

    Linux:因为大数据相关软件都是在Linux上运行的,所以Linux要学习的扎实一些,学好Linux对你快速掌握大数据相关技术会有很大的帮助,能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置,能少踩很多坑,学会shell就能看懂脚本这样能更容易理解和配置大数据集群。

    Hadoop:这是现在流行的大数据处理平台几乎已经成为大数据的代名词,所以这个是必学的。

    Zookeeper:这是个万金油,安装Hadoop的HA的时候就会用到它,以后的Hbase也会用到它。

    Mysql:我们学习完大数据的处理了,接下来学习学习小数据的处理工具mysql数据库,因为一会装hive的时候要用到,mysql需要掌握到什么层度那?你能在Linux上把它安装好,运行起来,会配置简单的权限,修改root的密码,创建数据库。

    Sqoop:这个是用于把Mysql里的数据导入到Hadoop里的。

    Hive:这个东西对于会SQL语法的来说就是神器,它能让你处理大数据变的很简单

    Oozie:既然学会Hive了,我相信你一定需要这个东西,它可以帮你管理你的Hive或者MapReduce、Spark脚本,还能检查你的程序是否执行正确。

    Hbase:这是Hadoop生态体系中的NOSQL数据库,他的数据是按照key和value的形式存储的并且key是唯一的,所以它能用来做数据的排重,它与MYSQL相比能存储的数据量大很多。

    Kafka:这是个比较好用的队列工具。

    Spark:它是用来弥补基于MapReduce处理数据速度上的缺点。

    请点击输入图片描述

温馨提示:答案为网友推荐,仅供参考
第1个回答  2018-02-01
由浅入深依次掌握:

Java语言基础:
Java语言基础、Java流程控制、Java字符串、Java数组与类和对象、数字处理类与核心技术、I/O与反射,多线程、Swing程序与集合类;
HTML、CSS与JavaScript:
PC端网站布局、HTML5+CSS3基础、WebAPP页面布局、原生javascript交互功能开发、Ajax异步交互、jQuery应用;
JavaWeb和数据库:
数据库、javaWeb开发核心、JavaWeb开发内幕;
Linux基础:
Linux安装与配置、系统管理与目录管理、用户与用户组管理、Shell编程、服务器配置、Vi编辑器与Emacs编辑器;
Hadoop生态体系:
Hadoop起源与安装、MapReduce快速入门、Hadoop分布式文件系统、Hadoop文件I/O详解、MapReduce工作原理、MapReduce编程开发、Hive数据仓库工具、开源数据库HBase、Sqoop与Oozie;
Spark生态体系:
Spark简介、Spark部署和运行、Spark程序开发、Spark编程模型、作业执行解析、Spark SQL与DataFrame、深入Spark Streaming、Spark MLlib与机器学习、GraphX与SparkR、spark项目实战、scala编程、Python编程;
Storm实时开发:
storm简介与基本知识、拓扑详解与组件详解、Hadoop分布式系统、spout详解与bolt详解、zookeeper详解、storm安装与集群搭建、storm-starter详解、开源数据库HBase、trident详解;
投入时间和精力,以兴趣来驱动学习。在整个的学习过程中贯穿着代码实战。看的代码是别人的,动手写出来的是自己的。自己动手写代码,记忆更加深刻,效率更高。本回答被提问者采纳
第2个回答  2019-09-09
一、认识大数据大数据本质其实也是数据,不过也包括了些新的特征,数据来源广;数据格式多样化(结构化数据、非结构化数据、Excel文件等);数据量大(最少也是TB级别的、甚至可能是PB级别);数据增长速度快。而针对以上新的特征需要考虑很多问题:例如,数据来源广,该如何采集汇总?采集汇总之后,又该存储呢?数据存储之后,该如何通过运算转化成自己想要的结果呢?对于这些问题,我们需要有相对应的知识解决。

二、大数据所需技能要求Python语言:编写一些脚本时会用到。

Scala语言:编写Spark程序的最佳语言,当然也可以选择用Python。

Ozzie,azkaban:定时任务调度的工具。

Hue,Zepplin:图形化任务执行管理,结果查看工具。

Allluxio,Kylin等:通过对存储的数据进行预处理,加快运算速度的工具。

必须掌握的技能:、 HBase(、 Kafka、Storm/JStorm、Scala、Python、Spark (Core+sparksql+Spark streaming ) 、辅助小工具(Sqoop/Flume/Oozie/Hue等)
第3个回答  2020-04-10

你好,大数据学习的内容包括8个阶段的内容:

你可以按照顺序学习,先学习基础的东西,希望你早日学有所成。

第4个回答  2019-03-12
要成为大数据工程师,必备的技能有Java,Spark,Hadoop,Hive和Big Data。
相似回答