一、hadoop开发主要是开发什么

现在的hadoop开发都是用mapreduce来实现业务的计算等，利用hadoop的多机并行计算能力

二、Hadoop和MapReduce究竟分别是做什么用的

1、hadoop是一种分布式系统的平台，通过它可以很轻松的搭建一个高效、高质量的分布系统，而且它还有许多其它的相关子项目，也就是对它的功能的极大扩充，包括Zookeeper,Hive,Hbase等。 2、MapReduce是hadoop的核心组件之一，hadoop要分布式包括两部分，一是分布式文件系统hdfs,一部是分布式计算框，就是mapreduce,缺一不可，也就是说，可以通过mapreduce很容易在hadoop平台上进行分布式的计算编程。 再详细的话，你得多看些文档。

三、大数据开发难不难学？

  大数据开发学习有一定难度，零基础入门首先要学习Java语言打基础，一般而言，Java学习SE、EE，需要一段时间；然后进入大数据技术体系的学习，主要学习Hadoop、Spark、Storm等。

  一般情况下大数据培训的学习时间大约半年左右，大数据更适合有基础的人学习，没有基础学大数据有一定的难度，可以先学习一些Java 基础，选择大数据培训机构重点关注机构口碑情况，再了解机构的师资力量、课程体系、就业信息、费用花销等等方面，多对比几家机构。希望对你有所帮助。

四、大数据都有哪些就业方向?

1.ETL开发

企业数据种类与来源的不断增加，对数据进行整合与处理变得很困难，企业迫切需要的一种有数据整合能力的人；

2.Hadoop开发

随着数据规模的不断增大，传统BI的数据处理成本过高，从而导致企业负担加重。而Hadoop廉价的数据处理能力被重新挖掘，企业需求持续增长；

3.可视化工具开发

通过操作界面元素，有可视化开发工具自动生成相关应用软件，轻松跨越多个资源和层次连接所有数据；

4.信息架构开发

信息架构师必须了解如何定义和存档关键元素，确保以最有效的方式进行数据管理和利用；

关键技能包括：主数据管理、业务知识和数据建模等；

5.数据仓库研究

为方便企业决策，出于分析性报告和决策支持的目的而创建的数据仓库研究岗位是一种所有类型数据的战略集合；

6.OLAP开发

OLAP 在线联机分析开发者，负责将数据从关系型或菲关系型数据源中抽取出来建立模型，然后创建数据访问的用户界面，提供高性能的预定义查询功能；

7.数据科学研究

随着数据学的进展，越来越多的实际工作将会直接针对数据进行，这将使人类认识数据，从而认识自然和行为；

8.数据预测分析

预测分析开发者有些场景看上有些类似数据科学家，即在企业历史数据的基础上通过假设来测试阈值并预测未来的表现；

9.企业数据管理

这一职位的人员需要能够利用各种技术工具汇集企业周围的大量数据，并将数据清洗和规范化，将数据导入仓库中，成为一个可用的版本；

10.数据安全研究

主要负责企业内部大型服务器、存储、数据安全管理工作，并对网络、信息安全项目进行规划、设计和实施；

五、搭建hadoop集群用什么操作系统

Docker最核心的特性之一，就是能够将任何应用包括Hadoop打包到Docker镜像中。这篇教程介绍了利用Docker在单机上快速搭建多节点Hadoop集群的详细步骤。作者在发现目前的HadooponDocker项目所存在的问题之后，开发了接近最小化的Hadoop镜像，并且支持快速搭建任意节点数的Hadoop集群。GitHub:kiwanlau/hadoop-cluster-docker直接用机器搭建Hadoop集群是一个相当痛苦的过程，尤其对初学者来说。他们还没开始跑wordcount，可能就被这个问题折腾的体无完肤了。而且也不是每个人都有好几台机器对吧。你可以尝试用多个虚拟机搭建，前提是你有个性能杠杠的机器。我的目标是将Hadoop集群运行在Docker容器中，使Hadoop开发者能够快速便捷地在本机搭建多节点的Hadoop集群。其实这个想法已经有了不少实现，但是都不是很理想，他们或者镜像太大，或者使用太慢，或者使用了第三方工具使得使用起来过于复杂。下表为一些已知的HadooponDocker项目以及其存在的问题。更快更方便地改变Hadoop集群节点数目另外，alvinhenrick/hadoop-mutinode项目增加节点时需要手动修改Hadoop配置文件然后重新构建hadoop-nn-dn镜像,然后修改容器启动脚本，才能实现增加节点的功能。而我通过shell脚本实现自动话，不到1分钟可以重新构建hadoop-master镜像，然后立即运行!本项目默认启动3个节点的Hadoop集群，支持任意节点数的Hadoop集群。另外，启动Hadoop，运行wordcount以及重新构建镜像都采用了shell脚本实现自动化。这样使得整个项目的使用以及开发都变得非常方便快捷。开发测试环境操作系统：ubuntu14.04和ubuntu12.04内核版本:3.13.0-32-genericDocker版本：1.5.0和1.6.2小伙伴们，硬盘不够，内存不够，尤其是内核版本过低会导致运行失败。