这是一个信息爆炸的年代。经过数十年的积累，很多企业都聚集了大量的数据。这些数据也是企业的核心财富之一，怎样从累积的数据里寻找价值，变废为宝则成为当务之急。但数据增长的速度往往比CPU和MEMORY性能增长的速度还要快得多。要处理海量数据，如果求助于昂贵的专用主机甚至超级计算机，成本无疑很高，有时即使是保存数据，也需要面对高成本的问题，因为具有海量数据容量的存储设备，价格往往也是天文数字。成本和IT能力成为了海量数据分析的主要瓶颈。
Hadoop这个开源产品的出现，打破了对数据力量的压制。Hadoop源于Nutch这个小型的搜索引擎项目。而Nutch则出自于著名的开源搜索引擎解决方案Lucene，而Lucene则来源于对Google的学习模仿。在Hadoop身上有着明显的Google的影子。HDFS是GFS的山寨版，Map-Reduce的思想来源于Goolge对Page rank的计算方法，HBase模仿的是Big Table，Zookeeper则学习了Chubby。Google巨人的力量尽管由于商业的原因被层层封锁，但在Hadoop身上得到了完美的重生和发展。从2006年Apache基金会接纳Hadoop项目以来。Hadoop已经成为云计算软件的一个事实标准，以及开源云计算解决方案的几乎唯一选择。对于想用低成本（包括软硬件）实现云计算平台或海量数据分析平台的用户，Hadoop集群是首选的对象。正是由于此新兴技术的产生，才给当下大数据企业带来了新方向，为此我们特意编辑此专业技术课程，提升大家的小宇宙。帮助大家从传统数据库领域提升到分布式计算领域。
Hadoop大数据授课群体
该课程设计内容采用逐层递进，对Hadoop生态圈的了解逐步加深，课程服务的群体包括：
1，未毕业的大学生
2，职场小白，工作经验在1-2年
3，想要从事大数据开发却没有Hadoop基础
4，对Hadoop有过了解，未系统学习
5，有过Hadoop程序编写经验，未参与企业级大数据项目开发的
6，想从事Hadoop集群管理
7，未来想从事Hadoop首席架构师
Hadoop大数据培训目标
该课程的培训目标是让学员对Hadoop生态圈的常用组件有所了解，对Hadoop产生整体认知，理解分布式存储和分布式计算的原理，对Hive、HBase、HDFS、MR、Yarn、Impala等达到入门级别。经过培训，提高学员在大数据方向的核心竞争力，面对面试官的提问，可以灵活应对，从而找到心仪的大数据相关工作。
Hadoop大数据课程介绍
该培训课程主要从课程模块设计、授课时间、授课内容三方面进行细化，课程中包括普通课程和高级课程，普通课程即对初级学员或零基础学员开课，高级课程是针对有一定开发基础或者想深入学习的学员开课。
Hadoop大数据课程的具体情况如下：
Ø 所有课程共计130小时，共26天
Ø 基础课程共80小时，共计16天
Ø 高级课程共50小时，共计10天
初级课程大纲（Hadoop生态圈基础知识为主）
模块
子模块
课时（时）
初级
内容
了解Hadoop
初识
1
初级
自我介绍、培训目的、目标，大纲介绍
认识大数据
1
初级
对大数据整体认知
Hadoop起源、发展
1
初级
了解Hadoop的由来
Hadoop生态圈介绍
2
初级
对生态圈组件认识
岗位特点
1
初级
对于不同技能所从事的岗位整体认知
Hadoop部署
Hadoop部署方式
2
初级
初步了解Hadoop的部署方式
环境准备
2
初级
部署Hadoop需要的基础环境介绍，准备
介绍CM
3
初级
对CM有整体认知，可以使用CM中的基本功能
实战CM
3
初级
利用CM安装集群，让学员学会快速搭建集群
手动安装集群
3
初级
如何手动安装开源Hadoop
HDFS管理
HDFS原理
3
初级
介绍HDFS文件存储原理
HDFS参数配置
2
初级
了解HDFS的基本参数配置情况
HDFS常用操作
2
初级
了解HDFS常用命令
HA介绍
2
初级
NameNode 高可靠性介绍
Yarn介绍
MapReduce介绍
2
初级
介绍分布式计算框架原理
Yarn框架介绍
2
初级
Hadoop2.0后新框架与0.23的不同
参数讲解
3
初级
主要参数用途讲解
Yarn配置
3
初级
Yarn框架下基本配置
Yarn队列调度原理
2
初级
介绍Yarn框架中队列调研的原理
Hive介绍
Hive体系介绍
2
初级
介绍Hive基本原理，架构
Hive安装配置
2
初级
介绍如何安装Hive，如何进行配置
HQL介绍
1
初级
介绍Hive的基本SQL
Spark介绍
Sqoop介绍
1
初级
介绍sqoop数据原理
Spark简介
1
初级
介绍Spark的基本原理
Spark参数配置
2
初级
讲解Spark中参数基本配置
Spark编程
2
初级
介绍Spark的程序开发过程
Spark Shell介绍
2
初级
介绍spark shell基本操作
Spark on Yarn介绍
1
初级
介绍Spark on Yarn的原理和框架
Spark SQL
2
初级
介绍Spark SQL的开发过程
Impala介绍
Impala原理
2
初级
介绍Impala实时计算框架的原理
Impala参数配置
2
初级
介绍Impala在使用过程中参数情况
Impala安装
3
初级
Impala安装部署
Impala使用
2
初级
讲解Impala命令及元素
HBase介绍
HBase简介
1
初级
介绍HBase的基本原理
HBase架构分析
2
初级
讲解HBase架构与其他架构的异同点
HBase参数配置
2
初级
介绍HBase的参数配置情况
HBase Shell介绍
2
初级
介绍HBase Shell的使用
MapRedue
MR开发简介
2
初级
介绍MR程序开发基本原理
MR语法介绍
2
初级
介绍MR的语法规则，开发规则
MR任务分配
3
初级
介绍MR任务分配方式
MR作业监控
3
初级
监控作业运行状态、进度等
Hadoop大数据高级课程大纲（实战企业级应用案例为主）
模块
子模块
课时（时）
高级
内容
HDFS高级管理
HDFS高级特性
3
高级
深入了解HDFS
Zookeeper介绍
1
高级
原理和应用场景介绍
Hive案例
HQL高级功能
1
高级
Hive自定义SQL介绍及优化
Hive JDBC使用
4
高级
介绍使用jdbc方式操作Hive数据仓库
Hive设计
3
高级
Hive表结构的设计原则
Hive应用案例
4
高级
讲解Hive企业应用案例场景
Spark案例
Spark应用案例
4
高级
讲解Spark企业案例应用场景
Impala案例
Impala应用案例
4
高级
讲解Impala企业案例应用场景
HBase案例
HBase高级特性
3
高级
介绍HBase高级特性及参数优化
HBase应用案例
4
高级
讲解HBase企业案例应用场景
MapRedue案例
MR清洗数据
3
高级
介绍编写清洗数据的MR程序
MR数据分析
4
高级
介绍典型数据分析的开发过程
企业级大数据项目实战
项目分析
3
高级
项目背景、项目目标、项目规划等
环境就绪
4
高级
软硬件环境准备
项目开发过程
3
高级
完整开发过程
项目总结
2
高级
项目总结
