大数据工程师是在Linux系统下搭建Hadoop生态系统,把用户的交易或行为信息通过HDFS等存储用户数据文件,然后通过Hbase等存储数据,再通过Mapreduce等计算数据,然后通过hiv或pig等分析数据,最后按照用户需要重现出数据的工程师。
1
企业级的课程体系
Curriculum
Java开发
Java开发
企业级开发
企业级开发
Linux精讲
Linux精讲
Hadoop生态
Hadoop生态
storm实时开发
storm开发
spark生态
spark生态
项目实战
项目实战
推荐就业
推荐就业
2
零基础也能快速上手的课程内容
Course
第一阶段课程(Java核心开发)
学习内容 Java核心内容
学习目标 掌握数据类型与运算符,数组、类与对象;掌握IO流与反射、多线程、JDBC
完成目标 Java多线程模拟多窗口售票,Java集 合框架管理
第二阶段课程(Java企业级开发)
学习内容 JavaEE核心内容
学习目标 Mysq|l数据基础知识,Jdbc 基础概念和操作掌握HTML和CSS语法、Javascript核心语法
完成目标 京东电商网站项目、2048小游戏
第三阶段课程(Linux精讲)
学习内容 Linux命令、 文件、配置,Shell、 Awk、 Sed
学习目标 搭建负载均衡、高靠的服务器集群,可大网站并发访问量,保证服务不间断
完成目标 Linux环境搭建、 shel脚本小游戏贪吃蛇
第四阶段课程(Hadoop生态体系)
学习内容 HDFS、 MapReduce、 Hive、 Sqoop、 Oozie
学习目标 掌握HDFS原理、操作和应用开发,掌握分布式运算、Hive数据仓库原理及应用
完成目标 微博数据大数据分析、汽车销售大数据分析
第五阶段课程(Storm实时开发)
学习内容 Zookeeper、 HBase、 Storm实时数据
学习目标 掌握Storm程序的开发及底层原理,具备开发基于Storm的实时计算程序的能力
完成目标 实时处理新数据和更新数据库,处理密集查询并行搜索处理大集合的数据
第六阶段课程(Spark生态体系)
学习内容 Scala函数、 Spark SQL、机器学习
学习目标 熟练使用Scala快速开发Spark大数据应用,挖掘出其中有价值的数据
完成目标 使用Spark处理离线数据、使用SparkStreaming完成实时计算
第七阶段课程(大数据项目实战)
学习内容 大型综合性大数据项目
学习目标 能够综合运用大数据知识进行非结构化数据开发、分析,能够开发大型项目
完成目标 大型网站日志分析,移动业务感知分析,实时检测车辆超速项目,实时非法网站检测项目。