深圳大数据Spark实战培训班

课程亮点


师资:*讲师团队,丰富行业经验和企业培训经验



特色:小班培训,精品课程,面授+直播+录播,上课方式多样



培训:免费重听



适用对象


不限



学习目标
了解大数据业内*新发展趋势,深入掌握Hadoop的原理,Hadoop生态系统



课程内容


大数据背景与思维



1. 什么是大数据



2. 大数据技术的产生背景



3. 大数据应用场景



4. 大数据思维



5. 大数据产业链



6. 大数据是如何变革各行业的技术架构、商业模式和组织方式



7. 大数据必备的技术基础



*天



互联网电信大数据应用案例深度解析



大数据在通信及互联网行业的应用案例解析-以下几个案例将贯穿整个培训内容, 作为每个章节的案例分析细化到每个大数据的知识点



互联网企业遇到大数据的问题



案例分享:海量数据通信行业解决方案



案例分享:基于通信网元实时数据的海量数据解决方案



案例分享:*电信用户画像分析系统的大数据变现案例分析



案例分享:淘宝大数据分析案例分析



*天



海量数据处理系统



的架构设计



这个部分主要讲解海量数据处理的架构设计,针对海量数据的问题设计海量数据的架构解决方案。



海量数据处理的系统场景



大数据时代的数据架构解决方案



海量数据处理的架构汇总



8种海量数据处理的架构设计比较



分布式系统架构的海量数据处理设计



海量数据处理设计



典型案例分析:结合一个500强实时数据系统的实例案例进行分析,详细分析海量数据处理的架构设计



第二天



案例及动手实验



HDFS实战-Java API使用



PB 级大数据存储系统的项目案例分析



HDFS部署、配置与性能调优实战



典型案例分析:通过HDFS API完成一个复杂数据系统的操作过程



Hadoop MapReduce深入解析



使用 Hadoop MapReduce Streaming 编程



MapReduce流程



基本MapReduceAPI 概念



MapReduce的优化



MapReduce的任务调度



MapReduce编程实战



满足解决实际数据分析问题的高级Hadoop API



第三天



Hive架构及实践案例沙盘演练



Hive系统部署与搭建



Hive工作机制



基于Hive的大数据加载过程



Hive程序编写性能建议



MapJoin



数据倾斜



Join顺序



UDF编写注意事项



快速获取结果TopN



通过Explain观察Hive行为



动手实验:完成Hive的搭建与配置



典型案例分析:基于Hive的大型电信通话记录分析示例,详细分析Hive的架构应用、性能调优及其使用场景与整体系统架构的结合



第四天



Spark架构及实践



案例沙盘演练



1.2 Spark的重要扩展



1.2.1 Spark SQL和Dataframe



1.2.2 Spark Streaming



1.2.3 Spark MLlib和ML



1.2.4 GraphX



1.2.5 SparkR



2.3 运行Spark应用程序



2.3.1 Local模式运行Spark应用程序



2.3.2 Standalone模式运行Spark应用程序



2.3.3 YARN模式运行Spark



2.3.4 应用程序提交和参数传递



3 Spark程序开发



3.1 使用Spark Shell编写程序



3.1.1 启动Spark Shell



3.1.2 加载text文件



3.1.3 简单RDD操作



3.1.4 简单RDD操作应用



3.1.5 RDD缓存



3.2 构建Spark的开发环境



3.2.1 准备环境



3.2.2 构建Spark的Eclipse开发环境



3.2.3 构建Spark的IntelliJ IDEA开发环境



3.3 独立应用程序编程



3.3.1 创建SparkContext对象



3.3.2 编写简单应用程序



3.3.3 编译并提交应用程序



第五天



Spark Streaming应用开发



Spark Streaming Java实例开发、运行



Spark Streaming Java实例的运行过程分析



Spark Streaming内部数据传输过程分析



Spark Streaming应用开发总结(API回顾,典型应用模式总结)



Spark Streaming消息可靠性保证机制介绍



Spark Streaming实时大数据算法解析案例



Spark Streaming实时大数据报警案例



Spark Streaming实时大数据的调整与改进