Hadoop大数据时代:Hadoop&YarnSpark企业级较佳实践培训

+收藏

求学价: 面议 发布用户:ymrwgc15

发布时间:2017-12-02 已有788人浏览报名

课程介绍

培训内容

第几部分

第1个主题:Hadoop三问(彻底理解Hadoop)

1、 Hadoop为什么是云计算分布式大数据的事实开源标准软件框架?

2、Hadoop的具体是如何工作?

3、Hadoop的生态架构和每个模块具体的功能是什么?

第2个主题:Hadoop集群与管理(具备构建并驾驭Hadoop集群能力)

1、 Hadoop集群的搭建

2、 Hadoop集群的监控

3、 Hadoop集群的管理

4、 集群下运行MapReduce程序

第3主题:彻底掌握HDFS(具备开发自己网盘的能力)

1、HDFS体系架构剖析

2、NameNode、DataNode、SecondaryNameNode架构

3、保证NodeName高可靠性较佳实践

4、DataNode中Block划分的原理和具体存储方式

5、修改Namenode、DataNode数据存储位置

6、使用CLI操作HDFS

7、使用Java操作HDFS

第4主题:彻底掌握HDFS(具备修改HDFS具体源码实现的能力)

1、RPC架构剖析

2、源码剖析Hadoop构建于RPC之上

3、源码剖析HDFS的RPC实现

4、源码剖析客户端与与NameNode的RPC通信

第二部分

第1个主题:彻底掌握MapReduce(从代码的角度剖析MapReduce执行的具体过程并具备开发MapReduce代码的能力)

1、MapReduce执行的经典步骤

2、wordcount运行过程解析

3、Mapper和Reducer剖析

4、自定义Writable

5、新旧API的区别以及如何使用就API

6、把MapReduce程序打包成Jar包并在命令行运行

第2个主题:彻底掌握MapReduce(具备掌握Hadoop如何把HDFS文件转化为Key-Value让供Map调用的能力)

1、 Hadoop是如何把HDFS文件转化为键值对的?

2、 源码剖析Hadoop读取HDFS文件并转化为键值对的过程实现

3、 源码剖析转化为键值对后供Map调用的过程实现

第3个主题:彻底掌握MapReduce(具备掌握MapReduce内部运行和实现细节并改造MapReduce的能力)

1、 Hadoop内置计数器及如何自定义计数器

2、 Combiner具体的作用和使用以及其使用的限制条件

3、 Partitioner的使用较佳实践

4、 Hadoop内置的排序算法剖析

5、 自定义排序算法

6、 Hadoop内置的分组算法

7、 自定义分组算法

8、 MapReduce常见场景和算法实现

第4个主题:某知名电商公司Hadoop实施全程揭秘(具备掌握商业级别Hadoop的分析、开发、部署的全过程的能力)

通过电商公司现场案例展示商业级别一个完整项目的分析、开发、部署的全过程

第三部分

第1个主题:YARN(具备理解和使用YARN的能力)

1、YARN的设计思想

2、YARN的核心组件

3、YARN的共组过程

4、YARN应用程序编写

第2个主题:ResourceManager深度剖析(具备深刻理解ResourceManager的能力)

1、ResourceManager的架构

2、ClientRMService 与AdminService 

3、NodeManager

4、 Container

5、 Yarn的 HA机制

第3个主题:NodeManager深度剖析(具备掌握NodeManager及Container的能力)

1、 NodeManager架构

2、 Container Management

3、 Container  lifecycle

4、  资源管理与隔离

第4堂课:Spark的架构设计(具备掌握Spark架构的能力)

1.1 Spark生态系统剖析

1.2 Spark的架构设计剖析

1.3 RDD计算流程解析

1.4 Spark的出色容错机制

第四部分

第1堂课:深入Spark内核

1 Spark集群

2 任务调度

3 DAGScheduler

4 TaskScheduler

5 Task内部揭秘

第2堂课:Spark SQL

1 Parquet支持

2 DSL

3 SQL on RDD

第3堂课:Spark的机器学习

1 LinearRegression

2 K-Means

3 Collaborative Filtering

第4堂课:Spark的图计算GraphX

1 Table Operators

2 Graph Operators

3 GraphX

 


显示全部

学校介绍

北京中科信软高级技术培训中心

认证机构

黄金会员5年

查看信用档案

学校人气度:851

北京中科信软科技有限公司(以下简称中科信软)作为中国领先的企业高端技术服务机构,公司秉承“诚信、创新、开放、合作、服务”的企业文化,依托中国科学院的雄厚技术实力,与国内外大型知名企业IBM,SUN,ORACLE,微软等建立了广泛的合作关系、致力于整合国内外进、较流行、较实用的技术服务于企事业单位,为客户创造价值,其专业服务和质量承诺在客户中享有卓越的声誉。 培训中心依托中国科学院强大技术人才优势,以国内领先的师资力量,根据企事业单位的实用需求,通过定制培训方案,提供各种技术及管理培训,将企事业单位的培训投资的效益发挥到较高点。近十年来,中心的企业培训遍及大江南北,客户包括国家部委、地方政府、部队、高校、科研院所、知名IT公司等国内企事业单位,以及以诸多世界500强在华机构为代表的外资企业,迄今已培养数万名高级管理及技术人才。目前中心已经与百余家企事业单位建立了长期的培训合作关系,深得用户信赖和好评。高瞻远瞩,质量为本。"人才培养,质量至上"是自成立伊始至今中心一贯的治学理念。培训业的核心竞争力在于培训讲师。充裕的师资来源、严格完善的管理体系和广阔的再发展空间是中科信软培训中心得以长期稳定地拥有高素质讲师队伍的法宝,也是培训中心能长期傲视同业,赢得厂商、企业和学员广泛认同和好评的根本。
进入学校主页

相关课程

加载更多

热门推荐

新闻资讯

加载更多

QQ咨询

微信咨询