成都大数据Hadoop应用开发实战培训

+收藏

求学价: 面议 发布用户:qtedu

发布时间:2018-03-09 已有260人浏览报名

课程介绍

 

1、大数据Hadoop应用培训

大数据Hadoop应用培训[第几阶段]

培训机构

科力特认证教育中心

(028)86749489

授课对象

计算机专业,有Linux基础,有编程、系统网络管理基础的学员

课程目标

目标:培养具备工程实践能力的hadoop系统管理人员

重点:Hadoop 是一个能够对大量数据进行分布式处理的软件框架。本培训使学员在真实模拟讲解的基础上了解掌握hadoop的基本概念和操作。

  

第几天

上午

大数据概念

Hadoop背景
HDFS
设计目标

HDFS不适合的场景

介绍Hadoop,HDFS,MapReduce,Common,Spark,Mahout,HBase,NoSQL,Cassandra,GFS, MapReduce, BigTable,Hive,Pig等知识点。大数据的背景,大数据的发展

下午
HDFS
架构详尽分析

HDFS和本地文件系统的关系

Hadoop是如何把超大的数据放进HDFS

把本地文件系统上的文件传到hdfs

为什么hdfs不支持随机写

Mysql和HDFS之间的数据传输,哪种方式较常用

hadoop客户端在写入HDFS时的实现

mfs、luster、Hdfs等分布式存储的不同侧重点

MapReduce的基本原理

MapReduce, Google File System 之间的关系

为什么MapReduce的key-value抽象模型被广泛使用

用 Hadoop / MapReduce 实现并行化算法

如何验证MapReduce结果的正确性

hadoop mapreduce 程序的布署

MapReduce,Spark比较

第二天

上午

Hadoop的版本介绍

安装配置单机版Hadoop
安装配置Hadoop集群

在虚拟机中安装Hadoop集群

下午

 HDFS命令行基本操作

(1)    检查和机器名是否正确

(2)    关闭防火墙

(3)    查看磁盘空间是否正常

(4)    检查目录是否正常

(5)    单独启动各个进程

Namenode的工作机制

  (1) Hadoop读写文件时内部工作机制

(2). NameNode的主要职责

(3)、NameNode布式文件系统的整体运行状态是否正常等

(4). NameNode故障转移的解决方案
 HDFS
基本配置管理

第三天

上午

HDFS应用实战:

图片服务器 - 系统设计

应用的环境搭建 jsp + bootstrap  

使用Hadoop Java API实现向HDFS写入文件

下午

使用Hadoop Java API实现读取HDFS中的文件
使用Hadoop Java API实现获取HDFS目录列表
使用Hadoop Java API实现删除HDFS中的文件

第四天

上午

MapReduce的基本原理
MapReduce
的运行过程

1、Map-Reduce的逻辑过程

2、编写Map-Reduce程序

3、Map-Reduce数据流(data flow)

3.1、任务提交

3.2、任务初始化

3.3、任务分配

3.4、任务执行

3.4.1、Map的过程

3.4.2、Reduce的过程

3.5、任务结束
下午

搭建MapReduce的java开发环境

操作步骤:
(1)
首先建立开发环境

1.引用外部包

2.插件开发端口设置
(2)
开发环境建立之后自己建立一个包,起名为mapreduce。
(3)
然后建立一个.java文件,可以是mapreduce文件:mapreduce.java。
(4)
把下面代码放入放入mapreduce.java
(5)
这样建立了一个mapreduce程序。

使用MapReduce的java接口实现WordCount

WordCount运算过程分析
MapReduce
的combiner

第五天

上午

1、使用MapReduce实现

2、数据去重

2.使用MapReduce实现数据排序,倒排索引
3.
使用MapReduce实现数据平均成绩计算

4、实际演练

下午

完成所有实验提交答辩

培训环境

 Cloudera Hadoop 4 (Hadoop 2.0)

虚拟机

Liunx或者windows+cygwin

显示全部

学校介绍

科力特认证教育中心

认证机构

黄金会员5年

查看信用档案

学校人气度:713

 

科力特 (QualiTech Education) 是专业从事计算机高级技术培训的权威教育机构,成立于1999年,是 IBM、思科、甲骨文、HP、SUN、微软、ITIL、CIW、NCSE等多家世界知名 IT 厂商在全球范围内的授权培训中心及合作伙伴 , 专业从事知名厂商核心技术的教育培训和推广工作。

科力特是IBM 在中国区四大软件体系白金级培训提供服务商,同时也是IBM西南授权培训中心,是微软、ORACLE、TurboLinux、 等国内外知名软件企业的战略合作伙伴,同时是全球较大的教育考试认证机构美国 Prometric 和VUE的授权考试中心。

科力特拥有独立教学环境,多间舒适的多媒体培训教室,尽力为学员创造良好的学习氛围。中心教师均获得相应公司的专业认证,有多年教学经验,从专业技术和实践经验双方面都堪称行业翘楚。其培训体系的严密性,培训课程的多样性以及培训服务的质量得到了客户的高度赞同。

授课方式

科力特教育培训中心为中国客户提供有几种授课方式:

a、公开课

科力特培训中心在每一个半年末公布下个半年将要开设课程的名称、时间和地点。如果用户对科力特培训中心开设的哪门课程感兴趣,只须填写附在后页的报名表,传真或邮寄给科力特培训中心。科力特培训中心将在有足够的报名情况下,在开课前一周将确认信邮寄或传真给客户。

b、定制课

如果用户单位有8人以上的学员需要参加同一门课程的培训,那么科力特培训中心可以根据用户的具体需求为用户单独开设特设课。在用户单位的参加培训人数较多的情况下,特设课是既经济又可提高培训效果的选择。此外,培训的时间和地点可双方共同设定,这样也便于用户安排工作。

进入学校主页

相关课程

加载更多

热门推荐

新闻资讯

加载更多

QQ咨询

微信咨询