成都大数据Hadoop应用开发培训

培训对象

有编程经验或者liunx系统管理经验，有java编程经验更好，可以看看linux组网，虚拟机，java，hadoop方面的书

课程时间

5天

课程设计

理论+实操练习

 课程目标

1Hadoop集群搭建

2HDFS

3MapReduce计算

4HBaseHive

时间

培训内容

1部分

大数据技术基础

业界主流的大数据技术产品与项目解决方案

大数据处理平台Hadoop

大数据平台Spark

数据挖掘和机器学习介绍

2部分

hadoop集群+HDFS

上午

hadoop技术圈的框架

分布式系统CAP概述

测验:   配置集群---集群配置+ssh成功

讲解linux系统+常用命令

配置hadoop,运行计数例子成功

讲解hdfs命令+使用命令操作hdfs创建文件夹+导入导出文件从虚拟机到hdfs

下午

HDFS简介-分布式 5背景 5分布式文件系统 5.GFS  5.设计指标 5.hdfs体系结构

读操作、读优化策略

写操作、存放策略–对3个副本的存放

解释NameNodeDataNodeSecondaryNameNode

检查点执行过程

写操作实现代码示例

hdfs的可靠性措施

hdfs应用场合,数据块的分配,元数据管理[两个文件Editlog，FSimage]

hdfs的启动过程

介绍2.0联邦和HA

小结

练习：完成hadoop集群搭建，完成hdfs命令导入导出

作业：

1.         写出hadoop技术圈的框架，简述它们的技术作用和特点

2.         写出常用ubuntu命令和简单例子

3.         完成hadoop2.6集群配置

4.         写出常用hdfs的命令

5.         名词解释namenodedatanodesecondarynamenode？

6.         hdfs是什么，它有什么作用？

7.         hdfs读写操作？

8.         hdfs的存放策略是什么？

3部分

学习MapReduce计算框架

上午：

测验: eclipse开发环境配置+WordCount计算示例

搭建Eclipse+hadoop环境

讲解一个WordCount计算示例

讲解一个HadoopAPI、文件系统示例

1.练习：文件API和Map reduce函数编写

下午：

mapreduce简介、算法、工作机制、组件jobtask讲解

使用文件操作类

[Combiner,Partitioner简化计算

测验:练习mr算法—准备例子--简化

练习1.文件操作hdfs，2.WordCount示例

作业1.mapreduce特点，执行过程

4部分

Hbase+Hive

上午：

集群平台安装zookeeper+hbase+hive

ZooKeeper分布式协调服务系统的工作原理、平台架构

HBase分布式数据库简介、数据模型以及工作原理

HBase表设计与数据操作

测验：HBase基本操作

Hive数据仓库集群的平台体系结构、核心技术剖析

Hive Server工作原理与应用

Hive命令

HiveQL

测验:Hive导入导出

下午

Eclipse开发环境搭建

测验:HBase应用项目客户端开发示例

测验:Hive数据仓库报表设计、CLI客户端开发示例

练习   1.HBase表操作，2.Hive导入导出

作业   1.zookeeper系统架构

2.HBase工作原理

3.Hive体系工作原理和应用场合

5部分

spark数据分析

上午：

Spark集群搭建、运行示例

内存计算模型和实时处理技术

Spark分布式实时处理框架及工作原理

测验: sparkSQL应用示例

Spark+Hive

练习：SparkSQL

作业   1. 简单介绍Spark RDD

2. 简单说明   transformation、action+ DAGScheduler、TaskScheduler+ Spark Streaming实时计算框架的特点

下午：

技术提升：讲解数据挖掘和机器学习的18种算法+python

总结，答疑

培训环境

环境需要i5的cpu，8g内存以上计算机