2015-10-16
自由安排
科力特认证教育中心
成都鼓楼南街248号详细地图
028-86749489
课程介绍
1、大数据Hadoop应用培训
| 大数据Hadoop应用培训[第几阶段] | ||
| 培训机构
| 科力特认证教育中心 (028)86749489 | |
| 授课对象
| 计算机专业,有Linux基础,有编程、系统网络管理基础的学员 | |
|
课程目标 | 目标:培养具备工程实践能力的hadoop系统管理人员 重点:Hadoop 是一个能够对大量数据进行分布式处理的软件框架。本培训使学员在真实模拟讲解的基础上了解掌握hadoop的基本概念和操作。 | |
|
|
第几天 | 上午 大数据概念 Hadoop背景 HDFS不适合的场景 介绍Hadoop,HDFS,MapReduce,Common,Spark,Mahout,HBase,NoSQL,Cassandra,GFS, MapReduce, BigTable,Hive,Pig等知识点。大数据的背景,大数据的发展 下午 HDFS和本地文件系统的关系 Hadoop是如何把超大的数据放进HDFS 把本地文件系统上的文件传到hdfs 为什么hdfs不支持随机写 Mysql和HDFS之间的数据传输,哪种方式较常用 hadoop客户端在写入HDFS时的实现 mfs、luster、Hdfs等分布式存储的不同侧重点 MapReduce的基本原理 MapReduce, Google File System 之间的关系 为什么MapReduce的key-value抽象模型被广泛使用 用 Hadoop / MapReduce 实现并行化算法 如何验证MapReduce结果的正确性 hadoop mapreduce 程序的布署 MapReduce,Spark比较 |
| 第二天 | 上午 Hadoop的版本介绍 安装配置单机版Hadoop 在虚拟机中安装Hadoop集群 下午 HDFS命令行基本操作 (1) 检查和机器名是否正确 (2) 关闭防火墙 (3) 查看磁盘空间是否正常 (4) 检查目录是否正常 (5) 单独启动各个进程 Namenode的工作机制 (1) Hadoop读写文件时内部工作机制 (2). NameNode的主要职责 (3)、NameNode布式文件系统的整体运行状态是否正常等 (4). NameNode故障转移的解决方案 | |
| 第三天
| 上午 HDFS应用实战: 图片服务器 - 系统设计 应用的环境搭建 jsp + bootstrap 使用Hadoop Java API实现向HDFS写入文件 下午 使用Hadoop Java API实现读取HDFS中的文件 | |
|
第四天
| 上午 MapReduce的基本原理 1、Map-Reduce的逻辑过程 2、编写Map-Reduce程序 3、Map-Reduce数据流(data flow) 3.1、任务提交 3.2、任务初始化 3.3、任务分配 3.4、任务执行 3.4.1、Map的过程 3.4.2、Reduce的过程 3.5、任务结束 搭建MapReduce的java开发环境 操作步骤: 1.引用外部包 2.插件开发端口设置 使用MapReduce的java接口实现WordCount WordCount运算过程分析
| |
|
第五天
| 上午 1、使用MapReduce实现 2、数据去重 2.使用MapReduce实现数据排序,倒排索引 4、实际演练 下午 完成所有实验提交答辩 | |
| 培训环境 | Cloudera Hadoop 4 (Hadoop 2.0) 虚拟机 Liunx或者windows+cygwin
| |
显示全部
学校介绍
学校人气度:713
2015-09-21
共3个
蔚蓝
科力特 (QualiTech Education) 是专业从事计算机高级技术培训的权威教育机构,成立于1999年,是 IBM、思科、甲骨文、HP、SUN、微软、ITIL、CIW、NCSE等多家世界知名 IT 厂商在全球范围内的授权培训中心及合作伙伴 , 专业从事知名厂商核心技术的教育培训和推广工作。
科力特是IBM 在中国区四大软件体系白金级培训提供服务商,同时也是IBM西南授权培训中心,是微软、ORACLE、TurboLinux、 等国内外知名软件企业的战略合作伙伴,同时是全球较大的教育考试认证机构美国 Prometric 和VUE的授权考试中心。
科力特拥有独立教学环境,多间舒适的多媒体培训教室,尽力为学员创造良好的学习氛围。中心教师均获得相应公司的专业认证,有多年教学经验,从专业技术和实践经验双方面都堪称行业翘楚。其培训体系的严密性,培训课程的多样性以及培训服务的质量得到了客户的高度赞同。
授课方式
科力特教育培训中心为中国客户提供有几种授课方式:
a、公开课
科力特培训中心在每一个半年末公布下个半年将要开设课程的名称、时间和地点。如果用户对科力特培训中心开设的哪门课程感兴趣,只须填写附在后页的报名表,传真或邮寄给科力特培训中心。科力特培训中心将在有足够的报名情况下,在开课前一周将确认信邮寄或传真给客户。
b、定制课
如果用户单位有8人以上的学员需要参加同一门课程的培训,那么科力特培训中心可以根据用户的具体需求为用户单独开设特设课。在用户单位的参加培训人数较多的情况下,特设课是既经济又可提高培训效果的选择。此外,培训的时间和地点可双方共同设定,这样也便于用户安排工作。
相关课程
加载更多
热门推荐
新闻资讯
加载更多
QQ咨询
微信咨询