北京中科信软Hadoop EDW 数据库管理员培训

+收藏

求学价: 面议 发布用户:THY104

发布时间:2014-06-11 已有2838人浏览报名

课程介绍

北京中科信软科技有限公司(以下简称中科信软)作为中国领先的企业高端技术服务机构,公司秉承“诚信、创新、开放、合作、服务”的企业文化,依托中国科学院的雄厚技术实力,与国内外大型知名企业IBM,SUN,ORACLE,微软等建立了广泛的合作关系、致力于整合国内外进、较流行、较实用的技术服务于企事业单位,为客户创造价值,其专业服务和质量承诺在客户中享有卓越的声誉。

培训中心依托中国科学院强大技术人才优势,以国内领先的师资力量,根据企事业单位的实用需求,通过定制培训方案,提供各种技术及管理培训,将企事业单位的培训投资的效益发挥到较高点。近十年来,中心的企业培训遍及大江南北,客户包括国家部委、地方政府、部队、高校、科研院所、知名IT公司等国内企事业单位,以及以诸多世界500强在华机构为代表的外资企业,迄今已培养数万名高级管理及技术人才。目前中心已经与百余家企事业单位建立了长期的培训合作关系,深得用户信赖和好评

课程目标:

此课程面向公司系统管理员、数据库管理员,希望转型的DBA 等。以及对Hadoop感兴趣的各类技术人员。通过此课程的培训,学员可以深入理解Hadoop技术架构,对Hadoop
运作机制有清晰全面的认识,可以独立规划及部署生产环境的Hadoop集群,掌握Hadoop基本运维思路和方法,对Hadoop集群进行管理和优化。
目标学员:软件工程师、高级软件工程师、数据库开发人员、互联网服务后台开发人员、运维人员    
    
培训大纲
一、集群安装和管理      
  模块一、Hadoop的来源和动机
       ·传统大规模系统存在的问题
       · 对一种新的解决方案的需求
  模块二、EasyHadoop安装和部署准备
       ·Hadoop系统模块组件概述
       ·Hadoop试验集群的部署结构
       ·Hadoop 安装依赖关系
       ·Hadoop 生产环境的部署结构
  模块三、EasyHadoop集群安装和部署
       ·Red hat Linux基础环境搭建 上机实验
       ·Hadoop 单机系统版本 安装配置 上机实验
       ·Hadoop 集群系统版本 安装和启动配置 上机实验
       ·Hadoop 集群异常Debug 方法
       ·Hadoop 集群简单测试方法
       ·使用 Hadoop MapReduce Streaming 快速测试系统
  模块四、Hadoop组件详解    
       ·Hadoop HDFS 基本结构
       ·Hadoop HDFS 副本存放策略
       ·Hadoop NameNode 详解
       ·Hadoop SecondaryNameNode 详解
       ·Hadoop DataNode 详解
       ·Hadoop JobTracker 详解
       ·Hadoop TaskTracker 详解
  模块五、EasyHadoop集群配置详解    
       ·Hadoop core-site,hdfs-site,mapred-site 配置详解
       ·Hadoop 高可用配置方法

二、集群优化和管理      
  模块六、EasyHadoop集群配置:机架感知,开启压缩和任务均衡    
        ·Hadoop 集群安装和开启LZO压缩 上机实验
        ·Hadoop 配置集群具备机架感知  上机实验
        ·Hadoop 集群开启公平任务调度器 上机实验
        ·Hadoop 集群开启能力任务调度器 上机实验
  模块七、Hadoop 集群维护与管理    
        ·查看集群状态
        ·HDFS数据管理
        ·Mapreduce 任务管理
        ·HDFS安全模式
        ·模拟集群Namenode,jobtrack失效
        ·添加删除节点
        ·数据平衡
        ·文件数据跨集群拷贝
        ·集群升级
  模块八、Hadoop 集群规划和测试    
        ·集群规划(硬件,系统,网络)
        ·集群性能测试"
  模块九、Hadoop 集群监控和运维    
        ·使用Ganglia 监控Hadoop集群
        ·使用Cacti 监控操作系统"
  模块十、Hadoop HDFS高可用    
        ·Hadoop 元数据NFS备份方案
        ·Hadoop SecondaryNameNode备份方案
        ·Hadoop CheckpointNode备份方案
        ·Hadoop BackupNode备份方案
        ·Hadoop Cloudera HA Namenode 方案

三、EasyHive EasyPig 数据仓库       
  模块一、EasyHive仓库集群
       ·Hive的作用和原理说明
       ·Hadoop仓库和传统数据仓库的协作关系
       ·Hadoop/Hive仓库数据数据流
       ·Hive 部署和安装
       ·Hive Cli 的基本用法
       ·HQL基本语法
  模块二、EasyHive仓库集群高级
       ·使用JDBC 连接Hive进行查询和分析
       ·使用正则表达式加载数据
       ·HQL高级语法
       ·编写UDF函数
       ·编写UDAF自定义函数"
  模块三、EasyHive仓库优化
       ·使用Hive分区优化查询
       ·使用Lzo压缩优化数据存储容量
       ·HiveServer HA (使用haproxy提高HiveServer可用性)
       ·编写Hive自定义MapReduce脚本优化查询
       ·Hive数据倾斜和查询性能优化"
  模块四、EasyHive仓库外围系统    
       ·使用Sqoop进行数据分析
       ·使用oozie配置工作流
       ·phpHiveAdmin 安装和使用


显示全部

学校介绍

中科信软高级技术培训中心

认证机构

黄金会员5年

查看信用档案

学校人气度:2258

北京中科信软科技有限公司(以下简称中科信软)作为中国领先的企业高端技术服务机构,公司秉承“诚信、创新、开放、合作、服务”的企业文化,依托中国科学院的雄厚技术实力,与国内外大型知名企业IBM,SUN,ORACLE,微软等建立了广泛的合作关系、致力于整合国内外进、较流行、较实用的技术服务于企事业单位,为客户创造价值,其专业服务和质量承诺在客户中享有卓越的声誉。

培训中心依托中国科学院强大技术人才优势,以国内领先的师资力量,根据企事业单位的实用需求,通过定制培训方案,提供各种技术及管理培训,将企事业单位的培训投资的效益发挥到较高点。近十年来,中心的企业培训遍及大江南北,客户包括国家部委、地方政府、部队、高校、科研院所、知名IT公司等国内企事业单位,以及以诸多世界500强在华机构为代表的外资企业,迄今已培养数万名高级管理及技术人才。目前中心已经与百余家企事业单位建立了长期的培训合作关系,深得用户信赖和好评。

高瞻远瞩,质量为本。"人才培养,质量至上"是自成立伊始至今中心一贯的治学理念。培训业的核心竞争力在于培训讲师。充裕的师资来源、严格完善的管理体系和广阔的再发展空间是中科信软培训中心得以长期稳定地拥有高素质讲师队伍的法宝,也是培训中心能长期傲视同业,赢得厂商、企业和学员广泛认同和好评的根本。

典型案例

公司成立以来先后与国内外知名大型企业合作,获得了用户的一致好评,和我们合作的客户有:

 

国家环保总局
HP
南天软件
卫生部
IBM
北大方正
国税总局
摩托罗拉
华夏银行
海关总署
Siemens
信必优
中国网通
爱立信
北京工业大学
中国建设银行总行
东芝
中国科技大学
中国银行
索爱普天
中央电视台
民航数据
中国电信
大港油田
中石油
中国移动
航天信息
中海油
连云港港务
中外运

北京中科信软科技有限公司

进入学校主页

相关课程

加载更多

热门推荐

新闻资讯

加载更多

QQ咨询

微信咨询