通过该课程的学习,能够对大数据技术基础、Hadoop、HBase、Hive、Spark、Flink、Kafka、Flume原理及使用有深入的了解,对企业数据平台建设、开发、运维以及集群的稳定运行有很大的帮助。
课程大纲:
主题 | 内容 |
大数据技术基础&分布式文件系统&分布式资源调度系统 | 大数据背景知识、发展历程介绍 大数据平台架构层次设计 HDFS核心概念、应用场景介绍以及体系结构详解 HDFS高可用的原理介绍,共享存储、active/standby详解 HDFS常用命令实战演示,数据文件、数据块监控介绍 NameNode核心元数据fsimage/editlog原理介绍 DataNode职责介绍、数据块物理存储结构介绍 YARN体系结构详解 ResourceManager原理解析 NodeManager原理解析 容量调度器和公平调度器详解 资源两阶段申请详细流程详细 MapReduce代码实例演示 |
Hive&Spark&Flink 计算引擎 | Hive 数据库/表/分区实战 Hive元数据库介绍、演示 HIve高级函数实战 Spark体系结构原理解析 Spark常用算子程序演示 Spark On YARN运行实践 Flink应用场景介绍,与Spark区别详解 Flink Standalone和ON YARN运行模式与区别详解 Flink常用算子实战 Kafka+Flink代码实战演示 Flink一次性语义原理介绍 Flink Checkpoint应用长以及原理介绍 |
HBase体系结构与工作原理 | HBase多模生态介绍 HBase体系结构详解 HBase高并发原理、读写流程详解 HBase数据模型详解、实战演示 HBase元数据存储详解 HBase读写表/过滤器/计数器代码实战 HBase数据热点产生原因以及预分区实战 |
Flume/Kafka原理以及使用
| Flume+Kafka在企业数据平台的应用场景 Flume高可用体系结构原理介绍 Flume Source/Channel/Sink组件详解、实战 Flume高可用采集系统设计 |
等.....课程
中科信软高级技术服务机构(已成立13年)→13年期间,为各大企业提供:软件培训、定制培训、技术咨询、技术支持
时间灵活 地点灵活(北上广深、成都、武汉都有上课点),人数灵活,师资丰富
采取小班上课的特点,随时可以开班,侧重点方面可根据学员定制。还可定制培训,企业上门内训,1对1.定制培训或咨询