中科信软大数据平台建设培训,大数据技术支持与咨询
发布机构:
北京中科信软科技有限公司
发布时间:2020-08-25
大数据发展历程及主流技术栈构成
1. 为什么会出现大数据,大数据的演进过程是怎么样的
2. 商业智能BI、数据仓库DW、数据湖DL、数据中台的原理、区别和核心职能
3. 支撑大数据平台的主流框架技术介绍:Spark、Flink、HDFS、HBase、Hive、Kylin、Presto、Kafka、ClickHouse 等
整体大数据平台核心板块构成及架构设计
1. 整体大数据处理链路介绍及每个环节的技术选型方案
2. 五大核心板块介绍:数据接入处理(收集、接收、解析、标准化 等)、数据治理与管理(安全脱敏、ID-Mapping血缘图谱、主体式数据仓库 等)、数据消费提取(批量、实时、T+1、API 等)、数据链路跟踪(数据回溯、中间状态追踪、数据服务保障 等)、数据工具支撑(可视化建模、任务调度、数据搬迁 等)
3. 整体大数据架构设计介绍:技术架构、存储与计算架构、部署架构、容灾架构,实时流计算,离线存储的核心本质,如何监测实时流处理过程中的问题回溯
4. HDFS、HBase、Hive、Kylin、Spark Streaming/SQL、Flink的底层核心原理及适用业务场景(结合实际工程代码方式讲解)
网址:www.zksoft.org/www.info-soft.cn
1. 为什么会出现大数据,大数据的演进过程是怎么样的
2. 商业智能BI、数据仓库DW、数据湖DL、数据中台的原理、区别和核心职能
3. 支撑大数据平台的主流框架技术介绍:Spark、Flink、HDFS、HBase、Hive、Kylin、Presto、Kafka、ClickHouse 等
整体大数据平台核心板块构成及架构设计
1. 整体大数据处理链路介绍及每个环节的技术选型方案
2. 五大核心板块介绍:数据接入处理(收集、接收、解析、标准化 等)、数据治理与管理(安全脱敏、ID-Mapping血缘图谱、主体式数据仓库 等)、数据消费提取(批量、实时、T+1、API 等)、数据链路跟踪(数据回溯、中间状态追踪、数据服务保障 等)、数据工具支撑(可视化建模、任务调度、数据搬迁 等)
3. 整体大数据架构设计介绍:技术架构、存储与计算架构、部署架构、容灾架构,实时流计算,离线存储的核心本质,如何监测实时流处理过程中的问题回溯
4. HDFS、HBase、Hive、Kylin、Spark Streaming/SQL、Flink的底层核心原理及适用业务场景(结合实际工程代码方式讲解)
大型分布式数据仓库建模思路与实践
1. 软件系统建模方法:(结构型)类图、对象图、构件图、部署图、包图;(行为型)动图、状态机图、顺序图、通信图、用例图、时间图
2. 常用数据建模方法:实体建模法、维度建模法、范式建模法(结合案例讲解)
3. 基于中台思想,数据分层的主体思路与重要性介绍
4. 基于分布式数据仓库,针对数据的采集、处理、建模的较佳实践介绍
5. 数据仓库建设方法论,星型模型(非关系型DB存储,以空间换时间)和雪花模型(关系型DB存储,以时间还空间)两种建模思想的核心差异和适用场景
数据建模与处理行业案例分析(思路、方法、技术选型)
1. 基于事件驱动U-E建模,结合业务分拆数据处理粒度、维度、范围、边界,如:主题式抽取,数据标签化定义 等
等....课程
中科信软高级技术服务机构(已成立13年)→13年期间,为各大企业提供:软件培训、定制培训、技术咨询、技术支持
小班上课、时间灵活 地点灵活(北上广深、成都、武汉都有上课点),人数灵活
师资丰富:我们的教师都有着多年实际项目经验。
售后服务:课后如有课程方面的疑问,可安排老师免费答疑
邮箱: soft@info-soft.cn网址:www.zksoft.org/www.info-soft.cn
详情请咨询:零一零--六二八八三二四七 / 四零零七九九一九一六