运维数据仓库开发实践
Baron 查看讲师
百林哲咨询(北京)有限公司专家团队成员
某大型通信集团大数据基础平台负责人,大数据架构师,10多年的软件研发项目经验,擅长分布式系统技术栈。
浏览:2310次
详情 DETAILS

课程简介

本课程基于运营商、金融行业领域多年最佳实践经验,系统性分享运维场景统一数据仓库建设的相关内容,主要分为四个部分,首先是基础篇,重点讲解运维数据仓库相关平台架构技术演进路线,其次是进阶篇,主要是分享运维数据仓平台通用建模相关的专题内容,然后是实践篇,包含运维数据仓库血缘分析与生命周期管理,最后是扩展篇,介绍基于运维数据仓库平台构建运维能力商店的建设方法。

课程收益

通过对本课程的学习,可以快速了解近二十年来运维数据仓库相关平台架构技术演进路线,熟悉运维数据仓库平台通用建模的相关知识,包含建模方法论、分层分主题域、基础模型设计原则等实用知识体系,熟悉数据血缘分析与数据生命周期管理等数据治理实操层面的重点内容,并初步掌握基于运维数据仓库统一平台搭建运维能力商店的具体建设方法,最大化发挥出运维数据平台的建设价值。

受众人群

运维工程师、数据库开发人员、数据管理主管领导、数据管理团队、数据相关项目的解决方案提供者等。

课程周期

1天

课程大纲


标题授课内容
上午

. 基础篇:运维数据仓库相关平台架构技术演进路线

1.  应用场景案例:互联网、金融、运营商、能源、制造、政务等行业大数据平台典型架构对比分析

2.  行业热点分析:数据仓库、大数据平台、数据中台、数据湖、云原生数仓、湖仓一体、数据治理

3.  数据处理技术:联机事务处理OLTP、 联机分析处理OLAP、 混合事务/分析处理HTAP

4.  数据库技术:关系型数据库RDBMS、分析型数据库OLAP DB、混合事务/分析型数据库HTAP DB、数据湖DataLake、Cloud-native Data Warehouse(云原生数据仓库)  

5.  数据计算引擎: 离线批处理(MR)、实时处理(Storm)、DAG实时流处理(Spark)、流批融合(Flink)  

6.  数据缓存技术:分布式缓存系统(Memcached、Redis)、分布式消息系统(ActiveMQ、Kafka)、云原生消息流系统(Pulsar)

7.  数据服务中心:API网关、微服务框架、服务网格、容器云、云原生PaaS


. 进阶篇:运维数据仓库平台通用建模专题

1. 通用数据仓库建模方法论:Inmon范式建模与Kimball维度建模

2. 数据仓库分层分域规划与落地:某集团统一数仓平台分层分域行业案例(ODS、DWD、DWA、DMS)

3. 数据仓库模型设计原则分析:前瞻性、规范性、稳定性、扩展性、继承性

4. 指标库、标签库、运维场景模板库体系建设:某集团统一数仓平台建设案例

5. 数据仓库分层ETL加工与核心调度系统:某集团数据开发平台研发实践案例

6. 数据仓库平台数据治理体系建设:元数据、数据质量、数据标准、数据生命周期管理

下午

. 实践篇:运维数据仓库血缘分析与生命周期管理

1. 运维数据仓库平台数据关联,血缘的管理方式案例:

1.1 数据产品演示:基于内部真实案例,进行系统和相关产品功能操作演示

1.2 数据血缘关系:含集群血缘关系、表级血缘关系、其指向数据的上游来源,向上游追根溯源;被下游应用情况,想向查询数据去向;能清晰展现数据加工处理逻辑脉络

1.3 数据影响分析:帮助数据开发、数据治理、数据运营人员快速定位数据异常字段影响范围,准确圈定最小范围数据回溯,降低了理解数据和解决数据问题的成本。

2. 运维数据仓库平台生命周期管理实践(含天粒度快照归档建议方案):

2.1 数据生命周期管理方法:存储分级、存储周期、存储服务管理

2.2 数据生命周期管理的评分计算方法:基于存储分级、存储周期、存储服务级别划分构建评分机制

2.3 数据生命周期管理的评分应用:梳理最终得分与管理方法的对应关系(数据生命周期管理策略分值基准对照表)

2.4 数据生命周期管理的快照实践:如何满足对于数仓天级别的快照归档

. 扩展篇:运维数据仓库平台运维能力商店建设方法

1. 基于1+3+1+N构建整体解决方案:1个数据采集交换平台+3个数据分析引擎+1个对象应用商店+N个可视化运维应用

1. 1个数据采集交换平台:数据采集、数据交换、数据标签、数据清洗、容器化部署

2. 3个数据分析引擎:数据集中监控分析平台、告警事件管理分析、智能数据综合分析

3. 1个对象应用商店:对场景化分析结果进行二次组合、计算,生成新的对象应用,包括大屏监控、自定义看板、故障分析报告、巡检报告、综合报表等

4. N个可视化运维应用:业务性能管理、基础资源监控管理、网络性能管理、日志分析管理、动态扩缩容管理、智能运维故障分析、HDFS全维画像分析、YARN资源作业监控、集群RPC画像分析、集群小文件洞察等



企业服务热线:400-106-2080
电话:18519192882
投诉建议邮箱:venus@bailinzhe.com
合作邮箱:service@bailinzhe.com
总部地址:
北京市-丰台区-汽车博物馆东路6号3号楼1单元902-B73(园区)
全国客户服务中心:
天津市-南开区-桂苑路15号鑫茂集团鑫茂军民园1号楼A座802-803
公众号
百林哲咨询(北京)有限公司 京ICP备2022035414号-1