第一天下午

开发篇

◆ 大数据平台开发与数仓开发

      平台组件开发（Kafka、Redis、Hive、MR、Spark、Flink）

      数据仓库开发（分层分域、数据模型、数据指标、数据集市）

◆ Hadoop数仓平台架构与设计、数据模型开发与优化方法

◆ 案例分析：互联网日志加工模型优化（日万亿新增数据量）

◆ 案例分析：某运营商信令实时引擎升级（日千亿新增数据量）

◆ 案例分析：安全&旅游类产品模型优化（Spark广播变量问题）

◆ 案例分析：企业和个人风控平台的改造（HBase主备库+多模数据库）

◆ 案例分析：数据安全自助审计操作平台（使用Flink替换SparkStreaming）

第二天上午

治理篇

◆ 大数据平台故障定位

       典型故障分类: 硬件故障、组件问题、慢job问题、JVM问题、DevSecOps问题     

       故障排查方法：JVM、网络、系统负载、磁盘、内存、YARN监控与job洞察、MR/Spark优化

◆ 大数据平台性能调优

       方向一：主机OS、网络与Hadoop组件专项调优

       方向二：Bigdata SQL调优 (如SparkSQL)

       方向三：NewSQL集群优化 (如HBase)

       案例分析：某集群Job作业执行慢问题

       案例分析：某集群贴源表入库异常问题

       案例分析：某集群job作业数据倾斜问题

       案例分析：某集群NameNode故障问题#1（CDH5.13版本单集群性能瓶颈）

       案例分析：某集群NameNode故障问题#2（Hadoop2.9.1社区版源码层Bug）

       案例分析：某集群Hive元数据库故障问题（触发MySQL5.X PXC集群版源码层Bug）

       案例分析：某HBase集群故障问题（双线程主备库同时查询触发应用层响应异常Bug）

       案例分析：某集群RPC故障问题（导致集群所有提交job作业整体运行卡慢或异常Crash）

       案例分析：某Kafka集群故障问题（部分节点掉线,因故障恢复流程不合理导致丢数问题）

◆ 大数据平台集群治理

       集群治理工程的问题背景

       集群治理工程的目标

       集群治理组织架构

       集群治理推进文化与工程化解决思路

       案例分析与实施步骤：HDFS&YARN作业深度监控

       案例分析与实施步骤：RPC请求和关键服务预警

       案例分析与实施步骤：重复加工/冗余计算挖掘

       案例分析与实施步骤：重构元数据管理、血缘分析应用

       案例分析与实施步骤：智能分析集群用户画像与行为预测

第二天下午 运营篇

◆ 大数据能力开放平台：概念介绍

◆ 大数据能力开放平台：整体架构设计

◆ 大数据能力开放平台：多租户模型

◆ 大数据能力开放平台：数据服务管理

◆ 大数据能力开放平台：数据安全体系

◆ 大数据能力开放平台：租户服务流程

◆ 大数据能力开放平台：容器云平台支撑

◆ 大数据能力开放平台：智能运维与DevSecOps系统支撑

◆ 大数据能力开放平台：租户生态行业特征

◆ 大数据能力开放平台：数据价值化运营实践

◆ 两天课程总结与答疑环节