课程简介
从基础到深入，并结合真实案例和客户自己的问题，结合实践环节，全程干货。
课程收益
了解大数据平台的技术背景、基本知识、常识及术语。学员通过学习本课程，能够熟悉大数据行业和分布式系统的技术核心知识点；通过Hadoop、Hive、Spark、HBase知识的学习，能够掌握大数据应用的开发和运维能力，并能够掌握海量数据处 理的编码和性能调优经验。
熟悉中国互联网公司（如阿里巴巴、腾讯）的大数据平台中各组件的技术应用和最佳实践。了解大数据平台在互联网业务及地理信息系统的应用。
课程特色
讲师能力过硬：硅谷海归，有十多余年的大数据基础设施构建经验。基于阿里十余年大数据平台构建经验，每日处理超过30万道作业，10PB以上数据，拥有丰富的大数据经验。
行业经验丰富：结合大数据平台在饿了么、高德等地理信息应用案例，介绍大数据平台及其在地理信息中的应用。
培训经验丰富：在阿里内部、硅谷太阁、中移动、曹操出行、小象学院、四维图新等机构有过培训经验。
实践案例丰富：提供丰富的真实案例，并配置有实践环节，让学员真实了解大数据架构及地理信息应用。
受众人群
拥有一定研发经验，希望行业前延经验和应用有所了解的学员。
所有对《大数据平台及地理信息应用》感兴趣的学员。
课程周期
1天（6H）
课程大纲
主题 | 授课内容 | |
大数据平台的发展历程
|
数据到大数据发展历程 集中式数据系统到大数据平台 阿里大数据平台的发展历程 | |
大数据平台的基本原理
|
分布式系统基本原理
|
什么是分布式系统？ CAP定理
|
分布式大数据基本构成
|
计算系统 文件存储系统 结构化存储引擎 有向无环图系统 上层查询引擎
| |
适用场景
|
离线计算平台及业务 实时计算平台及业务
| |
大数据平台的架构类型
|
开源的架构及组成
|
1． Hadoop分布式文件系统HDFS，Hadoop Distributed File System组件及原理 (1) Namenode主结点Master结点 (2) Datanode从结点Slave结点 2． Hadoop分布式调度系统Yarn，Yet Another Resource Negotiator (1) Resource Manager 主结点Master结点 (2) Node Manager 从结点Slave结点 (3) Application Master 应用可扩展主结点 3． 计算引擎 (1) MapReduce (2) Hive (3) Spark (4) Flink 4． 调度引擎 (1) AirFlow (2) Oozie
|
商业公司的架构及组成，以阿里飞天为例
|
飞天分布式文件系统盘古
|
1． 分布式文件系统Pangu Master主结点 2． 分布式文件系统从结点Chunk Server Slave从结点
|
飞天分布式计算平台伏羲
|
1． 伏羲Master 2． 伏羲Slave
| |
基于飞天的生态系统
|
天网、在云端、数据地图等
| |
地理信息应用举例
|
华为应用案例
|
华为地理信息云举例
|
Oracle应用案例
|
Spatial、云端战略等
| |
高德应用举例
|
数据结构、架构、离线应用、在线应用
| |
饿了么应用举例
|
数据结构、架构、离线应用、在线应用
| |
淘宝应用举例
|
数据结构、架构、离线应用、在线应用 | |
John Yang
百林哲咨询（北京）有限公司专家团队成员
John Yang
百林哲咨询（北京）有限公司专家团队成员
John Yang
百林哲咨询（北京）有限公司专家团队成员
John Yang
百林哲咨询（北京）有限公司专家团队成员
John Yang
百林哲咨询（北京）有限公司专家团队成员
John Yang
百林哲咨询（北京）有限公司专家团队成员
John Yang
百林哲咨询（北京）有限公司专家团队成员
京ICP备2022035414号-1
