课程简介
随着云原生技术和云需求不断成熟,多云多集群部署已经成为常态和趋势。复杂的业务依赖关系会产生大量的跨云和跨机房数据依赖,而跨云和跨机房网络通常成本高、延迟高、稳定性差,不仅影响业务的稳定性,还推高了企业成本。究其原因在于缺乏计算、存储和网络的统一视角,计算和存储资源分布不合理。
维护数百万核的云原生大数据集群有着很大的挑战和难度,因此,迫切需要对基础架构进行升级。经过计算、存储和网络一体化架构设计,字节实现平均作业完成时间缩短 50%+,跨机房流量减少 50%+ 的效果。
本次分享将对多机房统一调度关键技术在字节跳动云原生大数据场景的落地和收益进行深度解析。
课程收益
目标:
云原生大数据集群统一调度的架构设计和挑战,以及落地收益,对于大规模跨数据中心集群的管理具备借鉴意义。
成功要点:
1计算 + 存储 + 网络一体化细粒度资源管控;
2 基于虚拟队列的动态调度技术;
3 在线调度 && 离线访问特征分析相结合的作业加速技术;
启示
大规模云原生大数据集群管理的难点和经验,为与会者提供跨集群架构设计的思路和优化方案
受众人群
大数据架构师、大数据工程师、研发人员、云原生相关从业者,以及对云原生大数据性能感兴趣的人员。
课程周期
0.5天(3H)
课程大纲
分享内容 |
1. 字节跳动大数据场景计算、存储的分布特征 2. 字节跳动多机房统一调度实践 a.架构设计 b.实践过程和落地收益 3. 多机房统一调度在字节跳动落地过程的核心问题和思考 4. 未来规划 |