字节跳动云原生大数据集群实践
Caden Zhang 查看讲师
百林哲咨询(北京)有限公司专家团队成员
​某大型企业云原生计算研发工程师,九年后端研发经验
浏览:386次
详情 DETAILS

课程简介

随着云原生技术和云需求不断成熟,多云多集群部署已经成为常态和趋势。复杂的业务依赖关系会产生大量的跨云和跨机房数据依赖,而跨云和跨机房网络通常成本高、延迟高、稳定性差,不仅影响业务的稳定性,还推高了企业成本。究其原因在于缺乏计算、存储和网络的统一视角,计算和存储资源分布不合理。

维护数百万核的云原生大数据集群有着很大的挑战和难度,因此,迫切需要对基础架构进行升级。经过计算、存储和网络一体化架构设计,字节实现平均作业完成时间缩短 50%+,跨机房流量减少 50%+ 的效果。

本次分享将对多机房统一调度关键技术在字节跳动云原生大数据场景的落地和收益进行深度解析。

课程收益

目标:

云原生大数据集群统一调度的架构设计和挑战,以及落地收益,对于大规模跨数据中心集群的管理具备借鉴意义。

成功要点:

1计算 + 存储 + 网络一体化细粒度资源管控;

2 基于虚拟队列的动态调度技术;

3 在线调度 && 离线访问特征分析相结合的作业加速技术;

启示

大规模云原生大数据集群管理的难点和经验,为与会者提供跨集群架构设计的思路和优化方案

受众人群

大数据架构师、大数据工程师、研发人员、云原生相关从业者,以及对云原生大数据性能感兴趣的人员。

课程周期

0.53H) 

课程大纲

分享内容

1. 字节跳动大数据场景计算、存储的分布特征

2. 字节跳动多机房统一调度实践

a.架构设计

b.实践过程和落地收益

3. 多机房统一调度在字节跳动落地过程的核心问题和思考

4. 未来规划

 


预约内训 APPLY
前往提交您的需求,我们会及时与您联系
课程推荐 COURSE

企业服务热线:400-106-2080
电话:18519192882
投诉建议邮箱:venus@bailinzhe.com
合作邮箱:service@bailinzhe.com
总部地址:
北京市-丰台区-汽车博物馆东路6号3号楼1单元902-B73(园区)
全国客户服务中心:
天津市-南开区-桂苑路15号鑫茂集团鑫茂军民园1号楼A座802-803
公众号
百林哲咨询(北京)有限公司 京ICP备2022035414号-1