简介
现在最多使用的流计算框架还是Storm,但是核心应用已经在逐步迁移到Flink上,实时/流计算在互联网公司的业务应用中越来越占用重要的地位,技术发展也在快速迭代,计算框架层出不穷。本次分享将展示唯品会在实时计算方向上的历程、心得和实时计算中遇到的各种挑战。在大规模使用Flink做计算引擎和使用Kubernates管理计算节点的探索经验。
目标
了解实时计算的技术发展趋势和历程、以及唯品会在实时计算平台过程中积累的宝贵经验;
通过Storm迁移Flink节约1/3计算资源,提升稳定性;
使用Kubernates来管理容器化的实时计算平台的最新进展。
受众人群
大数据分析师、开发工程师、软件设计师
系统架构师、系统分析师、高级程序员、资深开发人员
课程时长
1天(6H)
分享提纲
第一部分 | 实时计算平台现状:1700台物理机,700+应用;99.99%可用性 |
第二部分 | 实时平台的发展历程:早期开发SQL失败;现在平台管理、底层计算框架和开发运维统一 |
第三部分 | 实时计算的难点与挑战:时序、TPS和延迟如何抉择 |
第四部分 | 实时平台的发展方向:使用从Storm迁移到Flink的计算公司 |
第五部分 | 实时业务指标的经验;以及使用Kubernates建设实时平台的历程和架构模式 |