课程简介

随着企业的业务规模扩大，数据量级增加，数据引擎的部署规模也随之增长。在adhoc数据查询业务场景中，业务压力有着明确的时间周期特征，查询对计算资源的需求量会随着业务压力变化而波动。在传统的物理机部署模式下，集群运维成本高，难以灵活的动态伸缩，引擎规模的灵活扩缩容和资源节约利用之间产生矛盾。此外随着引擎部署规模增加，传统的物理机部署模式下，日常运维成本也会随之上升。

数据引擎的云原生化是当下业界普遍采用的新的大数据引擎部署模式。借助云平台弹性资源和容器化部署能力，引擎在低峰期可以通过缩容来实现节能，在高峰期快速扩容以满足吞吐能力要求，实现资源节约和引擎灵活性兼得。而且从运维角度看，引擎容器化也能带来更加高效便捷的运维体验。

本次分享企业Presto云原生化项目的一些实践和思考，内容包括引擎动态扩缩容、临时弹性资源上的部署方案以及 Presto 引擎在云上的一些部署构架的思考，希望为与会者提供一些借鉴和参考。

课程收益

1.目标：

（1）Presto on k8s 部署和动态扩缩容设计实现

（2）Presto 引擎容错能力设计与临时弹性资源部署

2.成功要点：

（1）Presto k8s operator,封装复杂性，带来灵活性

（2）查询路由与引擎动态扩缩容，节约资源的同时轻松应对突发业务高峰

（3）Presto 查询容错能力，利用临时弹性资源提升引擎吞吐能力

3.启示：

相较于传统的物理机部署方案，云原生化的大数据引擎部署可以兼顾资源利用效率与业务灵活性，同时带来更加高效便捷的部署运维体验。

受众人群

架构师、大数据工程师、技术经理、工程师，对大数据供应链有兴趣的人群。

课程周期

0.5天/3小时

课程大纲

1. Presto部署演变: 从yarn到物理机再到 k8s

2. Presto on k8s operator

3. Presto 集群动态扩缩容

4. 多集群下的查询路由策略

5. 弹性资源上的引擎稳定性

6. Presto Worker Group & stage粒度的路由策略

QA