课程简介

随着人工智能和机器学习模型的规模不断扩大以及复杂性的提升，在云原生环境中高效地部署、管理和调用模型成为一个关键挑战。企业和研究机构正在部署和管理数量越来越多的AI模型。这些模型通常需要大量的资源，并且需要在不同的环境中进行维护，从开发到生产。

结合Kubernetes和专门针对模型服务设计的服务网格框架，以实现模型版本控制、灰度发布、负载均衡、故障恢复等功能，从而构建高度可扩展且可靠的模型交付系统。这一新兴架构模式利用现有的服务网格技术，可推动AI应用的生产化落地。

本次分享将模型服务网格（Model Service Mesh）的概念与趋势，贯穿新兴的架构范式，为大规模AI模型的部署和管理而设计。与企业一起探讨利用服务网格原理来优化AI模型的生命周期管理、提高资源利用率、加强安全性，并保证模型服务的可观察性和弹性。

课程收益

1、帮助学员了解模型服务网格的概念与趋势

2、帮助学员了解企业模型服务网格应用场景

3、为企业大规模AI模型的部署和管理提供借鉴

受众人群

企业管理者，IT行业从业者及其他对模型服务网格感兴趣的人员

课程周期

3H

课程大纲

1、当前模型服务的状况

1）AI/ML模型在生产环境中的挑战与需求

2）现有服务网格技术及其在微服务领域的成功实践

2、模型服务网格原理

3、企业模型服务网格应用场景

1）大规模模型的分布式部署与协调

2）模型版本管理与灰度发布策略

3）高效缓存策略与按需加载机制

4、模型服务网格实践

5、QA