课程简介

随着人工智能技术的普及，越来越多基于AI能力的产品、服务被推出市场，形成横向以场景驱动、纵向以AI原子能力驱动的综合布局。然而，与AI市场快速爆发的猛烈态势形成对比的是对于AI系统质量的保障手段及方法论依然处于边探索边前进的状态。本次分享聚焦于AI语音系统的质量保证体系方法论，从大规模数据采样、构造到智能体实现运用等视角切入，为基于AI语音能力的相关质量保障工作提供思路，分享可运用于工程实践的相关方法&手段。 

课程收益

1、目标

现有人工智能能力（例如：OCR、目标识别、语音识别、机器识图等），基本遵从数据-模型-生产部署的研发流程，形成AI原子能力。产研全流程的关键要素被业界总结为AI三要素：数据、算力、算法。从质量工程视角而言，AI工程与传统软件系统的工程质量保障工作，在产研要素上天然存在着巨大不同（传统MVP vs AI三要素），由此衍生出的质量保障方法体系也存在着完全不同的底层逻辑。本次分享，将围绕AI工程关键要素进行展开，从产研角度，以大规模测试评价数据生成、AI测试模型及维度构造、AI智能体构造等方法及实践案例，为AI语音系统质量保障工作提供思路及系统化解决方案，以期推动AI语音质量体系建设发展。

2、成功要点

2.1测试数据构建：通过大规模评测数据构造手段，解决AI被测对象的黑盒属性，为覆盖Corner Case提供基础保障，分析&发掘出被测AI系统的Bias偏见性、Robust鲁棒性问题。

2.2 测试维度构造：通过被测AI系统的服务对象、服务场景，构造具有可分层、可实践、可复现的测试维度空间，从可观测空间对被测对象的分层属性进行量化定义，形成对AI质量保障体系的评估。

2.3 测试智能体的构建：通过智能体的训练，对专家系统、经验总结、长距离逻辑关系等进行AI智能化，让AI测试体系的相关能力形成AI能力，使之随着人工测试工作的推进，不断迭代，形成测试智能体，逐步释放或辅助人工测试工作，形成人机交替辅助的智能测试体系。

3、启示

3.1针对AI模型黑盒性的解决方法；

3.2针对AI测试数据构造成本巨大的高效降本思路&方法；

3.3针对AI测试体系无法有效评价问题的思路；

3.4面向未来的人机交互的测试体系的探讨。 

受众人群

AI智能语音测试技术开发者、测试工程师、测试数据/维度/智能体构建相关技术人员以及其他对智能测试感兴趣的人员。

课程周期

0.5天（3H） 

课程大纲