【技术实现步骤摘要】
人工智能系统的测试方法、装置、电子设备及介质
[0001]本申请涉及模型测试的
，具体而言，涉及一种人工智能系统的测试方法、装置、电子设备及介质。
技术介绍
[0002]随着科学技术的发展，人工智能(Artificial Intelligence，AI)已经应用到社会的各个领域，如智慧城市、智慧金融、智能家居等。深度学习是人工智能领域重要的方向之一。随着基于深度学习模型应用程序的日益普及和它本身技术的复杂性，深度学习应用程序的质量问题越来越突出。这主要体现在数据质量、特征工程、模型效果、产品功能等方面。据IBM在2016年对数据成本的研究估算，由于数据质量差，每年的经济成本就约为3.1万亿美元。由此可见，做好深度学习应用程序的质量保障是其在业务落地应用的重要一环。对于传统软件、互联网产品的测试，其测试方法以及质量保障体系相对成熟。而对于人工智能系统的测试是一个不同的、较新的方向。
[0003]AI系统的测试就是在已预知的条件下构造一批已训练过的数据集和没有经过数据训练的数据集，经过数据模型计算，得出落入的样本数...
【技术保护点】
【技术特征摘要】
1.一种人工智能系统的测试方法，其特征在于，所述方法包括：对待测的人工智能系统中的至少两个深度学习模型进行代码插桩，得到所述至少两个深度学习模型的模型决策因素；所述模型决策因素包括执行条件、输入数据形式和预期决策信息；获取所述至少两个深度学习模型的模型决策因素对应的测试数据和相应的真实输出结果；针对每个深度学习模型，基于所述深度学习模型对应的测试数据，对所述深度学习模型进行测试，获取所述深度学习模型输出的测试结果和当前模型指标；所述测试结果包括与所述深度学习模型的预期决策信息相同的输出结果和与所述预期决策信息不同的输出结果；基于所述当前模型指标和所述深度学习模型的历史模型指标，确定所述深度学习模型的测试状态信息；所述历史模型指标为所述深度学习模型所处当前版本的前一版本针对相同测试数据对应的模型指标；根据所述深度学习模型输入的测试数据和输出的测试结果生成的测试热力图和所述测试数据对应的真实输出结果，确定所述深度学习模型的预测行为；生成测试报告，所述测试报告包括所述至少两个深度学习模型的测试状态信息、测试结果和相应的预测行为。2.如权利要求1所述的方法，其特征在于，生成测试报告之后，所述方法还包括：向优化终端发送测试报告，以使所述优化终端根据优化人员的优化指令对相应深度学习模型进行优化。3.如权利要求1所述的方法，其特征在于，对待测的人工智能系统中的至少两个深度学习模型进行代码插桩，得到所述至少两个深度学习模型的模型决策因素，包括：对待测的人工智能系统进行模型调度分析，得到所述待测的人工智能系统中各深度学习模型的调度路径；按照所述调度路径，在所述各深度学习模型中输入层前和输出层后添加探针信息，得到所述至少两个深度学习模型的模型决策因素。4.如权利要求1或3所述的方法，其特征在于，获取所述至少两个深度学习模型的模型决策因素对应的测试数据之后，所述方法还包括：基于所述至少两个深度学习模型的决策因素，确定所述至少两个深度学习模型对应的模型执行顺序；针对每个深度学习模型，基于所述深度学习模型对应的测试数据，对所述深度学习模型进行测试，获取所述深度学习模型输出的测试结果和当前模型指标，包括：按照所述模型执行顺序，基于当前深度学习模型对应的测试数据，对所述当前深度学习模型进行测试，获取所述当前深度学习模型输出的测试结果和当前模型指标；所述当前深度学习模型为所述至少两个深度学习模型中按照所述模型执行顺序第一个未测试的深度学习模型。5.如权利要求1所述的方法，其特征在于，所述测试状态信息包括测试状态；基于所述当前模型指标和所述深度学习模型的历史模型指标，确定所述深度学习模型的测试状态信息，包括：
针对任一指标类型，将所述当前模型指标和所述历史模型指标进行比较；...
【专利技术属性】
技术研发人员：孙帅，李凡平，石柱国，
申请(专利权)人：以萨技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。