抽样方法、装置、电子设备和存储介质制造方法及图纸

本发明专利技术提供一种抽样方法、装置、电子设备和存储介质。其中方法包括：获取目标模型识别错误的多个测试样本；基于目标模型关于多个测试样本的识别结果，以及多个测试样本对应的样本标注结果，确定多个测试样本的样本错误特征，样本错误特征用于表征识别错误原因；基于样本错误特征对多个测试样本进行聚类处理，获得多个类别的测试样本集；分别对各测试样本集进行样本抽取。本发明专利技术将识别错误原因相似的测试样本组合成一个测试样本集，从而抽取得到涵盖各种识别错误原因的样本，即抽取得到涵盖各种错误场景的样本，从而无需抽取大量的样本，即可实现对错误场景较高的覆盖率，提高样本抽取的错误场景覆盖率和科学性，进而提高样本抽取的准确性。取的准确性。取的准确性。

【技术实现步骤摘要】
抽样方法、装置、电子设备和存储介质


[0001]本专利技术涉及人工智能
，尤其涉及一种抽样方法、装置、电子设备和存储介质。

技术介绍

[0002]随着人工智能的快速发展，通过预训练模型进行识别或检测的应用场景越来越多。而为了提高预训练模型的识别效果或检测效果，需要对预训练模型进行效果分析。而为了提高效果分析的错误场景覆盖率，需要对众多的测试样本进行效果分析，然而对过多的测试样本进行效果分析，十分费时费力，因此，需要对众多的测试样本进行样本抽取，以基于部分样本进行效果分析。
[0003]目前，通过随机抽取的方法，对众多的测试样本进行样本抽取，然而，随机抽取的测试样本代表性不强，对错误场景的覆盖率不高，若为了提高错误场景的覆盖率，仍需要抽取大量的样本。

技术实现思路

[0004]本专利技术提供一种抽样方法、装置、电子设备和存储介质，用以解决现有技术中抽取的测试样本对错误场景的覆盖率不高的缺陷，实现高覆盖率的样本抽样。
[0005]本专利技术提供一种抽样方法，包括：
[0006]获取目标模型识别错误的多个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种抽样方法，其特征在于，包括：获取目标模型识别错误的多个测试样本；基于所述目标模型关于所述多个测试样本的识别结果，以及所述多个测试样本对应的样本标注结果，确定所述多个测试样本的样本错误特征，所述样本错误特征用于表征识别错误原因；基于所述样本错误特征对所述多个测试样本进行聚类处理，获得多个类别的测试样本集；分别对各所述测试样本集进行样本抽取。2.根据权利要求1所述的抽样方法，其特征在于，所述基于所述目标模型关于所述多个测试样本的识别结果，以及所述多个测试样本对应的样本标注结果，确定所述多个测试样本的样本错误特征，包括：基于所述目标模型关于所述多个测试样本的识别结果，以及所述多个测试样本对应的样本标注结果，确定所述多个测试样本的识别错误特征；基于所述多个测试样本的质量检测结果，确定所述多个测试样本的样本质量特征；基于所述识别错误特征和所述样本质量特征，确定所述多个测试样本的样本错误特征。3.根据权利要求2所述的抽样方法，其特征在于，所述基于所述目标模型关于所述多个测试样本的识别结果，以及所述多个测试样本对应的样本标注结果，确定所述多个测试样本的识别错误特征，包括：在所述目标模型用于文本识别的情况下，基于所述目标模型关于所述多个测试样本的文本识别结果，以及所述多个测试样本对应的样本文本识别结果，确定所述多个测试样本的识别错误场景，并基于所述识别错误场景，确定所述多个测试样本的识别错误特征；在所述目标模型用于目标检测的情况下，基于所述目标模型关于所述多个测试样本的目标检测结果，以及所述多个测试样本对应的样本目标检测结果，确定所述多个测试样本的检测错误场景，并基于所述检测错误场景，确定所述多个测试样本的识别错误特征。4.根据权利要求2所述的抽样方法，其特征在于，在所述多个测试样本为样本图像的情况下，所述基于所述多个测试样本的质量检测结果，确定所述多个测试样本的样本质量特征，包括：基于所述多个测试样本的图像质量检测结果，确定所述多个测试样本的样本质量特征；其中，所述图像质量检测结果包括图像模糊检测结果、图像遮挡检测结果、图像光线异常检测结果中的至少一种。5.根据权利要求1所述的抽样方法，其特征在于，任一测试样本集的样本抽取方法包括：对所述任一测试样本集进行样本采样，获得当前采样轮次的待抽取样本；基于所述待抽取样本与上一抽样轮次的抽取样本的相似度，确定所述待抽取样本的抽取概率，所述抽取概率用于确定所述待抽取样本是否被抽取；确定所述待抽取样本被抽取，将所述上一抽样轮...

【专利技术属性】
技术研发人员：宋明，邢航，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：