用于机器学习模型的评测方法、装置及计算机存储介质制造方法及图纸

本公开提供了用于机器学习模型的评测方法、装置及计算机存储介质，该方法包括获取待评测的模型的模型信息和第一数据，第一数据被用于对待评测的模型进行测试，模型信息包括待评测的模型的属性信息；根据模型信息，对待评测的模型进行部署；使用第一数据，对待评测的模型进行测试，获得测试结果；确定待评测的模型的类别；根据类别，确定与类别对应的评测方式；采用所确定的评测方式，对测试结果进行评测，得到评测结果。该方法提供了针对待评测的模型的评测流程，从而使得针对模型的评测可以自动化进行，降低人力成本并能够提高效率。降低人力成本并能够提高效率。降低人力成本并能够提高效率。

【技术实现步骤摘要】
用于机器学习模型的评测方法、装置及计算机存储介质


[0001]本公开涉及数据采集领域，尤其涉及一种用于机器学习模型的评测方法、装置及计算机存储介质。

技术介绍

[0002]人工智能(Artificial Intelligence，AI)是当今的热门研究方向。从人工智能出现至20世纪80年代，大多数的AI系统都是人工编程实现的，其通常使用声明性的、功能性的或其他高级语言，这也构成了大多数知识表示的基础。目前的主要AI领域包括问题解决、机器学习、自然语言、语音识别、视觉和机器人等。随着技术的进步，人们研究了很多机器学习方法，包括神经网络、生物学、进化技术和数学建模等。
[0003]每个机器学习模型，通常需要经历建立、训练、测试以及实际应用等过程。在机器学习模型完成训练及测试之后，需要对此时的机器学习模型进行评估/评测，以确定机器学习模型是否可以实际的应用或者是否违反某些规则。这是因此在针对一些需要利用机器学习来模拟人类的场景中，经过训练及测试的机器学习模型虽然符合参数指标的要求，仍存在类人性差的可能，因此机器学习模型进行评估/评测是必要的。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于机器学习模型的评测方法，包括：获取待评测的模型的模型信息和第一数据，所述第一数据被用于对所述待评测的模型进行测试，所述模型信息包括所述待评测的模型的属性信息；根据所述模型信息，对所述待评测的模型进行部署；使用所述第一数据，对所述待评测的模型进行测试，获得测试结果；确定所述待评测的模型的类别；根据所述类别，确定与所述类别对应的评测方式；采用所确定的评测方式，对所述测试结果进行评测，得到评测结果。2.根据权利要求1所述的评测方法，其中，获取所述第一数据，包括：接收所述第一数据；或者，从预先存储的数据中选择所述第一数据。3.根据权利要求1所述的评测方法，其中，所述确定所述待评测的模型的类别，包括：根据所述模型信息，确定所述待评测的模型的类别；或者，根据所述测试结果的数据类型和所述第一数据的数据类型，确定所述待评测的模型的类别；其中，所述待评测的模型的类别包括语音类别和对话类别。4.根据权利要求3所述的评测方法，其中，所述根据所述类别，确定与所述类别对应的评测方式，包括：在所述待评测的模型的类别为语音类别时，确定对应的评测方式为打分评测；在所述待评测的模型的类别为对话类别时，确定对应的评测方式为问卷评测。5.根据权利要求4所述的评测方法，其中，所述采用所确定的评测方式，对所述测试结果进行评测，得到评测结果，包括：在所确定的评测方式为问卷评测时，根据预设的评测标准和所述模型信息，生成针对所述待评测的模型的问卷，其中不同的所述待评测的模型对应不同的问卷；显示所述问卷，以供至少一个用户填写所述问卷；获取所述至少一个用户填写的问卷信息，并根据所述至少一个用户填...

【专利技术属性】
技术研发人员：陶铭亮，
申请(专利权)人：名日之梦北京科技有限公司，
类型：发明
国别省市：