本公开提供了用于机器学习模型的评测方法、装置及计算机存储介质，该方法包括获取待评测的模型的模型信息和第一数据，第一数据被用于对待评测的模型进行测试，模型信息包括待评测的模型的属性信息；根据模型信息，对待评测的模型进行部署；使用第一数据，对待评测的模型进行测试，获得测试结果；确定待评测的模型的类别；根据类别，确定与类别对应的评测方式；采用所确定的评测方式，对测试结果进行评测，得到评测结果。该方法提供了针对待评测的模型的评测流程，从而使得针对模型的评测可以自动化进行，降低人力成本并能够提高效率。降低人力成本并能够提高效率。降低人力成本并能够提高效率。
【技术实现步骤摘要】
用于机器学习模型的评测方法、装置及计算机存储介质
[0001]本公开涉及数据采集领域，尤其涉及一种用于机器学习模型的评测方法、装置及计算机存储介质。
技术介绍
[0002]人工智能(Artificial Intelligence，AI)是当今的热门研究方向。从人工智能出现至20世纪80年代，大多数的AI系统都是人工编程实现的，其通常使用声明性的、功能性的或其他高级语言，这也构成了大多数知识表示的基础。目前的主要AI领域包括问题解决、机器学习、自然语言、语音识别、视觉和机器人等。随着技术的进步，人们研究了很多机器学习方法，包括神经网络、生物学、进化技术和数学建模等。
[0003]每个机器学习模型，通常需要经历建立、训练、测试以及实际应用等过程。在机器学习模型完成训练及测试之后，需要对此时的机器学习模型进行评估/评测，以确定机器学习模型是否可以实际的应用或者是否违反某些规则。这是因此在针对一些需要利用机器学习来模拟人类的场景中，经过训练及测试的机器学习模型虽然符合参数指标的要求，仍存在类人性差的可能，因此机器学习模型进行评估/评测是必要的。目前的方式是采用大量人工来逐一地进行评估/评测，不仅成本高而且效率低。
技术实现思路
[0004]为了解决现有技术中的机器学习模型的评测的成本高且效率低的技术问题，本公开提供了用于机器学习模型的评测方法、装置及计算机存储介质。
[0005]第一方面，本公开提供了一种用于机器学习模型的评测方法，包括：获取待评测的模型的模型信息和第一数据，第一数据被用于对待评测的模型进行测试，模型信息包括待评测的模型的属性信息；根据模型信息，对待评测的模型进行部署；使用第一数据，对待评测的模型进行测试，获得测试结果；确定待评测的模型的类别；根据类别，确定与类别对应的评测方式；采用所确定的评测方式，对测试结果进行评测，得到评测结果。
[0006]在一种可选的实施方式中，获取第一数据，包括：接收第一数据；或者，从预先存储的数据中选择第一数据。
[0007]在一种可选的实施方式中，确定待评测的模型的类别，包括：根据模型信息，确定待评测的模型的类别；或者，根据测试结果的数据类型和第一数据的数据类型，确定待评测的模型的类别；其中，待评测的模型的类别包括语音类别和对话类别。
[0008]在一种可选的实施方式中，根据类别，确定与类别对应的评测方式，包括：在待评测的模型的类别为语音类别时，确定对应的评测方式为打分评测；在待评测的模型的类别为对话类别时，确定对应的评测方式为问卷评测。
[0009]在一种可选的实施方式中，采用所确定的评测方式，对测试结果进行评测，得到评测结果，包括：在所确定的评测方式为问卷评测时，根据预设的评测标准和模型信息，生成针对待评测的模型的问卷，其中不同的待评测的模型对应不同的问卷；显示问卷，以供至少
一个用户填写问卷；获取至少一个用户填写的问卷信息，并根据至少一个用户填写的问卷信息，获取评测结果。
[0010]在一种可选的实施方式中，采用所确定的评测方式，对测试结果进行评测，得到评测结果，包括：在所确定的评测方式为打分评测时，采用平均意见得分MOS评测或比较平均意见得分CMOS对测试结果进行打分，得到评测结果。
[0011]在一种可选的实施方式中，在获取待评测的模型的模型信息和第一数据之前，若待评测的模型为未训练的模型，方法还包括：利用预先获得的数据集，对待评测的模型进行训练。
[0012]在一种可选的实施方式中，方法还包括：根据评测结果，对待评测的模型进行调整；或者，向外部设备输出评测结果，以供外部设备对待评测的模型进行调整。
[0013]第二方面，本公开提供了一种用于机器学习模型的评测装置，包括：获取模块，用于获取待评测的模型的模型信息和第一数据，第一数据被用于对待评测的模型进行测试，模型信息包括待评测的模型的属性信息；模型部署模块，用于根据模型信息，对待评测的模型进行部署；测试模块，用于使用第一数据，对待评测的模型进行测试，获得测试结果；第一确定模块，用于确定待评测的模型的类别；第二确定模块，用于根据类别，确定与类别对应的评测方式；评测模块，用于采用所确定的评测方式，对测试结果进行评测，得到评测结果。
[0014]在一种可选的实施方式中，该获取模块用于接收第一数据；或者，从预先存储的数据中选择第一数据。
[0015]在一种可选的实施方式中，该第一确定模块，用于根据模型信息，确定待评测的模型的类别；或者，第一确定模块，用于根据测试结果的数据类型和第一数据的数据类型，确定待评测的模型的类别；其中，待评测的模型的类别包括语音类别和对话类别。
[0016]在一种可选的实施方式中，该第二确定模块，用于在待评测的模型的类别为语音类别时，确定对应的评测方式为打分评测；以及在待评测的模型的类别为对话类别时，确定对应的评测方式为问卷评测。
[0017]在一种可选的实施方式中，评测模块包括：生成单元，用于在所确定的评测方式为问卷评测时，根据预设的评测标准和模型信息，生成针对待评测的模型的问卷，其中不同的待评测的模型对应不同的问卷；显示单元，用于显示问卷，以供至少一个用户填写问卷；获取单元，用于获取至少一个用户填写的问卷信息，并根据至少一个用户填写的问卷信息，获取评测结果。
[0018]在一种可选的实施方式中，该评测模块还包括打分单元，其用于在所确定的评测方式为打分评测时，采用平均意见得分MOS评测或比较平均意见得分CMOS对测试结果进行打分，得到评测结果。
[0019]在一种可选的实施方式中，在获取待评测的模型的模型信息和第一数据之前，若待评测的模型为未训练的模型，该装置还包括：模型训练模块，用于利用预先获得的数据集，对待评测的模型进行训练。
[0020]在一种可选的实施方式中，该装置还包括：模型调整模块，用于根据评测结果，对待评测的模型进行调整；或者，输出模块，用于向外部设备输出评测结果，以供外部设备对待评测的模型进行调整。
[0021]第三方面，本公开提供了一种用于机器学习模型的评测装置，包括处理器和存储
器，存储器用于存储程序指令，处理器用于调用程序指令以执行如上述第一方面中任一项的方法。
[0022]第四方面，本公开提供了一种计算机可读存储介质，其中，计算机可读存储介质存储用于由设备执行的程序代码，程序代码包括用于执行如上述第一方面中任一项的方法。
[0023]在本公开中，提供了用于机器学习模型的评测方法、装置及计算机存储介质，该方法包括获取待评测的模型的模型信息和第一数据，第一数据被用于对待评测的模型进行测试，模型信息包括待评测的模型的属性信息；根据模型信息，对待评测的模型进行部署；使用第一数据，对待评测的模型进行测试，获得测试结果；确定待评测的模型的类别；根据类别，确定与类别对应的评测方式；采用所确定的评测方式，对测试结果进行评测，得到评测结果。该方法提供了针对待评测的模型的评测流程，从而使得针对模型的评测可以自动化进行，降低人力成本并能够提本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种用于机器学习模型的评测方法，包括：获取待评测的模型的模型信息和第一数据，所述第一数据被用于对所述待评测的模型进行测试，所述模型信息包括所述待评测的模型的属性信息；根据所述模型信息，对所述待评测的模型进行部署；使用所述第一数据，对所述待评测的模型进行测试，获得测试结果；确定所述待评测的模型的类别；根据所述类别，确定与所述类别对应的评测方式；采用所确定的评测方式，对所述测试结果进行评测，得到评测结果。2.根据权利要求1所述的评测方法，其中，获取所述第一数据，包括：接收所述第一数据；或者，从预先存储的数据中选择所述第一数据。3.根据权利要求1所述的评测方法，其中，所述确定所述待评测的模型的类别，包括：根据所述模型信息，确定所述待评测的模型的类别；或者，根据所述测试结果的数据类型和所述第一数据的数据类型，确定所述待评测的模型的类别；其中，所述待评测的模型的类别包括语音类别和对话类别。4.根据权利要求3所述的评测方法，其中，所述根据所述类别，确定与所述类别对应的评测方式，包括：在所述待评测的模型的类别为语音类别时，确定对应的评测方式为打分评测；在所述待评测的模型的类别为对话类别时，确定对应的评测方式为问卷评测。5.根据权利要求4所述的评测方法，其中，所述采用所确定的评测方式，对所述测试结果进行评测，得到评测结果，包括：在所确定的评测方式为问卷评测时，根据预设的评测标准和所述模型信息，生成针对所述待评测的模型的问卷，其中不同的所述待评测的模型对应不同的问卷；显示所述问卷，以供至少一个用户填写所述问卷；获取所述至少一个用户填写的问卷信息，并根据所述至少一个用户填...
【专利技术属性】
技术研发人员：陶铭亮，
申请(专利权)人：名日之梦北京科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。