分类器的性能评估方法、装置和计算机可读存储介质制造方法及图纸

本公开涉及一种分类器的性能评估方法、装置和计算机可读存储介质，涉及人工智能技术领域。该方法包括：根据训练数据集中各数据类别包含数据的数量，确定各数据类别的权重，数据类别包含数据的数量越大相应的权重越大；利用训练数据集对分类器进行训练；通过测试数据集对训练后的分类器进行测试，以获取分类器对于各数据类别的分类准确率；利用各数据类别的权重对各数据类别的分类准确率进行加权求和，以确定分类器的分类性能。本公开的技术方案能够提高对分类器进行性能评估的准确性。

【技术实现步骤摘要】
分类器的性能评估方法、装置和计算机可读存储介质
本公开涉及人工智能
，特别涉及一种分类器的性能评估方法、分类器的性能评估装置和计算机可读存储介质。
技术介绍
人工智能技术被广泛应用于各个领域，例如，基于自然语言处理的自动人工智能应答系统。人工智能应答系统的效果很大程度上依赖于其采用的分类器的分类性能。因此，准确地评估分类器的分类性能就显得尤为重要了。相关技术主要有：将数据集随机划分为训练数据集和测试数据集的holdout评估方法；将数据集划分为多个子集进行多次训练和测试的K-交叉验证评估方法等。
技术实现思路
本公开的专利技术人发现上述相关技术中存在如下问题：只适合于大训练集的性能评估，在训练集较小的情况下，性能评估的准确性差。鉴于此，本公开提出了一种分类器的性能评估方法技术方案，能够提高对分类器进行性能评估的准确性。根据本公开的一些实施例，提供了一种分类器的性能评估方法，包括：根据训练数据集中各数据类别包含数据的数量，确定所述各数据类别的权重，数据类别包含数据的数量越大，该数据类别的所述权重越大；利用所述训练数据集对分类器进行训练；通过测试数据集对训练后的所述分类器进行测试，以获本文档来自技高网...

【技术保护点】
1.一种分类器的性能评估方法，包括：根据训练数据集中各数据类别包含数据的数量，确定所述各数据类别的权重，数据类别包含数据的数量越大，该数据类别的所述权重越大；利用所述训练数据集对分类器进行训练；通过测试数据集对训练后的所述分类器进行测试，以获取所述分类器对于所述各数据类别的分类准确率；利用所述各数据类别的权重对所述各数据类别的分类准确率进行加权求和，以评估所述分类器的分类性能。

【技术特征摘要】
1.一种分类器的性能评估方法，包括：根据训练数据集中各数据类别包含数据的数量，确定所述各数据类别的权重，数据类别包含数据的数量越大，该数据类别的所述权重越大；利用所述训练数据集对分类器进行训练；通过测试数据集对训练后的所述分类器进行测试，以获取所述分类器对于所述各数据类别的分类准确率；利用所述各数据类别的权重对所述各数据类别的分类准确率进行加权求和，以评估所述分类器的分类性能。2.根据权利要求1所述的性能评估方法，其中：所述测试数据集中数据类别的数量与所述训练数据集中数据类别的数量相同；所述测试数据集中各数据类别包含数据的数量相同。3.根据权利要求1或2所述的性能评估方法，其中，所述确定所述各数据类别的权重包括：根据所述训练数据集中所述各数据类别包含数据的数量，与所述训练数据集包含数据的数量之间的差距，确定所述各数据类别的权重。4.根据权利要求3所述的性能评估方法，其中，所述确定所述各数据类别的权重包括：数据类别i的权重wi＝Ni/N，i为正整数，Ni为数据类别i包含数据的数量，N为所述训练数据集包含数据的数量。5.根据权利要求1或2所述的性能评估方法，其中，所述获取所述分类器对于所述各数据类别的分类准确率包括：所述分类器对于数据类别i的分类准确率Ri＝mi/Mi，i为正整数，mi为测试中所述分类器对数据类别i实现正确分类的数据的数量，Mi为所述测试数据集中数据类别i包含数据的数量。6.一种分类器的性能评估装置，包括：权重确定单元，用于根据训练数据集中各数据类别包含数据的数量，确定所述各数据类别的权重，数据类别包含数据的数量越大，...

【专利技术属性】
技术研发人员：孙胜方，刘丹，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京,11