本发明专利技术提供一种针对智能感知系统的测试方法、系统、电子设备，所述智能感知系统能够基于输入的待识别数据，所述待识别数据包括场景和包含于所述场景内的目标，输出关于所述目标的识别结果，所述方法包括：获取多个测试用样本，其中，每个所述样本包括所述样本的分值、标签和第一数据；针对每个所述样本，判断所述识别结果是否正确，获取第一得分；将所有所述样本的第一得分相加求和，再除以所有所述样本的分值之和，得到第二得分，用来评估所述智能感知系统的感知能力。本发明专利技术能够对智能感知系统的识别能力给出客观的量化的得分，能够从各个场景类型层次、全面性考察智能感知系统的识别能力。能力。能力。
【技术实现步骤摘要】
针对智能感知系统的测试方法、系统、电子设备
[0001]本专利技术涉及测试
，尤其涉及一种针对智能感知系统的测试方法、系统、电子设备。
技术介绍
[0002]智能感知系统能够识别特定目标，这在很多领域存在广泛应用，比如，在监控领域，通过摄像头获取的视频，智能感知系统能快速获取特定的目标人物。随着神经网络和计算机硬件的发展，智能感知系统的能力迅速提高，应用范围扩大至各行各业，然而在每个特定的需求场景，难以知晓智能感知系统的识别能力是否能够满足所需，因此，需要对智能感知系统的识别能力做出准确的评估。
[0003]公开于该
技术介绍
部分的信息仅仅旨在加深对本专利技术的总体
技术介绍
的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。
技术实现思路
[0004]针对现有技术存在的问题，本专利技术提供一种针对智能感知系统的测试方法、系统、电子设备。
[0005]本专利技术提供的一种针对智能感知系统的测试方法，所述智能感知系统能够基于输入的待识别数据，所述待识别数据包括场景和包含于所述场景内的目标，输出关于所述目标的识别结果，所述方法包括：
[0006]获取多个测试用样本，其中，每个所述样本包括所述样本的分值、标签和第一数据；
[0007]针对每个所述样本，执行如下的步骤：
[0008]a、基于所述第一数据，通过场景化呈现，形成待识别的第二数据；
[0009]b、将所述第二数据输入所述智能感知系统，获取所述智能感知系统输出的识别结果；
[0010]c、将所述识别结果和所述标签做比较，判断所述识别结果是否正确，如果判断识别正确，则将所述分值作为所述智能感知系统针对当前所述样本的第一得分，如果判断识别错误，则将零分作为所述智能感知系统针对当前所述样本的第一得分；
[0011]将所有所述样本的第一得分相加求和，再除以所有所述样本的分值之和，得到第二得分，用来评估所述智能感知系统的感知能力。
[0012]根据本专利技术提供的一种针对智能感知系统的测试方法，获取多个测试用样本，包括：
[0013]获取基础性第一数据，并且针对性设定基础性标签和基础性分值，形成基础性样本；
[0014]通过数据生成器，基于所述基础性第一数据的输入，生成扩容性第一数据，并且针对性设定扩容性标签和扩容性分值，形成扩容性样本。
[0015]根据本专利技术提供的一种针对智能感知系统的测试方法，所述扩容性分值的设定，包括：
[0016]获取所述数据生成器的有效性；
[0017]将所述有效性与所述基础性分值的乘积作为所述扩容性分值。
[0018]根据本专利技术提供的一种针对智能感知系统的测试方法，针对所述多个测试用样本，基于样本的类型差异，为所述样本设定不同的分值。
[0019]根据本专利技术提供的一种针对智能感知系统的测试方法，所述方法还包括：
[0020]按照样本的分值对所述样本进行分类；
[0021]针对不同类别的所述样本，按照分值从低到高，依次评估所述智能感知系统在针对不同类别样本时的感知能力。
[0022]根据本专利技术提供的一种针对智能感知系统的测试方法，所述方法还包括：
[0023]针对第一批次的测试用样本，获取第一批次对应的第二得分；
[0024]向所述第一批次的测试用样本中追加测试用样本，形成第二批次的测试用样本；
[0025]针对所述第二批次的测试用样本，获取第二批次对应的第二得分；
[0026]若所述二批次对应的第二得分等于所述第一批次对应的第二得分，则采用所述二批次对应的第二得分用来评估所述智能感知系统的感知能力；若所述二批次对应的第二得分不等于所述第一批次对应的第二得分，则认为对所述智能感知系统的感知能力评分还未稳定，继续追加测试用样本，重新评分。
[0027]根据本专利技术提供的一种针对智能感知系统的测试方法，所述第一数据包括场景化的真实图像；
[0028]对应的，通过场景化呈现，包括：
[0029]获取场景内所有实物，按照所述真实图像组合后，提供给所述智能感知系统以识别；
[0030]和/或，
[0031]将所述真实图像直接提供给所述智能感知系统以识别；
[0032]和/或，
[0033]获取场景内部分实物，通过虚拟现实技术补全缺失的部分实物，提供给所述智能感知系统以识别。
[0034]本专利技术还提供的一种针对智能感知系统的测试系统，所述智能感知系统能够基于输入的待识别数据，所述待识别数据包括场景和包含于所述场景内的目标，输出关于所述目标的识别结果，所述系统包括：
[0035]样本模块，用来获取多个测试用样本，其中，每个所述样本包括所述样本的分值、标签和第一数据；
[0036]循环模块，用来针对每个所述样本，执行如下的步骤：
[0037]a、基于所述第一数据，通过场景化呈现，形成待识别的第二数据；
[0038]b、将所述第二数据输入所述智能感知系统，获取所述智能感知系统输出的识别结果；
[0039]c、将所述识别结果和所述标签做比较，判断所述识别结果是否正确，如果判断识别正确，则将所述分值作为所述智能感知系统针对当前所述样本的第一得分，如果判断识
别错误，则将零分作为所述智能感知系统针对当前所述样本的第一得分；
[0040]评估模块，用来将所有所述样本的第一得分相加求和，再除以所有所述样本的分值之和，得到第二得分，用来评估所述智能感知系统的感知能力。
[0041]本专利技术还提供的一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一项所述针对智能感知系统的测试方法的步骤。
[0042]本专利技术还提供的一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述针对智能感知系统的测试方法的步骤。
[0043]本专利技术提供的针对智能感知系统的测试方法、系统、电子设备，能够对智能感知系统的识别能力给出客观的量化的得分，并且采用场景化的测试样本，使得测试样本易于扩容获取，能够从各个场景类型层次、全面性考察智能感知系统的识别能力。
附图说明
[0044]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0045]图1为本专利技术提供的一种针对智能感知系统的测试方法的流程示意图；
[0046]图2为本专利技术提供的一种测试智能感知系统的流程示意图；
[0047]图3为本专利技术提供的一种针对智能感知系统的测试系统的结构示意图；
[0048]图4为本专利技术提供的一种电子设备的实体结构示意图。
具体实施方式...
【技术保护点】
【技术特征摘要】
1.一种针对智能感知系统的测试方法，其特征在于，所述智能感知系统能够基于输入的待识别数据，所述待识别数据包括场景和包含于所述场景内的目标，输出关于所述目标的识别结果，所述方法包括：获取多个测试用样本，其中，每个所述样本包括所述样本的分值、标签和第一数据；针对每个所述样本，执行如下的步骤：a、基于所述第一数据，通过场景化呈现，形成待识别的第二数据；b、将所述第二数据输入所述智能感知系统，获取所述智能感知系统输出的识别结果；c、将所述识别结果和所述标签做比较，判断所述识别结果是否正确，如果判断识别正确，则将所述分值作为所述智能感知系统针对当前所述样本的第一得分，如果判断识别错误，则将零分作为所述智能感知系统针对当前所述样本的第一得分；将所有所述样本的第一得分相加求和，再除以所有所述样本的分值之和，得到第二得分，用来评估所述智能感知系统的感知能力。2.根据权利要求1所述的针对智能感知系统的测试方法，其特征在于，获取多个测试用样本，包括：获取基础性第一数据，并且针对性设定基础性标签和基础性分值，形成基础性样本；通过数据生成器，基于所述基础性第一数据的输入，生成扩容性第一数据，并且针对性设定扩容性标签和扩容性分值，形成扩容性样本。3.根据权利要求2所述的针对智能感知系统的测试方法，其特征在于，所述扩容性分值的设定，包括：获取所述数据生成器的有效性；将所述有效性与所述基础性分值的乘积作为所述扩容性分值。4.根据权利要求1所述的针对智能感知系统的测试方法，其特征在于，针对所述多个测试用样本，基于样本的类型差异，为所述样本设定不同的分值。5.根据权利要求1所述的针对智能感知系统的测试方法，其特征在于，所述方法还包括：按照样本的分值对所述样本进行分类；针对不同类别的所述样本，按照分值从低到高，依次评估所述智能感知系统在针对不同类别样本时的感知能力。6.根据权利要求1所述的针对智能感知系统的测试方法，其特征在于，所述方法还包括：针对第一批次的测试用样本，获取第一批次对应的第二得分；向所述第一批次的测试用样本中追加测试用样本，形成第二批次的测试用样本；针对所述第二批次的测试用样本，获取第二批次对应的第二得分；若所述二批次对应...
【专利技术属性】
技术研发人员：甘海勇，刘文德，冯国进，赫英威，
申请(专利权)人：中国计量科学研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。