难样本筛选方法、装置、计算机可读介质及电子设备制造方法及图纸

本申请的实施例提供了一种难样本筛选方法、装置、计算机可读介质及电子设备，该方法包括：将目标图像输入目标神经网络中，目标神经网络包括特征提取网络、检测头和质量标定模块；通过特征提取网络提取出目标图像的图像信息特征图，并将图像信息特征图输入检测头和质量标定模块；通过检测头生成与图像信息特征图对应的检测结果特征图，并将检测结果特征图输入质量标定模块；通过质量标定模块对图像信息特征图和检测结果特征图进行融合和映射操作，得到质量预测分数，并根据质量预测分数确定目标图像是否为难样本。本申请实施例可以节省筛选难样本的人力和时间成本。本申请实施例可应用于地图、自动驾驶、智慧交通、辅助驾驶等各种场景。场景。场景。

【技术实现步骤摘要】
难样本筛选方法、装置、计算机可读介质及电子设备


[0001]本申请涉及人工智能
，具体而言，涉及一种难样本筛选方法、装置、计算机可读介质及电子设备。

技术介绍

[0002]难样本是样本经过算法模型的检测之后确认的包含漏检的目标的样本。
[0003]随着基于深度学习的人工智能技术的普及，越来越多的业务场景和应用都对智能算法模型有了更多的需求，通常情况下，一个成熟的算法模型需要百万级别的数据量训练才能达到上线标准。即使算法模型上线之后，也会存在难以被算法模型正确检测的难样本。
[0004]然而，现有的难样本筛选方式通常是采用人工挑拣方式，这种方式不仅效率较低，而且需要消耗大量人力成本。

技术实现思路

[0005]本申请的实施例提供了一种难样本筛选方法、装置、计算机可读介质及电子设备，进而至少在一定程度上可以提高难样本的筛选效率，并能够节省人力成本。
[0006]本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。
[0007]根据本申请实施例的一个方面，提供了一种难样本筛选方法，所述方法包括：将待检测的目标图像输入至目标神经网络中，所述目标神经网络包括特征提取网络、与所述特征提取网络连接的检测头以及分别与所述特征提取网络和所述检测头连接的质量标定模块；通过所述特征提取网络提取出所述目标图像的图像信息特征图，并将所述图像信息特征图分别输入至所述检测头和所述质量标定模块中；通过所述检测头生成与所述图像信息特征图对应的检测结果特征图，并将所述检测结果特征图输入至所述质量标定模块中，所述检测结果特征图用于表征所述目标图像中目标的位置和类别；通过所述质量标定模块对输入的所述图像信息特征图和所述检测结果特征图进行融合和映射操作，得到质量预测分数，并根据所述质量预测分数确定所述目标图像是否为难样本，其中，所述难样本为包含未被所述目标神经网络检测出的目标的图像。
[0008]根据本申请实施例的一个方面，提供了一种难样本筛选装置，所述装置包括：图像输入单元，用于将待检测的目标图像输入至目标神经网络中，所述目标神经网络包括特征提取网络、与所述特征提取网络连接的检测头以及分别与所述特征提取网络和所述检测头连接的质量标定模块；特征提取和输入单元，用于通过所述特征提取网络提取出所述目标图像的图像信息特征图，并将所述图像信息特征图分别输入至所述检测头和所述质量标定模块中；生成和输入单元，用于通过所述检测头生成与所述图像信息特征图对应的检测结果特征图，并将所述检测结果特征图输入至所述质量标定模块中，所述检测结果特征图用于表征所述目标图像中目标的位置和类别；确定单元，用于通过所述质量标定模块对输入的所述图像信息特征图和所述检测结果特征图进行融合和映射操作，得到质量预测分数，
并根据所述质量预测分数确定所述目标图像是否为难样本，其中，所述难样本为包含未被所述目标神经网络检测出的目标的图像。
[0009]在本申请的一些实施例中，基于前述方案，所述特征提取网络包括骨干网络和与所述骨干网络连接的特征金字塔网络，所述特征提取和输入单元配置为：通过所述骨干网络提取出所述目标图像的基本语义特征图，并将所述基本语义特征图输入至所述特征金字塔网络中；通过所述特征金字塔网络根据所述基本语义特征图生成包含图像高层语义特征信息的图像信息特征图，所述图像高层语义特征信息的特征深度高于所述基本语义特征图中的图像基本语义特征信息的特征深度。
[0010]在本申请的一些实施例中，基于前述方案，所述确定单元配置为：将所述图像信息特征图和所述检测结果特征图拼接到一起，得到拼接后的特征图；对所述拼接后的特征图进行融合，并将融合结果降维至目标维度；将降维后的融合结果映射为质量预测分数输出。
[0011]在本申请的一些实施例中，基于前述方案，所述确定单元配置为：通过第一卷积层和修正线性单元激活函数层依次对所述拼接后的特征图进行融合；通过第二卷积层将融合结果降维至预定维度，得到预定维度的融合结果；通过平均池化层将预定维度的融合结果降维至目标维度。
[0012]在本申请的一些实施例中，基于前述方案，在将待检测的目标图像输入至目标神经网络中之前，所述图像输入单元还用于：获取训练样本集，所述训练样本集包括多个训练样本和与每一训练样本对应的真值标签；将所述训练样本集中的训练样本输入至原始神经网络中，得到所述原始神经网络的质量标定模块输出的质量预测分数和所述原始神经网络的检测头生成的检测结果特征图；根据所述训练样本对应的真值标签和检测结果特征图确定检测任务损失的损失值；对所述检测结果特征图进行后处理操作，得到检测结果，所述检测结果包括用于标记检测出的目标的检测框；根据所述训练样本对应的真值标签和所述检测结果确定质量真实分数，并根据所述质量真实分数和所述质量预测分数确定质量标定损失的损失值；根据所述检测任务损失的损失值和所述质量标定损失的损失值确定训练损失的损失值，并根据所述训练损失的损失值对所述原始神经网络进行训练，以得到目标神经网络。
[0013]在本申请的一些实施例中，基于前述方案，所述图像输入单元配置为：根据所述训练样本对应的真值标签和所述检测结果确定所述训练样本的所有目标中被正确检测出的目标的数量占比，作为质量真实分数。
[0014]在本申请的一些实施例中，基于前述方案，在根据所述质量预测分数确定所述目标图像是否为难样本之后，所述确定单元还用于：如果所述目标图像为难样本，则将所述目标图像存储至目标数据库中；根据所述目标数据库中的图像生成新的训练样本，并将所述新的训练样本重新加入所述训练样本集；根据所述训练样本集继续对所述目标神经网络进行优化。
[0015]在本申请的一些实施例中，基于前述方案，所述目标神经网络包括多个检测头和多个质量标定模块，所述特征提取和输入单元配置为：通过所述特征提取网络提取出所述目标图像的与所述多个检测头分别配对的图像信息特征图，并将各图像信息特征图分别输入至对应的检测头和质量标定模块中；所述确定单元配置为：通过各质量标定模块对输入的图像信息特征图和检测结果特征图进行融合和映射操作，得到各质量标定模块输出的质
量预测值；根据各质量标定模块输出的质量预测值确定质量预测分数。
[0016]在本申请的一些实施例中，基于前述方案，所述确定单元配置为：确定各质量标定模块输出的质量预测值的平均值，作为质量预测分数。
[0017]根据本申请实施例的一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例中所述的难样本筛选方法。
[0018]根据本申请实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中所述的难样本筛选方法。
[0019]根据本申请实施例的一个方面，提供了一种计算机程序产品，所述计算机程序产品包括计算机指令，所述计算机指令存储在计算机本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种难样本筛选方法，其特征在于，所述方法包括：将待检测的目标图像输入至目标神经网络中，所述目标神经网络包括特征提取网络、与所述特征提取网络连接的检测头以及分别与所述特征提取网络和所述检测头连接的质量标定模块；通过所述特征提取网络提取出所述目标图像的图像信息特征图，并将所述图像信息特征图分别输入至所述检测头和所述质量标定模块中；通过所述检测头生成与所述图像信息特征图对应的检测结果特征图，并将所述检测结果特征图输入至所述质量标定模块中，所述检测结果特征图用于表征所述目标图像中目标的位置和类别；通过所述质量标定模块对输入的所述图像信息特征图和所述检测结果特征图进行融合和映射操作，得到质量预测分数，并根据所述质量预测分数确定所述目标图像是否为难样本，其中，所述难样本为包含未被所述目标神经网络检测出的目标的图像。2.根据权利要求1所述的难样本筛选方法，其特征在于，所述特征提取网络包括骨干网络和与所述骨干网络连接的特征金字塔网络，所述通过所述特征提取网络提取出所述目标图像的图像信息特征图，包括：通过所述骨干网络提取出所述目标图像的基本语义特征图，并将所述基本语义特征图输入至所述特征金字塔网络中；通过所述特征金字塔网络根据所述基本语义特征图生成包含图像高层语义特征信息的图像信息特征图，所述图像高层语义特征信息的特征深度高于所述基本语义特征图中的图像基本语义特征信息的特征深度。3.根据权利要求1所述的难样本筛选方法，其特征在于，所述通过所述质量标定模块对输入的所述图像信息特征图和所述检测结果特征图进行融合和映射操作，得到质量预测分数，包括：将所述图像信息特征图和所述检测结果特征图拼接到一起，得到拼接后的特征图；对所述拼接后的特征图进行融合，并将融合结果降维至目标维度；将降维后的融合结果映射为质量预测分数输出。4.根据权利要求3所述的难样本筛选方法，其特征在于，所述对所述拼接后的特征图进行融合，包括：通过第一卷积层和修正线性单元激活函数层依次对所述拼接后的特征图进行融合；所述将融合结果降维至目标维度，包括：通过第二卷积层将融合结果降维至预定维度，得到预定维度的融合结果；通过平均池化层将预定维度的融合结果降维至目标维度。5.根据权利要求1所述的难样本筛选方法，其特征在于，在将待检测的目标图像输入至目标神经网络中之前，所述方法还包括：获取训练样本集，所述训练样本集包括多个训练样本和与每一训练样本对应的真值标签；将所述训练样本集中的训练样本输入至原始神经网络中，得到所述原始神经网络的质量标定模块输出的质量预测分数和所述原始神经网络的检测头生成的检测结果特征图；根据所述训练样本对应的真值标签和检测结果特征图确定检测任务损失的损失值；
对所述检测结果特征图进行后处理操作，得到检测结果，所述检测结果包括用于标记检测出的目标的检测框；根据所述训练样本对应的真值标签和所述检测结果确定质量真实分数，并根据所述质量真实分数和所述质量预测分数确定质量标定损失的损失值；根据所述检测任务损失的损失值和所述质量标定损失的损失值确定训练损失的损失值，并根据所述训练损失的损失值对所述原始神经网络进行训练，以得到目标神经网络。6.根据权利要求5所述的难样本筛选方法，其特征在于，所述根据所述训练样本对应的真值标签和所述检测结果确定质量真实分数，包括...

【专利技术属性】
技术研发人员：杨一帆，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：