用于图像的对象检测的样本加权学习系统及其方法技术方案

本发明专利技术提供了一种用于图像的对象检测的样本加权学习系统及其方法，所述方法包括：第一步骤：针对每个样本接收输入的第一特征、第二特征、第三特征和第四特征；第二步骤：对输入的第一特征、第二特征、第三特征和第四特征进行变换；第三步骤：使用变换函数根据第一密集特征、第二密集特征、第三密集特征和第四密集特征来生成联合样本特征；第四步骤：根据生成的样本特征来为每一个样本预测分类损失的样本权重和回归损失的样本权重；第五步骤：根据预测的分类损失的样本权重和回归损失的样本权重来计算损失函数；第六步骤：根据计算的损失函数来调整样本特征生成设备所使用的变换函数。函数。函数。

【技术实现步骤摘要】
用于图像的对象检测的样本加权学习系统及其方法


[0001]本专利技术涉及图像处理领域，特别是涉及一种用于图像处理的样本权重生成系统及其方法、一种用于图像的对象检测的样本加权学习系统及其方法。

技术介绍

[0002]现代的基于图像区域的对象检测是一个多任务学习问题，由对象分类和定位组成。其涉及区域采样(滑动窗口或区域提议)、区域分类和回归以及非极大值抑制。利用区域采样，其将对象检测转换为分类任务，从而对大量区域进行分类和回归。根据区域搜索的方式，这些检测器可以分类为一阶段检测器和二阶段检测器。
[0003]通常，精度最高的对象检测器基于两级框架，例如Faster R-CNN (快速R-CNN)，该框架在区域提议阶段会迅速缩小区域范围(大部分来自背景)。相反，一阶段检测器，例如SSD和YOLO，实现了更快的检测速度，但准确性较低。这是由于类别不平衡问题(即，前景和背景区域之间的不平衡)，这对对象检测来说是经典挑战。
[0004]两级检测器通过区域提议机制处理类别不平衡，然后采用各种有效的采样策略，例如以固定的前景与背景比进行选择样本以及困难样本挖掘。尽管类似的困难样本挖掘可以应用于一阶段检测器，但由于存在大量的简单负样本，因此效率较低。
[0005]样本加权是一个非常复杂且动态的过程。当应用于多任务问题的损失函数时，各个样本中存在各种不确定性。如果检测器将其能力用于精确分类，并产生较差的定位结果，则定位错误的检测将损害平均精度，尤其是在高IoU标准下，反之亦然。

技术实现思路

[0006]根据本专利技术，图像处理领域中的样本加权不仅与数据有关而且与任务有关。一方面，与先前的技术不同，图像的样本的重要性应由其与真实标注相比的内在属性及其对损失函数的响应来确定。另一方面，图像的对象检测是一个多任务问题。图像的样本的加权应在不同任务之间保持平衡。
[0007]根据本专利技术的一方面，提出了一种用于图像处理的样本权重生成系统，所述系统包括：
[0008]特征变换设备，用于将输入的第一特征、第二特征、第三特征和第四特征分别变换为第一密集特征、第二密集特征、第三密集特征和第四密集特征；
[0009]样本特征生成设备，用于使用变换函数根据第一密集特征、第二密集特征、第三密集特征和第四密集特征来生成联合样本特征；
[0010]权重预测设备，用于根据生成的样本特征来为样本预测分类损失的样本权重和回归损失的样本权重。
[0011]根据本专利技术的一方面的样本权重生成系统，其中：
[0012]所述权重预测设备预测的分类损失的样本权重和回归损失的样本权重是分别由第一指数函数和第二指数函数得出的。
[0013]根据本专利技术的一方面，提出了一种用于图像的对象检测的样本加权学习系统，所述系统包括：
[0014]输入设备，用于针对每个样本接收输入的第一特征、第二特征、第三特征和第四特征；
[0015]特征变换设备，用于将输入的第一特征、第二特征、第三特征和第四特征分别变换为第一密集特征、第二密集特征、第三密集特征和第四密集特征；
[0016]样本特征生成设备，用于使用变换函数根据第一密集特征、第二密集特征、第三密集特征和第四密集特征来生成联合样本特征；
[0017]权重预测设备，用于根据生成的样本特征来为每一个样本预测分类损失的样本权重和回归损失的样本权重；
[0018]损失函数计算设备，用于根据预测的分类损失的样本权重和回归损失的样本权重来计算损失函数；
[0019]以及
[0020]特征变换调整设备，用于基于计算的损失函数来调整变换函数。
[0021]根据本专利技术的一方面的样本权重生成系统，其中所述系统还包括：
[0022]梯度计算设备，用于根据计算的损失函数来导出梯度以调整样本特征生成设备所使用的变换函数。
[0023]根据本专利技术的一方面的样本加权学习系统，其中，所述样本特征生成设备还包括：
[0024]第一特征变换装置，用于将输入的第一特征变换为第一密集特征；
[0025]第二特征变换装置，用于将输入的第二特征变换为第二密集特征；
[0026]第三特征变换装置，用于将输入的第三特征变换为第三密集特征；以及
[0027]第四特征变换装置，用于将输入的第四特征变换为第四密集特征。
[0028]根据本专利技术的一方面的样本加权学习系统，其中，所述权重预测设备还包括：
[0029]分类损失权重预测装置，用于预测分类损失的样本权重；以及
[0030]回归损失权重预测装置，用于预测回归损失的样本权重。
[0031]根据本专利技术的一方面的样本加权学习系统，其中所述第一特征是分类损失，所述第二特征是回归损失，所述第三特征是交并比，以及所述第四特征是分类概率。
[0032]根据本专利技术的一方面的样本加权学习系统，其中：
[0033]所述输入设备还用于接收第五特征；以及
[0034]所述样本加权学习系统还包括：
[0035]第五特征变换装置，用于将输入的第五特征变换为第五密集特征。
[0036]根据本专利技术的一方面的样本加权学习系统，其中：
[0037]所述第五特征是掩膜损失。
[0038]根据本专利技术的一方面的样本加权学习系统，其中：
[0039]所述预测的分类损失的样本权重和回归损失的样本权重是分别由第一指数函数和第二指数函数得出的。
[0040]根据本专利技术的一方面的样本加权学习系统，其中：
[0041]对包括正样本和负样本的一组样本的分类损失的样本权重求平均值来作为每个样本的分类损失的样本权重。
[0042]根据本专利技术的一方面，提出了一种用于图像处理的样本权重生成方法，所述方法包括：
[0043]将输入的第一特征、第二特征、第三特征和第四特征分别变换为第一密集特征、第二密集特征、第三密集特征和第四密集特征；
[0044]使用变换函数根据第一密集特征、第二密集特征、第三密集特征和第四密集特征来生成联合样本特征；
[0045]根据生成的样本特征来为样本预测分类损失的样本权重和回归损失的样本权重。
[0046]根据本专利技术的一方面的样本权重生成方法，其中：
[0047]所述预测的分类损失的样本权重和回归损失的样本权重是分别由第一指数函数和第二指数函数得出的。
[0048]根据本专利技术的一方面，提出一种用于图像的对象检测的样本加权学习方法，所述方法包括：
[0049]第一步骤：针对每个样本接收输入的第一特征、第二特征、第三特征和第四特征；
[0050]第二步骤：对输入的第一特征、第二特征、第三特征和第四特征进行变换；
[0051]第三步骤：使用变换函数根据第一密集特征、第二密集特征、第三密集特征和第四密集特征来生成联合样本特征；
[0052]第四步骤：根据生成的样本特征来为每一个样本预测分类损失的样本权重和回归损失的样本权重；...

【技术保护点】

【技术特征摘要】
1.一种用于图像处理的样本权重生成系统，所述系统包括：特征变换设备，用于将输入的第一特征、第二特征、第三特征和第四特征分别变换为第一密集特征、第二密集特征、第三密集特征和第四密集特征；样本特征生成设备，用于使用变换函数根据第一密集特征、第二密集特征、第三密集特征和第四密集特征来生成联合样本特征；权重预测设备，用于根据生成的样本特征来为样本预测分类损失的样本权重和回归损失的样本权重。2.一种用于图像的对象检测的样本加权学习系统，所述系统包括：输入设备，用于针对每个样本接收输入的第一特征、第二特征、第三特征和第四特征；特征变换设备，用于将输入的第一特征、第二特征、第三特征和第四特征分别变换为第一密集特征、第二密集特征、第三密集特征和第四密集特征；样本特征生成设备，用于使用变换函数根据第一密集特征、第二密集特征、第三密集特征和第四密集特征来生成联合样本特征；权重预测设备，用于根据生成的样本特征来为每一个样本预测分类损失的样本权重和回归损失的样本权重；损失函数计算设备，用于根据预测的分类损失的样本权重和回归损失的样本权重来计算损失函数；以及特征变换调整设备，用于基于计算的损失函数来调整样本特征生成设备所使用的变换函数。3.一种用于图像处理的样本权重生成方法，所述方法包括：将输入的第一特征、第二特征、第三特征和第四特征分别变换为第一密集特征、第二密集特征、第三密集特征和第四密集特征；使用变换函数根据第一密集特征、第二密集特征、第三密集特征和第四密集特征来生成联合样本特征；根据生成的样本特征来为样本预测分类损失的样本权重和回归损失的样本权重。4.根据权利要求3所述的样本权重生成方法，其中：所述预测的分类损失的样本权重和回归损失的样本权重是分别由第一指数函数和第二指数函数得出的。5.一种用于图像的对象检测的样本加权学习方法，所述方法包括：第一步骤：针对每个样本接收输入的第一特征、第二特征、第三特征和第四特征；第二步骤：对输入的第一特征、第二特征、第三特征和第四特征进行变换；第三步骤：使用变换函数根据第一密集特征、第二密集特征、第三密集特征和第四密集特征来生成联合样本特征；第四步骤：根据生成的样本特征来为每一个样本预测分类损失的样本权重和回归损失的样本权重；第五步骤：根据预测的分类损失的样本权重和回归损失的样本权重来计算损失函数；第六步骤：根据计算的损失函数来调整所述变换函数。6.根据权利要求5所述的样本加权学...

【专利技术属性】
技术研发人员：潘滢炜，王羽，刘金根，姚霆，梅涛，
申请(专利权)人：北京京东世纪贸易有限公司，
类型：发明
国别省市：