货物图像局部区域处理方法、装置、设备及存储介质制造方法及图纸

本公开提供一种货物图像局部区域处理方法、装置、设备及存储介质，涉及图像处理技术领域。该方法包括：获取训练图像和标签；通过特征提取网络对从所述训练图像中提取的特征进行注意力增强处理获得注意力增强特征图；将所述注意力增强特征图通过区域建议网络进行处理获得区域建议图；基于所述注意力增强特征图和所述区域建议图通过区域分类网络获得区域分类图；基于所述区域分类图和所述标签获得损失函数；以及根据所述损失函数训练所述特征提取网络、所述区域建议网络和所述区域分类网络以处理货物图像局部区域。该方法一定程度上提高了提取货物图像局部区域的准确性。了提取货物图像局部区域的准确性。了提取货物图像局部区域的准确性。

【技术实现步骤摘要】
货物图像局部区域处理方法、装置、设备及存储介质


[0001]本公开涉及图像处理
，具体而言，涉及一种货物图像局部区域处理方法、装置、设备及可读存储介质。

技术介绍

[0002]在海关查验过程中不仅需要能够检出整箱大宗嫌疑货物，检出局部嫌疑货物也是非常重要的海关查验工作。通常采用X射线设备探测海关进出口货物获得货物的辐射图像，以实现不开箱货物查验，准确地提取辐射图像中的货物局部区域是局部嫌疑货物检出的重要前提。但是，由于海关吞吐的货物形态复杂，装载方式多样，并且受X射线成像角度差异的影响，准确地划分辐射图像的局部货物区域非常困难。
[0003]如上所述，如何提供较准确地划分局部货物区域的货物图像处理方法成为亟待解决的问题。
[0004]在所述
技术介绍
部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0005]本公开的目的在于提供一种货物图像局部区域处理方法、装置、设备及可读存储介质，至少在一定程度上克服相关技术难以准确地划分辐射图像的局部货物区域的问题。
[0006]本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
[0007]根据本公开的一方面，提供一种货物图像局部区域处理方法，包括：获取训练图像和标签；通过特征提取网络对从所述训练图像中提取的特征进行注意力增强处理获得注意力增强特征图；将所述注意力增强特征图通过区域建议网络进行处理获得区域建议图；基于所述注意力增强特征图和所述区域建议图通过区域分类网络获得区域分类图；基于所述区域分类图和所述标签获得损失函数；以及根据所述损失函数训练所述特征提取网络、所述区域建议网络和所述区域分类网络以处理货物图像局部区域。
[0008]根据本公开的一实施例，所述特征提取网络包括卷积层和全连接层；所述通过特征提取网络对从所述训练图像中提取的特征进行注意力增强处理获得注意力增强特征图包括：通过所述卷积层提取所述训练图像的多个通道的特征；将所述多个通道的特征通过所述全连接层进行通道加权处理获得所述多个通道中各个通道的权重；以及将所述多个通道的特征与所述各个通道的权重进行融合获得通道加权特征图；对所述通道加权特征图进行分组增强处理获得所述注意力增强特征图。
[0009]根据本公开的一实施例，所述对所述通道加权特征图进行分组增强处理获得所述注意力增强特征图包括：将所述通道加权特征图中的特征矩阵分成多组获得多个特征组；基于所述多个特征组获得增强系数矩阵；以及将所述通道加权特征图中的特征矩阵与所述增强系数矩阵相乘获得所述注意力增强特征图。
[0010]根据本公开的一实施例，所述基于所述多个特征组获得增强系数矩阵包括：对所述多个特征组中的各个特征组进行全局平均池化处理获得所述各个特征组的组全局特征；将所述各个特征组的组全局特征分别与所述各个特征组中的特征进行点乘获得相似性矩阵；以及对所述相似性矩阵进行归一化处理后获得所述增强系数矩阵。
[0011]根据本公开的一实施例，所述区域分类网络包括全连接区域分类网络和全卷积区域分类网络；以及所述区域分类图包括感兴趣区域和所述感兴趣区域的类别；所述基于所述注意力增强特征图和所述区域建议图通过区域分类网络获得区域分类图包括：根据所述注意力增强特征图提取所述区域建议图中区域建议框的特征获得注意力增强区域特征图；将所述注意力增强区域特征图通过所述全卷积区域分类网络后进行定位处理获得所述感兴趣区域；以及将所述注意力增强区域特征图通过所述全连接区域分类网络后进行分类处理获得所述感兴趣区域的类别；所述基于所述区域分类图和所述标签获得损失函数包括：基于所述感兴趣区域和所述标签获得区域损失项；基于所述感兴趣区域的类别和所述标签获得分类损失项；以及根据所述区域损失项和所述分类损失项获得所述损失函数。
[0012]根据本公开的一实施例，所述将所述注意力增强区域特征图通过所述全卷积区域分类网络进行定位处理获得所述感兴趣区域包括：将所述注意力增强区域特征图通过所述全卷积区域分类网络后进行定位处理获得全卷积定位分量；将所述注意力增强区域特征图通过所述全连接区域分类网络后进行定位处理获得全连接定位分量；以及将所述全卷积定位分量和所述全连接定位分量进行融合获得所述感兴趣区域；所述将所述注意力增强区域特征图通过所述全连接区域分类网络后进行分类处理获得所述感兴趣区域的类别包括：将所述注意力增强区域特征图通过所述全连接区域分类网络后进行分类处理获得全连接类别分量；将所述注意力增强区域特征图通过所述全卷积区域分类网络后进行分类处理获得全卷积类别分量；以及将所述全连接类别分量和所述全卷积类别分量进行融合获得所述感兴趣区域的类别；所述区域损失项包括全卷积区域损失项和全连接区域损失项；以及所述分类损失项包括全卷积分类损失项和全连接分类损失项；所述基于所述感兴趣区域和所述标签获得区域损失项包括：基于所述全卷积定位分量和所述标签获得所述全卷积区域损失项；以及基于所述全连接定位分量和所述标签获得所述全连接区域损失项；所述基于所述感兴趣区域的类别和所述标签获得分类损失项包括：基于所述全卷积类别分量和所述标签获得全卷积分类损失项；以及基于所述全连接类别分量和所述标签获得全连接分类损失项；所述根据所述区域损失项和所述分类损失项获得所述损失函数包括：基于所述全卷积区域损失项、全连接区域损失项、全卷积分类损失项和全连接分类损失项获得所述损失函数。
[0013]根据本公开的一实施例，所述基于所述区域分类图和所述标签获得损失函数还包括：基于所述感兴趣区域和所述标签获得区域建议损失项；所述基于所述全卷积区域损失项、全连接区域损失项、全卷积分类损失项和全连接分类损失项获得所述损失函数包括：获得全连接区域参数、全连接分类参数、全卷积区域参数和全卷积分类参数，其中，所述全连接区域参数与所述全连接分类参数相加得到的和为第一预定值，所述全卷积区域参数与所述全卷积分类参数相加得到的和为第二预定值；以及将所述全连接区域损失项与所述全连接区域参数的乘积、所述全连接分类损失项与所述全连接分类参数的乘积、所述全卷积区域损失项与所述全卷积区域参数的乘积、所述全卷积分类损失项与所述全卷积分类参数的
乘积以及所述区域建议损失项相加获得所述损失函数。
[0014]根据本公开的再一方面，提供一种货物图像局部区域处理装置，包括：数据获取模块，用于获取训练图像和标签；特征获得模块，用于通过特征提取网络对从所述训练图像中提取的特征进行注意力增强处理获得注意力增强特征图；区域建议模块，用于将所述注意力增强特征图通过区域建议网络进行处理获得区域建议图；区域分类模块，用于基于所述注意力增强特征图和所述区域建议图通过区域分类网络获得区域分类图；损失计算模块，用于基于所述区域分类图和所述标签获得损失函数；以及网络训练模块，用于根据所述损失函数训练所述特征提取网络、所述区域建议网络和所述区域分类网络以处理货物图像局部区域。
[0015]根据本公开的再一方面，提供一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种货物图像局部区域处理方法，其特征在于，包括：获取训练图像和标签；通过特征提取网络对从所述训练图像中提取的特征进行注意力增强处理获得注意力增强特征图；将所述注意力增强特征图通过区域建议网络进行处理获得区域建议图；基于所述注意力增强特征图和所述区域建议图通过区域分类网络获得区域分类图；基于所述区域分类图和所述标签获得损失函数；以及根据所述损失函数训练所述特征提取网络、所述区域建议网络和所述区域分类网络以处理货物图像局部区域。2.根据权利要求1所述的方法，其特征在于，所述特征提取网络包括卷积层和全连接层；所述通过特征提取网络对从所述训练图像中提取的特征进行注意力增强处理获得注意力增强特征图包括：通过所述卷积层提取所述训练图像的多个通道的特征；将所述多个通道的特征通过所述全连接层进行通道加权处理获得所述多个通道中各个通道的权重；以及将所述多个通道的特征与所述各个通道的权重进行融合获得通道加权特征图；对所述通道加权特征图进行分组增强处理获得所述注意力增强特征图。3.根据权利要求2所述的方法，其特征在于，所述对所述通道加权特征图进行分组增强处理获得所述注意力增强特征图包括：将所述通道加权特征图中的特征矩阵分成多组获得多个特征组；基于所述多个特征组获得增强系数矩阵；以及将所述通道加权特征图中的特征矩阵与所述增强系数矩阵相乘获得所述注意力增强特征图。4.根据权利要求3所述的方法，其特征在于，所述基于所述多个特征组获得增强系数矩阵包括：对所述多个特征组中的各个特征组进行全局平均池化处理获得所述各个特征组的组全局特征；将所述各个特征组的组全局特征分别与所述各个特征组中的特征进行点乘获得相似性矩阵；以及对所述相似性矩阵进行归一化处理后获得所述增强系数矩阵。5.根据权利要求1所述的方法，其特征在于，所述区域分类网络包括全连接区域分类网络和全卷积区域分类网络；以及所述区域分类图包括感兴趣区域和所述感兴趣区域的类别；所述基于所述注意力增强特征图和所述区域建议图通过区域分类网络获得区域分类图包括：根据所述注意力增强特征图提取所述区域建议图中区域建议框的特征获得注意力增强区域特征图；将所述注意力增强区域特征图通过所述全卷积区域分类网络后进行定位处理获得所
述感兴趣区域；以及将所述注意力增强区域特征图通过所述全连接区域分类网络后进行分类处理获得所述感兴趣区域的类别；所述基于所述区域分类图和所述标签获得损失函数包括：基于所述感兴趣区域和所述标签获得区域损失项；基于所述感兴趣区域的类别和所述标签获得分类损失项；以及根据所述区域损失项和所述分类损失项获得所述损失函数。6.根据权利要求5所述的方法，其特征在于，所述将所述注意力增强区域特征图通过所述全卷积区域分类网络进行定位处理获得所述感兴趣区域包括：将所述注意力增强区域特征图通过所述全卷积区域分类网络后进行定位处理获得全卷积定位分量；将所述注意力增强区域特征图通过所述全连接区域分类网络后进行定位处理获得全连接定位分量；以及将所述全卷积定位分量和所述全连接定位分量进行融...

【专利技术属性】
技术研发人员：陈志强，李元景，张丽，邢宇翔，戴诗语，丁保阔，郭全占，
申请(专利权)人：同方威视技术股份有限公司，
类型：发明
国别省市：