一种基于图像识别的仓储物料管理方法及系统技术方案

本发明专利技术提供一种基于图像识别的仓储物料管理方法及系统。一种基于图像识别的仓储物料管理系统、待测仓储物料X

【技术实现步骤摘要】
一种基于图像识别的仓储物料管理方法及系统


[0001]本专利技术涉及仓储管理领域，更具体的说，它涉及一种基于图像识别的仓储物料管理方法及系统。

技术介绍

[0002]仓储物料管理是指对储存在出库内的物料进行管理，包括出入库的记录等。目前针对仓储物料的出入库登记一般是通过人工扫描仓储物料包装盒表面的电子标签来实现，但是采用电子标签的方式可能会出现以下问题，一是操作人员的疏忽，导致电子标签粘贴错误，进而导致出入库信息错误，二是电子标签的价格相对较高，当大量使用时会造成较高的成本。此外，当前也出现了通过机器视觉对仓储物料进行识别的方式，但是这些方式一般都需要将仓储物料从包装盒中取出再进行识别，操作较为麻烦。

技术实现思路

[0003]本专利技术提供一种基于图像识别的仓储物料管理方法及系统，通过获取待测仓储物料的X
‑
射线图像，并且结合图像识别能够对包装在包装盒内部的仓储物料进行识别，无需人工扫描电子标签或者将仓储物料从包装盒中拿出进行识别，方便操作人员对仓储物料进行管理；本申请中图像识别算法通过提取待测物料中的尺度不变特征，减弱例如轮廓信息等跟随仓储物料堆放方式变化而变化对仓储物料检测的影响，能够提升对仓储物料检测的准确度。
[0004]一种基于图像识别的仓储物料管理方法，包括：获取待测仓储物料的出入库信息；待测仓储物料的X
‑
射线图像，并记为待测仓储物料X
‑
射线图像；将待测仓储物料X
‑
射线图像进行预处理，得到待测图像；将待测图像送入训练好的仓储物料检测模型进行检测，输出待测仓储物料对应的类型信息；仓储物料检测模型基于改进的残差神经网络建立，仓储物料检测模型包括预处理层，特征提取层、尺度不变特征定位层、全局平均池化层、全连接层和分类层，其中预处理层用于对待测图像进行降采样；根据待测仓储物料对应的类型信息和出入库信息对存储物料管理数据库进行更新。
[0005]作为本专利技术优选的一个方面，通过训练好的仓储物料检测模型对仓储物料进行检测包括如下步骤：将待测图像通过特征提取层提取特征得到特征图G1，将特征图G1经过尺度不变特征定位层处理后得到尺度不变特征定位权重矩阵；通过尺度不变特征定位权重矩阵对特征图G1进行权重赋值，得到特征图G11，再将特征图G11，依次经过全局平均池化层、全连接层和分类层，输出仓储物料的类型信息。
[0006]作为本专利技术优选的一个方面，仓储物料检测模型中的特征提取层基于改进的
resnet50构建，包括第一改进残差部、第二改进残差部、第三改进残差部、第四改进残差部和第一上采样部，第一改进残差部、第二改进残差部、第三改进残差部和第四改进残差部分别包括3、4、6和3个改进残差块，改进残差块包括第一卷积层、特征拆分层、P个第二卷积层、第三卷积层和三个非线性激活层，P由输入至特征拆分层的特征图的通道数决定；其中三个非线性激活层分别位于第一卷积层和特征拆分层之间、P个第二卷积层和第三卷积层之间以及第三卷积层之后，且非线性激活层包括批量归一化层和ReLu函数，用于对输入的特征进行归一化以及非线性变化；特征拆分层用于将输入的特征图进行分组拆分，将输入至特征拆分层的特征图记为S1，将特征图S1的通道数记为c，特征拆分层将特征图S1按照通道数拆分为P个特征组D
p
，p∈{1，2，3
······
P}，P=c/32，特征组D
p
通过对应的第二卷积层进行卷积操作；第一上采样部用于改变输入至第一上采样部的特征图的尺寸。
[0007]作为本专利技术优选的一个方面，通过特征提取层对待测图像进行特征提取包括如下步骤：将待测图像依次经过第一改进残差部、第二改进残差部、第三改进残差部、第四改进残差部处理后得到的特征图分别记为特征图F1、特征图F2、特征图F3和特征图F4，将特征图F4经过第一上采样部处理后与特征图F3拼接融合后得到特征图F5；将特征图F5经过一次卷积操作后送入第一上采样部处理，再与特征图F2拼接融合得到特征图F6；将特征图F6经过一次卷积操作后送入第一上采样部处理，再与特征图F1拼接融合得到特征图F7；并以特征图F7作为特征提取层输出的特征图。
[0008]作为本专利技术优选的一个方面，仓储物料检测模型中的尺度不变特征定位层包括小波散射网络部、多视野融合部和第二上采样部，小波散射网络部包括三个小波散射网络层，且三个小波散射网络层内置不同的小波散射网络参数{J，R，M}，其中J为小波散射网络层对应的最大小波变换散射尺度，其中R为小波散射网络层对应的旋转方向组合，R={R1，R2，R3···
R
n
···
R
N
}，n∈{1，2，3
······
N}，R
n
为旋转方向组合中的旋转方向，M为小波散射网络层对应的最大散射阶数，小波散射网络层用于提取尺度不变特征；多视野融合部包括第一空洞卷积层、第二空洞卷积层、第三空洞卷积层和通道注意力机制层，其中第一空洞卷积层、第二空洞卷积层和第三空洞卷积层分别内置不同的空洞卷积核；第二上采样部用于改变输入至第一上采样部的特征图的尺寸。
[0009]作为本专利技术优选的一个方面，通过尺度不变特征定位层获取尺度不变特征定位权重矩阵包括如下步骤：获取特征提取层输出的特征图，记为特征图G1，将特征图G1送入小波散射网络部，分别经过三个小波散射网络层后得到三个尺度不变特征，分别记为特征图G2、特征图G3和特征图G4，且特征图G2、特征图G3和特征图G4对应的尺寸逐个增大；将特征图G2、特征图G3和特征图G4分别通过多视野融合部进行处理得到特征图G5、特征图G6和特征图G7；将特征图G5经过一次卷积操作后送入第二上采样部处理，再与特征图G6拼接融合得到特征图G8；将特征图G8经过一次卷积操作后送入第二上采样部处理，再与特征图G7拼接融合得到特征图G9；将特征图G9经过一次卷积操作后送入第二上采样部处理，再与特征图G1拼接融合得到特征图G10；将特征图G10通过softmax函数进行计算得到尺度不变特征定位权重矩阵。
[0010]作为本专利技术优选的一个方面，通过小波散射网络部对特征图G1提取尺度不变特征包括如下步骤：针对任一小波散射网络层，获取小波散射网络层对应的小波散射网络参数，获取小波函数ψ
jmr
（x），小波函数ψ
jmr
（x）表征通过小波函数ψ
jmr
（x）=2
‑
2j
ψ（2
‑
j
r
‑1x）对第m阶小
波散射中输入的特征图x执行小波变换散射尺度为j且旋转方向为r的小波变换，其中m为散射阶数，m∈{0，1，2
······
M}，j为小波变换散射尺度，j=m
‑
1，r为旋转方向，r∈{R1，R2，R3···
R
n
···
R
N
}，将ψ
m，R...

【技术保护点】

【技术特征摘要】
1.一种基于图像识别的仓储物料管理方法，其特征在于，包括：获取待测仓储物料的出入库信息；待测仓储物料的X
‑
射线图像，并记为待测仓储物料X
‑
射线图像；将待测仓储物料X
‑
射线图像进行预处理，得到待测图像；将待测图像送入训练好的仓储物料检测模型进行检测，输出待测仓储物料对应的类型信息；仓储物料检测模型基于改进的残差神经网络建立，仓储物料检测模型包括预处理层，特征提取层、尺度不变特征定位层、全局平均池化层、全连接层和分类层，其中预处理层用于对待测图像进行降采样；根据待测仓储物料对应的类型信息和出入库信息对存储物料管理数据库进行更新。2.根据权利要求1所述的一种基于图像识别的仓储物料管理方法，其特征在于，通过训练好的仓储物料检测模型对仓储物料进行检测包括如下步骤：将待测图像通过特征提取层提取特征得到特征图G1，将特征图G1经过尺度不变特征定位层处理后得到尺度不变特征定位权重矩阵；通过尺度不变特征定位权重矩阵对特征图G1进行权重赋值，得到特征图G11，再将特征图G11，依次经过全局平均池化层、全连接层和分类层，输出仓储物料的类型信息。3.根据权利要求2所述的一种基于图像识别的仓储物料管理方法，其特征在于，仓储物料检测模型中的特征提取层基于改进的resnet50构建，包括第一改进残差部、第二改进残差部、第三改进残差部、第四改进残差部和第一上采样部，第一改进残差部、第二改进残差部、第三改进残差部和第四改进残差部分别包括3、4、6和3个改进残差块，改进残差块包括第一卷积层、特征拆分层、P个第二卷积层、第三卷积层和三个非线性激活层，P由输入至特征拆分层的特征图的通道数决定；其中三个非线性激活层分别位于第一卷积层和特征拆分层之间、P个第二卷积层和第三卷积层之间以及第三卷积层之后，且非线性激活层包括批量归一化层和ReLu函数，用于对输入的特征进行归一化以及非线性变化；特征拆分层用于将输入的特征图进行分组拆分，将输入至特征拆分层的特征图记为S1，将特征图S1的通道数记为c，特征拆分层将特征图S1按照通道数拆分为P个特征组D
p
，p∈{1，2，3
······
P}，P=c/32，特征组D
p
通过对应的第二卷积层进行卷积操作；第一上采样部用于改变输入至第一上采样部的特征图的尺寸。4.根据权利要求3所述的一种基于图像识别的仓储物料管理方法，其特征在于，通过特征提取层对待测图像进行特征提取包括如下步骤：将待测图像依次经过第一改进残差部、第二改进残差部、第三改进残差部、第四改进残差部处理后得到的特征图分别记为特征图F1、特征图F2、特征图F3和特征图F4，将特征图F4经过第一上采样部处理后与特征图F3拼接融合后得到特征图F5；将特征图F5经过一次卷积操作后送入第一上采样部处理，再与特征图F2拼接融合得到特征图F6；将特征图F6经过一次卷积操作后送入第一上采样部处理，再与特征图F1拼接融合得到特征图F7；并以特征图F7作为特征提取层输出的特征图。5.根据权利要求4所述的一种基于图像识别的仓储物料管理方法，其特征在于，仓储物料检测模型中的尺度不变特征定位层包括小波散射网络部、多视野融合部和第二上采样部，小波散射网络部包括三个小波散射网络层，且三个小波散射网络层内置不同的小波散射网络参数{J，R，M}，其中J为小波散射网络层对应的最大小波变换散射尺度，其中R为小波散射网络层对应的旋转方向组合，R={R1，R2，R3···
R
n
···
R
N
}，n∈{1，2，3
······
N}，R
n
为旋转方向组合中的旋转方向，M为小波散射网络层对应的最大散射阶数，小波散射网络层用于提取尺度不变特征；多视野融合部包括第一空洞卷积层、第二空洞卷积层、第三空洞卷积层和通道注意力机制层，其中第一空洞卷积层、第二空洞卷积层和第三空洞卷积层分别内置不同的空洞卷积核；第二上采样部用于改变输入至第一上采样部的特征图的尺寸。6.根据权利要求5所述的一种基于图像识别的仓储物料管理方法，其特征在于，通过尺度不变特征定位层获取尺度不变特征定位权重矩阵包括如下步骤：获取特征提取层输出的特征图，记为特征图G1，将特征图G1送入小波散射网络部，分别经过三个小波散射网络层后得到三个尺度不变特征，分别记为特征图G2、特征图G3和特征图G4，且特征图G2、特征图G3和特征图G4对应的尺寸逐个增大；将特征图G2、特征图G3和特征图G4分别通过多视野融合部进行处理得到特征图G5、特征图G6和特征图G7；将特征图G5经过一次卷积操作后送入第二上采样部处理，再与特征图G6拼接融合得到特征图G8；将特征图G8经过一次卷积操作后送入第二上采样部处理，再与特征图G7拼接融合得到特征图G9；将特征图G9经过一次卷积操作后送入第二上采样部处理，再与特征图G1拼接融合得到特征图G10；将特征图G10通过softmax函数进行计算得到尺度不变特征定位权重矩阵。7.根据权利要求6所述的一种基于图像识别的仓储物料管理方法，其特征在于，通过小波散射网络部对特征图G1提取尺度不变特征包括如下步骤：针对任一小波散射网络层，获取小波散射网络层对应的小波散射网络参数，获取小波函数ψ
jmr
（x），小波函数ψ
jmr
（x）表征通过小波函数ψ
jmr
（x）=2
‑
2j
ψ（2
‑
j
r
‑1x）对第m阶小波散射中输入的特征图x执行小波变换散射尺度为j且旋转方向为r的...

【专利技术属性】
技术研发人员：刘权超，罗品超，
申请(专利权)人：深圳易行机器人有限公司，
类型：发明
国别省市：