一种用于仓库调度的图像超分辨率重建方法技术

本发明专利技术公开了一种用于仓库调度的图像超分辨率重建方法，属于人工智能和图像处理技术领域，包括训练深度学习网络，头级卷积层对场景图像进行卷积运算，依次利用各个多头特征映射模块对特征图进行操作，图像重建单元对特征图进行上采样，输出得到重建后的重置图像等步骤。本发明专利技术的注意力机制信息来源不仅有本模块内部的多尺度特征信息，还有部分直接来自其上游多头特征映射模块输出的特征信息，复杂场景图像中干扰信息对注意力机制的影响小，内部特征信息具有很好的连贯性，各个模块输出的特征图中特征信息的抽象程度低，重建效果优于现有的先进模型。的先进模型。的先进模型。

【技术实现步骤摘要】
一种用于仓库调度的图像超分辨率重建方法


[0001]本专利技术属于仓库和人工智能
，具体地说，涉及一种用于仓库调度的图像超分辨率重建方法。

技术介绍

[0002]现代化的仓库中，安装在顶部的摄像头能够实时获取仓库内部的影像，利用计算机视觉技术可以对仓库中的货物、叉车和操作人员等目标进行识别和追踪，与大数据等技术结合，实现对仓库作业的自动化控制和智能调度。精准的图像识别依赖于高质量的图像输入，但在仓库这样的应用场景中，识别的目标对象多种多样，场景变化也比较复杂，在一些情况下，目标距离摄像头较远，获取的目标对象图像分辨率低，限制了识别和追踪的准确率。

技术实现思路

[0003]针对现有技术中上述的不足，本专利技术提供了一种用于仓库调度的图像超分辨率重建方法，通过对一些低分辨率图像进行重建，提高图像质量，进而提高对目标对象的识别和追踪准确率。
[0004]为了达到上述目的，本专利技术采用的解决方案是：一种用于仓库调度的图像超分辨率重建方法，包括以下步骤：S100、获取深度学习网络，利用训练集对所述深度学习网络进行训练；所述深度学习网络包括依次设置的头级卷积层、深层特征抽取单元和图像重建单元，所述深层特征抽取单元包括顺次连接的多个多头特征映射模块；S200、获取待重建的场景图像，将所述场景图像输入步骤S100中训练好的深度学习网络，经过所述头级卷积层对所述场景图像进行卷积运算后，输出得到具象特征图；S300、将所述具象特征图输入所述深层特征抽取单元，依次利用各个所述多头特征映射模块对特征图进行操作后，所述深层特征抽取单元输出抽象特征图；所述多头特征映射模块对特征图的操作过程表示为如下数学模型：所述多头特征映射模块对特征图的操作过程表示为如下数学模型：所述多头特征映射模块对特征图的操作过程表示为如下数学模型：所述多头特征映射模块对特征图的操作过程表示为如下数学模型：所述多头特征映射模块对特征图的操作过程表示为如下数学模型：所述多头特征映射模块对特征图的操作过程表示为如下数学模型：所述多头特征映射模块对特征图的操作过程表示为如下数学模型：
其中，W
n
‑1表示从第一端口输入多头特征映射模块的特征图，H
n
‑1表示从第二端口输入多头特征映射模块的特征图，U
n
‑1表示从第三端口输入多头特征映射模块的特征图，对于第一个多头特征映射模块，从其第一端口、第二端口和第三端口输入的特征图均为具象特征图；f31()、f32()、f51()和f52()均表示普通的卷积运算处理层，f31()和f32()的卷积核大小为3*3，f51()和f52()的卷积核大小为5*5，ρ1()、ρ2()、ρ3()和ρ4()均代表非线性激活函数ReLU，M1表示经过ρ1()函数激活后输出得到的特征图，M2表示经过ρ2()函数激活后输出得到的特征图，f
LA
()表示左翼注意力模块，LG表示左翼注意力模块输出的左翼调制图，f
RA
()表示右翼注意力模块，RG表示右翼注意力模块输出的右翼调制图，
×
表示元素对应乘积，[
·
]表示将其中的特征图做拼接操作，M3表示左翼调制图校准特征图M1、右翼调制图校准特征图M2后拼接得到的特征图，f
TM
()表示中路特征整合模块，W
n
表示从多头特征映射模块的第四端口输出的特征图，W
n
作为下游多头特征映射模块第一端口的输入，H
n
表示从多头特征映射模块的第五端口输出的特征图，H
n
作为下游多头特征映射模块第二端口的输入，U
n
表示从多头特征映射模块的第六端口输出的特征图，U
n
作为下游多头特征映射模块第三端口的输入；S400、将所述抽象特征图输入所述图像重建单元，所述图像重建单元对特征图进行上采样，并输出重建后的重置图像，所述重置图像的分辨率大于所述场景图像。
[0005]进一步地，所述深度学习网络中设有长跳跃连接，所述具象特征图经所述长跳跃连接输入到所述深层特征抽取单元与所述图像重建单元之间，所述具象特征图与所述抽象特征图相加后，再输入所述图像重建单元。
[0006]进一步地，所述中路特征整合模块对特征图的运算过程表示为如下数学模型：进一步地，所述中路特征整合模块对特征图的运算过程表示为如下数学模型：进一步地，所述中路特征整合模块对特征图的运算过程表示为如下数学模型：其中，特征图W
n
和特征图U
n
共同作为所述中路特征整合模块的输入，W
n
表示从多头特征映射模块的第四端口输出的特征图，U
n
表示从多头特征映射模块的第六端口输出的特征图，[
·
]表示将其中的特征图在通道方向上拼接，f
J1
()和f
J3
()分别表示卷积核大小为1*1的卷积操作和卷积核大小为3*3的卷积操作，T1()和T2()均表示Tanh激活函数，JO表示T1()函数激活后输出得到的特征图，JE表示特征图W
n
与特征图U
n
作差后生成得到的特征图，JM代表所述中路特征整合模块输出的特征图。
[0007]进一步地，所述左翼注意力模块按照如下数学公式对特征图进行操作：进一步地，所述左翼注意力模块按照如下数学公式对特征图进行操作：进一步地，所述左翼注意力模块按照如下数学公式对特征图进行操作：进一步地，所述左翼注意力模块按照如下数学公式对特征图进行操作：
其中，特征图M1+M2和特征图W
n
‑1共同作为左翼注意力模块的输入，W
n
‑1表示从第一端口输入多头特征映射模块的特征图，MAV()、MEV()和VAV()分别表示对特征图做全局最大池化操作、全局平均池化操作和全局方差池化操作，MAV()、MEV()和VAV()池化操作的方向均沿着通道方向；分别对特征图M1+M2沿着通道方向做全局最大池化操作和全局平均池化操作后得到第一矩阵和第二矩阵，S1表示将第一矩阵与第二矩阵作差后得到的第三矩阵；分别对特征图W
n
‑1沿着通道方向做全局最大池化操作和全局平均池化操作后得到第四矩阵和第五矩阵，S2表示将第四矩阵与第五矩阵作差后得到的第六矩阵；分别对特征图M1+M2和特征图W
n
‑1沿着通道方向做全局方差池化操作后得到第七矩阵和第八矩阵，S3表示将第七矩阵与第八矩阵相加后得到的第九矩阵；f
W
()表示卷积核大小为1*1的卷积运算，θ
W
()为非线性激活函数sigmoid，[
·
]表示将其中的特征图拼接，LG表示所述左翼注意力模块输出的左翼调制图。
[0008]进一步地，所述右翼注意力模块按照如下数学公式对特征图进行操作：进一步地，所述右翼注意力模块按照如下数学公式对特征图进行操作：进一步地，所述右翼注意力模块按照如下数学公式对特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于仓库调度的图像超分辨率重建方法，其特征是：包括以下步骤：S100、获取深度学习网络，利用训练集对所述深度学习网络进行训练；所述深度学习网络包括依次设置的头级卷积层、深层特征抽取单元和图像重建单元，所述深层特征抽取单元包括顺次连接的多个多头特征映射模块；S200、获取待重建的场景图像，将所述场景图像输入步骤S100中训练好的深度学习网络，经过所述头级卷积层对所述场景图像进行卷积运算后，输出得到具象特征图；S300、将所述具象特征图输入所述深层特征抽取单元，依次利用各个所述多头特征映射模块对特征图进行操作后，所述深层特征抽取单元输出抽象特征图；所述多头特征映射模块对特征图的操作过程表示为如下数学模型：征映射模块对特征图的操作过程表示为如下数学模型：征映射模块对特征图的操作过程表示为如下数学模型：征映射模块对特征图的操作过程表示为如下数学模型：征映射模块对特征图的操作过程表示为如下数学模型：征映射模块对特征图的操作过程表示为如下数学模型：征映射模块对特征图的操作过程表示为如下数学模型：征映射模块对特征图的操作过程表示为如下数学模型：其中，W
n
‑1表示从第一端口输入多头特征映射模块的特征图，H
n
‑1表示从第二端口输入多头特征映射模块的特征图，U
n
‑1表示从第三端口输入多头特征映射模块的特征图，f31()、f32()、f51()和f52()均表示普通的卷积运算处理层，f31()和f32()的卷积核大小为3*3，f51()和f52()的卷积核大小为5*5，ρ1()、ρ2()、ρ3()和ρ4()均代表非线性激活函数ReLU，M1表示经过ρ1()函数激活后输出得到的特征图，M2表示经过ρ2()函数激活后输出得到的特征图，f
LA
()表示左翼注意力模块，LG表示左翼注意力模块输出的左翼调制图，f
RA
()表示右翼注意力模块，RG表示右翼注意力模块输出的右翼调制图，
×
表示元素对应乘积，[
·
]表示将其中的特征图做拼接操作，M3表示左翼调制图校准特征图M1、右翼调制图校准特征图M2后拼接得到的特征图，f
TM
()表示中路特征整合模块，W
n
表示从多头特征映射模块的第四端口输出的特征图，W
n
作为下游多头特征映射模块第一端口的输入，H
n
表示从多头特征映射模块的第五端口输出的特征图，H
n
作为下游多头特征映射模块第二端口的输入，U
n
表示从多头特征映射模块的第六端口输出的特征图，U
n
作为下游多头特征映射模块第三端口的输入；S400、将所述抽象特征图输入所述图像重建单元，所述图像重建单元对特征图进行上采样，并输出重建后的重置图像，所述重置图像的分辨率大于所述场景图像。2.根据权利要求1所述的用于仓库调度的图像超分辨率重建方法，其特征是：所述深度学习网络中设有长跳跃连接，所述具象特征图经所述长跳跃连接输入到所述深层特征抽取单元与所述图像重建单元之间，所述具象特征图与所述抽象特征图相加后，再输入所述图
像重建单元。3.根据权利要求1所述的用于仓库调度的图像超分辨率重建方法，其特征是：所述中路特征整合模块对特征图的运算过程表示为如下数学模型：征整合模块对特征图的运算过程表示为如下数学模型：征整合模块对特征图的运算过程表示为如下数学模型：其中，特征图W
n
和特征图U
n
共同作为所述中路特征整合模块的输入，[

【专利技术属性】
技术研发人员：麻亮，左柳波，刘啸，李一航，刘欢，帅科，唐清霖，刘鹏，
申请(专利权)人：成都运荔枝科技有限公司，
类型：发明
国别省市：