一种动态多物品定位抓取包装方法及系统技术方案

本发明专利技术公开了一种动态多物品定位抓取包装方法及系统，提取目标物品的浅层空间特征和深层语义特征，对提取的浅层空间特征和深层语义特征进行融合及优化，获取目标物品的图像分割图；对图像分割图进行预处理，对处理后的图像分割图进行目标物品轮廓检测，获取目标物品的轮廓点坐标，进一步获取目标物品抓取的位姿信息，并将目标物品抓取至包装盒中；获取目标物品包装的运动轨迹点位姿态信息，结合插值轨迹点规划算法，在运动轨迹点进行插值，获取插值轨迹点关节角信息，将插值轨迹点关节信息集合并封装为目标物品包装运动控制指令集，对目标物品进行封装。灵活度更好，对物品的抓取率更高，降低了现有技术中对机械臂磨损大，人工生产成本高的问题。生产成本高的问题。生产成本高的问题。

【技术实现步骤摘要】
一种动态多物品定位抓取包装方法及系统


[0001]本专利技术属于智能生产与机器人
，涉及一种动态多物品定位抓取包装方法及系统。

技术介绍

[0002]随着智能制造技术得到跨越性发展，在工厂生产流水线，因劳动力成本不断增加和工厂产能无法满足消费者需求的背景下，包装机器人广泛应用于工业生产中，替代人工，提高企业生产效率。
[0003]在工业生产流水线中，通常采用示教器控制机器人完成物品分拣和包装
[0004]由于示教编程生成固定的运动轨迹，很难对无序摆放的物品进行准确抓取；同时未对运动轨迹点的速度和加速度进行限制，造成包装过程机械臂震荡，加速机械臂结构磨损，影响机械臂运动精度。

技术实现思路

[0005]本专利技术的目的在于解决现有技术中的问题，提供一种动态多物品定位抓取包装方法及系统。
[0006]为达到上述目的，本专利技术采用以下技术方案予以实现：
[0007]一种动态多物品定位抓取包装方法，包括以下步骤：
[0008]S1：提取目标物品的浅层空间特征和深层语义特征，对提取的浅层空间特征和深层语义特征进行融合及优化，获取目标物品的图像分割图；
[0009]S2：对图像分割图进行预处理，对处理后的图像分割图进行目标物品轮廓检测，获取目标物品的轮廓点坐标，基于轮廓点坐标信息获取目标物品抓取的位姿信息，并将目标物品抓取至包装盒中；
[0010]S3：获取目标物品包装的运动轨迹点的位姿态信息，结合插值轨迹点规划算法，在运动轨迹点进行插值，获取插值轨迹点关节角信息，将插值轨迹点关节信息集合并封装为目标物品包装运动控制指令集，对目标物品进行封装。
[0011]本专利技术的进一步改进在于：
[0012]所述S1是基于多尺度上下文感知的单分支融合语义分割网络对目标物品进行分割，包括以下步骤：
[0013]S1.1：特征提取
[0014]采用VGG前七层卷积结构作为骨干网络获取浅层空间特征F和浅层语义特征图F
s
，通过上下文感知结构和上下文嵌入层获取深层语义特征F
f
；
[0015]F，F
s
＝F
VGG_7
ꢀꢀꢀ
(I)
[0016]其中，I表示输入的原图，VGG_7表示改进的VGG前七层卷积结构；
[0017]将F
s
作为初始特征图，采用四分之支结构，通过特征金字塔池化获取多尺度特征图F
j
，分别记为F1、F2、F3和F4；
[0018]F
j
＝Up(conv(Adap(F
s
,j)),θ
j
)
[0019]式中，Adap表示自适应平均池化；conv表示1
×
1卷积；θ
j
表示各个1
×
1卷积对应的权重；Up表示上采样；
[0020]通过上下文对比特征图C
j
捕捉特定空间位置特征和相邻空间特征的差异，
[0021]C
j
＝F
j
‑
F
s
[0022]利用上下文对比特征图C
j
获取对应的上下文权重图W
j
，记为W1、W2、W3和W4，
[0023]W
j
＝σ(Conv(C
j
,θ
j
))
[0024]式中，Conv表示1
×
1卷积，生成图像中每个像素位置的权重；σ表示Sigmoid激活函数，将权重值映射到0到1之间；
[0025]上下文权重图W
j
与对应的多尺度特征图F
j
像素级相乘，通过1
×
1卷积将四个分支特征图融合，生成多尺度上下文感知特征图F
r
；
[0026]F
r
＝Conv(multi(W
j
,F
j
))
[0027]式中，multi表示各个多尺度特征图和它对应的上下文权重图逐像素相乘，输出对应的特征图；Conv表示1
×
1卷积，将四个分支的特征图融合，获取多尺度上下文感知特征图F
r
，上下文感知结构包括三个多尺度感知层，三个多尺度感知层输出特征图分别为F
r1
、F
r2
和F
r3
；
[0028]以上下文感知结构输出特征图F
r3
作为输入，通过全局平均池化和1
×
1卷积，降维至C
×1×
1；然后采用广播机制和输入特征图像素级相加，获取深层语义特征图F
f
；
[0029]S1.2：基于获取的浅层空间特征F和深层语义特征图F
f
，分别通过3
×
3卷积、1
×
1卷积和Sigmoid激活函数生成对应的特征引导注意力图，通过特征引导注意力图指导对方的特征图捕获不同的尺度特征，最后通过3
×
3卷积融合特征信息，输出最终的预测分割图F
m
。
[0030]所述S2包括对获取的分割图进行优化：
[0031]以骨干网络获取浅层空间特征F、上下文感知结构中三个多尺度感知层输出特征图F
r1
、F
r2
、F
r3
和预测分割图F
m
作为输入，记为C
i
×
W
i
×
H
i
，通过3
×
3卷积和1
×
1卷积在不改变特征图的大小的前提下，将各个特征图的通道数压缩至类别数N，卷积特征图记为N
×
W
i
×
H
i
，通过上采样,将各个特征图乘以对应的上采样系数Si，最终特征图记为N
×
S
i
W
i
×
S
i
H
i
，
[0032]计算最终特征图和标签图之间的损失，作为网络总损失，记为total_loss，
[0033][0034]式中，oh_loss
j
为各个特征增强训练策略的损失，X
j
表示各个特征增强训练策略模块输出的特征图，W表示特征图对应的真值图。
[0035]所述S2包括以下步骤：
[0036]S2.1：对N个二维轮廓点像素坐标组成2
×
N矩阵，记为：
[0037][0038]对矩阵按列方向求均值，将得到的行向量作为抓取点像素坐标位置P，
[0039][0040]S2.2：对2
×
N矩阵，按列方向分别减去像素坐标位置P的X轴坐标和Y轴坐标，得本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种动态多物品定位抓取包装方法，其特征在于，包括以下步骤：S1：提取目标物品的浅层空间特征和深层语义特征，对提取的浅层空间特征和深层语义特征进行融合及优化，获取目标物品的图像分割图；S2：对图像分割图进行预处理，对处理后的图像分割图进行目标物品轮廓检测，获取目标物品的轮廓点坐标，基于轮廓点坐标信息获取目标物品抓取的位姿信息，并将目标物品抓取至包装盒中；S3：获取目标物品包装的运动轨迹点的位姿态信息，结合插值轨迹点规划算法，在运动轨迹点进行插值，获取插值轨迹点关节角信息，将插值轨迹点关节信息集合并封装为目标物品包装运动控制指令集，对目标物品进行封装。2.根据权利要求1所述的一种动态多物品定位抓取包装方法，其特征在于，所述S1是基于多尺度上下文感知的单分支融合语义分割网络对目标物品进行分割，包括以下步骤：S1.1：特征提取采用VGG前七层卷积结构作为骨干网络获取浅层空间特征F和浅层语义特征图F
s
，通过上下文感知结构和上下文嵌入层获取深层语义特征F
f
；F，F
s
＝F
VGG_7
(I)其中，I表示输入的原图，VGG_7表示改进的VGG前七层卷积结构；将F
s
作为初始特征图，采用四分之支结构，通过特征金字塔池化获取多尺度特征图F
j
，分别记为F1、F2、F3和F4；F
j
＝Up(conv(Adap(F
s
,j)),θ
j
)式中，Adap表示自适应平均池化；conv表示1
×
1卷积；θ
j
表示各个1
×
1卷积对应的权重；Up表示上采样；通过上下文对比特征图C
j
捕捉特定空间位置特征和相邻空间特征的差异，C
j
＝F
j
‑
F
s
利用上下文对比特征图C
j
获取对应的上下文权重图W
j
，记为W1、W2、W3和W4，W
j
＝σ(Conv(C
j
,θ
j
))式中，Conv表示1
×
1卷积，生成图像中每个像素位置的权重；σ表示Sigmoid激活函数，将权重值映射到0到1之间；上下文权重图W
j
与对应的多尺度特征图F
j
像素级相乘，通过1
×
1卷积将四个分支特征图融合，生成多尺度上下文感知特征图F
r
；F
r
＝Conv(multi(W
j
,F
j
))式中，multi表示各个多尺度特征图和它对应的上下文权重图逐像素相乘，输出对应的特征图；Conv表示1
×
1卷积，将四个分支的特征图融合，获取多尺度上下文感知特征图F
r
，上下文感知结构包括三个多尺度感知层，三个多尺度感知层输出特征图分别为F
r1
、F
r2
和F
r3
；以上下文感知结构输出特征图F
r3
作为输入，通过全局平均池化和1
×
1卷积，降维至C
×1×
1；然后采用广播机制和输入特征图像素级相加，获取深层语义特征图F
f
；S1.2：基于获取的浅层空间特征F和深层语义特征图F
f
，分别通过3
×
3卷积、1
×
1卷积和Sigmoid激活函数生成对应的特征引导注意力图，通过特征引导注意力图指导对方的特征图捕获不同的尺度特征，最后通过3
×
3卷积融合特征信息，输出最终的预测分割图F
m
。
3.根据权利要求2所述的一种动态多物品定位抓取包装方法，其特征在于，所述S2包括对获取的分割图进行优化：以骨干网络获取浅层空间特征F、上下文感知结构中三个多尺度感知层输出特征图F
r1
、F
r2
、F
r3
和预测分割图F
m
作为输入，记为C
i
×
W
i
×
H
i
，通过3
×
3卷积和1
×
1卷积在不改变特征图的大小的前提下，将各个特征图的通道数压缩至类别数N，卷积特征图记为N
×
W
i
×
H
i
，通过上采样,将各个特征图乘以对应的上采样系数Si，最终特征图记为N
×
S
i...

【专利技术属性】
技术研发人员：孟月波，黄琪，韩九强，徐胜军，刘光辉，
申请(专利权)人：西安建筑科技大学，
类型：发明
国别省市：