一种机器人视觉引导抓取方法技术

本发明专利技术涉及一种机器人视觉引导抓取方法，输入待抓取工件图样，通过虚拟引擎生成工件的虚拟图片；将视觉系统采集的图像裁剪拼接，并配合随机算法，生成工件在不同位置下的均匀分布图像；利用cycleGAN网络对图像进行优化，并引入梯度损失函数和多通道混合注意力机制以提升提高检测模型的图像的清晰度及提高学习效率与生成效果；利用yolov7算法预测工件表面关键点检测，通过提出的GeIOU函数作为损失函数提高预测准确度；利用EPnP算法将工件表面关键点转换为位资关键点，同时通过6DOF位姿计算完成抓取位置计算。本发明专利技术通过梯度损失函数和多通道混合注意力机制提高网络的学习效率与生成效果，同时在保证生成图像清晰度的前提下，消除拼接图像中工件与背景的灰度差。消除拼接图像中工件与背景的灰度差。消除拼接图像中工件与背景的灰度差。

【技术实现步骤摘要】
一种机器人视觉引导抓取方法


[0001]本专利技术涉及高端装备的智能制造领域，具体的说是一种机器人视觉引导抓取方法。

技术介绍

[0002]机器视觉技术是人工智能的核心，基于机器视觉的的机器人视觉引导技术在与机器人相关的集成与应用中正发挥着越来越重要的作用。工业领域现有的6DOF机器人视觉引导定位方法主要是基于立体视觉或结构光的视觉系统，此类方法普遍存在测量速度慢，测量面积小及使用成本高的问题。而已有的单目视觉6DOF机器人视觉引导与位姿测量方法又存在定位精度低、易受外界环境光干扰等问题。
[0003]本文针对工业环境下，机器人抓取对象时面临的6DOF位姿测量成本高，测量鲁棒性差的问题，提出了一种基于单目视觉的机器人视觉引导测略，实现了对目标工件6DOF位姿的高精度鲁棒测量。所提方法主要包含一种基于虚拟现实技术的图像数据增强算法和一种结合多关键点检测模型与Epnp算法的6DOF位姿测量算法两部分。前者通过图像增强技术实现了对小样本工业对象的数据增强，解决了工业对象因图像采集成本高，采集周期长导致检测模型鲁棒性差的问题。后者通过单幅图象完成了对目标工件的6DOF位姿测量，实现了依靠单目相机对目标工件的低成本6DOF位姿测量。

技术实现思路

[0004]现为了解决上述技术问题，本专利技术提出了一种机器人视觉引导抓取方法。本专利技术所要解决的技术问题采用以下技术方案来实现：
[0005]一种机器人视觉引导抓取方法，该方法包括以下步骤：
[0006]第一步：输入待抓取工件图样，通过虚拟引擎生成工件在不同背景、不同环境和不同数量的虚拟图片；
[0007]第二步：将视觉系统采集的图像裁剪拼接，并配合随机算法，生成工件在不同位置下的均匀分布图像；
[0008]第三步：利用cycleGAN网络对第二步生成的图像进行优化，并引入梯度损失函数和多通道混合注意力机制以提升图像的清晰度及提高检测模型的学习效率与生成效果；
[0009]第四步：利用yolov7算法预测工件表面关键点检测，并通过提出的GeIOU函数作为损失函数提高预测准确度；
[0010]第五步：利用EPnP算法将工件表面关键点转换为位资关键点，同时通过6DOF位姿计算完成抓取位置计算。
[0011]第三步中梯度损失函数公式为：LossT＝|Grad(X)
‑
Grad(Y)|
×
α；
[0012]其中X为输入图像，Y为网络生成的输出图像，α为LossT的权重系数。
[0013]改进后的cycleGAN网络损失函数为Loss＝Loss
cycle
+LossT；
[0014]其中Loss
cycle
为原cycleGAN网络的损失函数。
[0015]第四步中预测关键点计算公式如下：
[0016][0017]其中，IOU为关键点真值面积与预测面积的交并比，ρ2(A,B)为预测值与真值中心点坐标的欧式距离，c为包住它们的最小方框的对角线距离。
[0018]第五步中抓取位置计算利用通过以下步骤进行：
[0019]第一步：当工业机器人抓取工件时，利用公式进行计算，其中为工业机器人抓取位姿。而
T
T
P
为工件在机器人抓手坐标系下的位姿；
[0020]工业机器人对工件拍照时，利用公式进行计算，其中，为视觉系统获取图片时的机器人位姿。
CT
T
C
已在手眼标定中得到。
C
T
P
为工件相对于视觉系统的位姿，由视觉系统直接获取；
[0021]第二步：将第一步中公式联立可得
[0022]第三步：通过第二步中公式可得，当工业机器人对不同位置的工件进行拍照时利用公式进行计算，其中与为视觉系统所检测工件的坐标，而即为目标工件在机器人坐标系下的抓取位姿。
[0023]本专利技术的有益效果是：本专利技术通过梯度损失函数和多通道混合注意力机制提高网络的学习效率与生成效果，同时在保证生成图像清晰度的前提下，消除拼接图像中工件与背景的灰度差。本专利技术中通过在yolov7的损失函数中加入了GeIOU提升网络的关键点检测的精度。
附图说明
[0024]下面结合附图和实施例对本专利技术进一步说明。
[0025]图1为本专利技术的工作流程示意图；
[0026]图2为本专利技术的传统yolov7网络结构示意图；
[0027]图3为本专利技术的改进后yolov7网络结构示意图。
具体实施方式
[0028]为了使本领域的技术人员更好的理解本专利技术的技术方案，下面将结合实施例中的附图，对本专利技术进行更清楚、更完整的阐述，当然所描述的实施例只是本专利技术的一部分而非全部，基于本实施例，本领域技术人员在不付出创造性劳动性的前提下所获得的其他的实施例，均在本专利技术的保护范围内。
[0029]如图1至图3所示，一种机器人视觉引导抓取方法，该方法包括以下步骤：
[0030]第一步：输入待抓取工件图样，通过虚拟引擎生成工件在不同背景、不同环境和不同数量的虚拟图片；使用虚拟引擎直接创建目标工件的小样本图像，配合虚拟引擎的渲染功能，可获得工件在不同背景与光照环境下的图像；
[0031]第二步：将视觉系统采集的图像裁剪拼接，并配合随机算法，生成工件在不同位置下的均匀分布图像；通过图像裁剪、图像拼接技术，配合随机分配算法，生成工件在不同位
置下的均匀分布图像。在丰富图像数据的同时，减小了深度神经网络训练中陷入局部极小值的概率；
[0032]第三步：利用cycleGAN网络对第二步生成的图像进行优化，并引入梯度损失函数和多通道混合注意力机制以提升检测模型的图像的清晰度及提高学习效率与生成效果；拼接图像的梯度图中存在明显的矩形方框。针对这种情况，本专利技术设计了图像梯度损失函数，通过梯度损失函数，在保证生成图像清晰度的前提下，消除拼接图像中工件与背景的灰度差；通过多通道混合注意力机制与cycleGAN网络结合提高网络的学习效率与生成效果；通过改进后的cycleGAN图像生成技术，解决拼接算法背景不一致的问题，进而提升后续目标检测网络对工业小样本对象的检测鲁棒性与稳定性；
[0033]第四步：利用yolov7算法预测工件表面关键点检测，并通过提出的GeIOU函数作为损失函数提高预测准确度；如图2至图3所示使用swin
‑
transformer、PConv和GAM三种模块yolov7网络进行改进；swin
‑
transformer将具有很强建模能力的Transformer结构和重要的视觉信号结合起来。与传统的卷积神经网络方法相比，swin
‑
transformer在训练效率方面表现出较明显的优势；并且transformer架构可以单独使用，也可以与常规卷积网络混合使用，具有良好的扩展性。利用一个swin
‑
transformer模块本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种机器人视觉引导抓取方法，其特征在于：该方法包括以下步骤：第一步：输入待抓取工件图样，通过虚拟引擎生成工件在不同背景、不同环境和不同数量的虚拟图片；第二步：将视觉系统采集的图像裁剪拼接，并配合随机算法，生成工件在不同位置下的均匀分布图像；第三步：利用cycleGAN网络对第二步生成的图像进行优化，并引入梯度损失函数和多通道混合注意力机制以提升图像的清晰度及提高检测模型的学习效率与生成效果；第四步：利用yolov7算法预测工件表面关键点检测，并通过提出的GeIOU函数作为损失函数提高预测准确度；第五步：利用EPnP算法将工件表面关键点转换为位资关键点，同时通过6DOF位姿计算完成抓取位置计算。2.根据权利要求1所述的一种机器人视觉引导抓取方法，其特征在于：第三步中梯度损失函数公式为：LossT＝|Grad(X)
‑
Grad(Y)|
×
α；其中X为输入图像，Y为网络生成的输出图像，α为LossT的权重系数。3.根据权利要求2所述的一种机器人视觉引导抓取方法，其特征在于：改进后的cycleGAN网络损失函数为Loss＝Loss
cycle
+LossT；其中Loss

【专利技术属性】
技术研发人员：万国扬，赵继兴，刘丙友，张健，周星源，陈金城，陶秀文，黄志远，何琴，汪倩倩，柏受军，
申请(专利权)人：华能巢湖发电有限责任公司，
类型：发明
国别省市：