基于生存对抗的工业机器人视觉图像识别方法及系统技术方案

本发明专利技术属于机器人视觉图像处理领域，具体涉及了一种基于生存对抗的工业机器人视觉图像识别方法、系统、装置，旨在解决现有技术无法针对不同类型的干扰以及对于无干扰图像进行处理导致效率低的问题。本发明专利技术包括：对获取的工业机器人视觉图像以及各工件对应的模板图像进行模板匹配，能够匹配的直接输出匹配后的识别结果，不能匹配的通过分类网络依据干扰类型进行分类；调用干扰类型对应的图像还原子网络进行生成还原图像；将还原图像与各目标图像进行模板匹配，输出匹配后的识别结果。本发明专利技术针对不同类型的干扰训练对应的图像还原子网络，可生成更加清晰的无干扰图像，对于清晰的图像则直接进行图像匹配，图像识别精度高、效率高、占用系统资源少。

【技术实现步骤摘要】
基于生存对抗的工业机器人视觉图像识别方法及系统
本专利技术属于机器人视觉图像处理领域，具体涉及了一种基于生存对抗的工业机器人视觉图像识别方法、系统、装置。
技术介绍
机器人飞速发展的今天，工业机器人在制造业中的应用也越来越广泛。如汽车及汽车零部件制造、机械加工、电子电气生产、橡胶及塑料制造、食品加工、木材与家具制造等领域的自动化生产过程中，机器人作业发挥着重要作用。机器人对工业零件的抓取是制造业的自动化生产中一项常见的任务。目前，视觉引导与定位技术成为工业机器人获得作业周围环境信息的主要手段。工业环境中环境光的变化以及各种噪声，例如高斯噪声、模糊等，大大降低了工件识别的精度，因此，需要对各种复杂的环境下获得的机器人视觉图像进行预处理。现有的工业机器人视觉图像预处理方法不能处理各种不同类型干扰的图像，并且对于清晰无干扰的图像也需要进行预处理，这大大降低了图像识别和定位的效率，占用系统资源多。
技术实现思路
为了解决现有技术中的上述问题，即现有技术无法针对不同类型的干扰以及对于无干扰图像进行处理导致效率低的问题，本专利技术提供了一种基于生存对抗的工业机器人视觉图像识别方法，该视觉图像识别方法包括：步骤S10，获取工业机器人视觉图像作为输入图像，获取各工件对应的清晰图像作为各模板图像；步骤S20，通过模板匹配方法进行所述输入图像与各模板图像的匹配，若能够匹配，则与所述输入图像匹配的模板图像对应的工件类型为所述输入图像对应的识别结果；否则，跳转步骤S30；步骤S30，获取所述输入图像对应的干扰类型，并通过图像还原网络获取所述输入图像对应的还原图像；步骤S40，将所述还原图像替换其对应的输入图像并跳转步骤S20；其中，所述图像还原网络包括各类型干扰对应的图像还原子网络；所述图像还原子网络基于生成对抗网络构建，并分别以不同类型的干扰图像及其对应的清晰图像作为训练样本对集进行训练。在一些优选的实施例中，步骤S20中“通过模板匹配方法进行所述输入图像与各模板图像的匹配”，其方法为：步骤S21，通过模板匹配方法分别计算所述输入图像与各模板图像中每一个模板图像的归一化互相关值；步骤S22，若所述归一化互相关值中的最大值大于设定第一阈值，则所述最大值对应的模板图像与所述输入图像匹配。在一些优选的实施例中，步骤S21中“计算所述输入图像与各模板图像中每一个模板图像的归一化互相关值”，其方法为：其中，N＝xy，分别代表输入图像、模板图像窗口的平均灰度值，Image1、Image2分别代表输入图像、模板图像中当前像素点(x，y)的灰度值。在一些优选的实施例中，步骤S20之前还设置有输入图像匹配效率提升的步骤，其方法为：将所述输入图像构建为高斯金字塔；所述高斯金字塔中分辨率较低的图像用于搜索目标对象，实现快速匹配；所述高斯金字塔中分辨率较高的图像用于搜索深度细节，实现精细匹配。在一些优选的实施例中，所述图像还原网络中任意一个干扰类型对应的图像还原子网络，其训练方法为：步骤B10，获取当前干扰类型对应的带干扰图像及对应的清晰图像作为训练样本对集；基于生成对抗网络构建图像还原子网络；步骤B20，随机选取所述训练样本对集中一个训练样本对，并将该训练样本对中的带干扰图像生成样本还原图像；步骤B30，计算所述样本还原图像与对应的清晰图像之间的总损失函数值；步骤B40，若所述总损失函数值大于设定第二阈值，则更新所述图像还原子网络的参数，跳转步骤B20；步骤B50，重复执行步骤B20-步骤B40直至达到预设的训练次数，获得当前干扰类型对应的图像还原子网络。在一些优选的实施例中，所述总损失函数为：Lall(G，Dz，F，Dx)＝LGAN(G，Dz)+LGAN(F，Dx)+αLcyc(G，F)+βLidentity(G，D)其中，Lall代表总损失函数，LGAN代表对抗损失函数，Lcyc代表周期一致性损失函数，Lidentity代表同一性损失函数，G、F分别代表网络正向生成器、反向生成器，Dz、Dx分别代表正向判别器、反向鉴别器，α、β分别为平衡周期一致性损失、同一性损失的权重值。在一些优选的实施例中，所述对抗损失函数为：其中，z～Pz表示z是训练样本对集里面的真实样本，x～Px表示x是来自于图像还原子网络中生成器生成的样本；代表样本z被判别器判定为真实样本的概率的数学期望、分别代表样本x被判别器判定为真实样本的概率的数学期望；Dz用来区分生成器生成的图像G(x)和来自于训练样本对集Z中的真实图像，Dz(z)代表判定的图像是真实样本，Dz(G(x))代表判定的图像是生成器G生成的样本。在一些优选的实施例中，所述周期一致性损失函数为：其中，F(z)代表将B域的图像转换到A域的反向生成器，F(G(x))代表将A域的图像转换到B域后再从B域转换回A域，G(F(z))代表将图像从B域转换到A域后再从A域转换回B域，‖*‖1代表L1损失，A域、B域分别为网络对抗训练过程中两个真实数据集域。在一些优选的实施例中，所述同一性损失函数为：其中，F(z)代表将B域的图像转换到A域的反向生成器，‖*‖1代表L1损失，A域、B域分别为网络对抗训练过程中两个真实数据集域。本专利技术的另一方面，提出了一种基于生存对抗的工业机器人视觉图像识别系统，该视觉图像识别系统包括输入模块、匹配模块、分类模块、图像还原模块、输出模块；所述输入模块，配置为获取工业机器人视觉图像作为输入图像，获取各工件对应的清晰图像作为各模板图像，并将获取的图像输入至所述匹配模块；所述匹配模块，配置为通过模板匹配方法进行所述输入图像与各模板图像的匹配，若能够匹配，则与所述输入图像匹配的模板图像对应的工件类型为所述输入图像对应的识别结果，将所述识别结果发送至所述输出模块；否则，跳转所述分类模块；所述分类模块，配置为获取所述输入图像的干扰类型，并跳转至所述图像还原模块；所述图像还原模块，配置为依据所述分类模块获取的所述输入图像的干扰类型调用对应的图像还原子网络，生成还原图像，以所述还原图像替代输入图像并跳转所述匹配模块；所述输出模块，配置为输出获取的输入图像对应的识别结果。本专利技术的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于生存对抗的工业机器人视觉图像识别方法。本专利技术的第四方面，提出了一种处理装置，包括处理器、存储装置；所述处理器，适于执行各条程序；所述存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于生存对抗的工业机器人视觉图像识别方法。本专利技术的有益效果：(1)本专利技术基于生存对抗的工业机器人视觉图像识别方法，提出了一种新的基于生成对抗网络的工业机器人视觉图像预处理的方法，可对图像存在多种干扰时进行图像复原，首先对图像的干扰类型进行了分类，根据不同的干扰本文档来自技高网...

【技术保护点】
1.一种基于生存对抗的工业机器人视觉图像识别方法，其特征在于，该视觉图像识别方法包括：/n步骤S10，获取工业机器人视觉图像作为输入图像，获取各工件对应的清晰图像作为各模板图像；/n步骤S20，通过模板匹配方法进行所述输入图像与各模板图像的匹配，若能够匹配，则与所述输入图像匹配的模板图像对应的工件类型为所述输入图像对应的识别结果；否则，跳转步骤S30；/n步骤S30，获取所述输入图像对应的干扰类型，并通过图像还原网络获取所述输入图像对应的还原图像；/n步骤S40，将所述还原图像替换其对应的输入图像并跳转步骤S20；/n其中，所述图像还原网络包括各类型干扰对应的图像还原子网络；所述图像还原子网络基于生成对抗网络构建，并分别以不同类型的干扰图像及其对应的清晰图像作为训练样本对集进行训练。/n

【技术特征摘要】
1.一种基于生存对抗的工业机器人视觉图像识别方法，其特征在于，该视觉图像识别方法包括：
步骤S10，获取工业机器人视觉图像作为输入图像，获取各工件对应的清晰图像作为各模板图像；
步骤S20，通过模板匹配方法进行所述输入图像与各模板图像的匹配，若能够匹配，则与所述输入图像匹配的模板图像对应的工件类型为所述输入图像对应的识别结果；否则，跳转步骤S30；
步骤S30，获取所述输入图像对应的干扰类型，并通过图像还原网络获取所述输入图像对应的还原图像；
步骤S40，将所述还原图像替换其对应的输入图像并跳转步骤S20；
其中，所述图像还原网络包括各类型干扰对应的图像还原子网络；所述图像还原子网络基于生成对抗网络构建，并分别以不同类型的干扰图像及其对应的清晰图像作为训练样本对集进行训练。


2.根据权利要求1所述的基于生存对抗的工业机器人视觉图像识别方法，其特征在于，步骤S20中“通过模板匹配方法进行所述输入图像与各模板图像的匹配”，其方法为：
步骤S21，通过模板匹配方法分别计算所述输入图像与各模板图像中每一个模板图像的归一化互相关值；
步骤S22，若所述归一化互相关值中的最大值大于设定第一阈值，则所述最大值对应的模板图像与所述输入图像匹配。


3.根据权利要求1所述的基于生存对抗的工业机器人视觉图像识别方法，其特征在于，步骤S21中“计算所述输入图像与各模板图像中每一个模板图像的归一化互相关值”，其方法为：



其中，N＝xy，分别代表输入图像、模板图像窗口的平均灰度值，Image1、Image2分别代表输入图像、模板图像中当前像素点(x，y)的灰度值。


4.根据权利要求1所述的基于生存对抗的工业机器人视觉图像识别方法，其特征在于，步骤S20之前还设置有输入图像匹配效率提升的步骤，其方法为：
将所述输入图像构建为高斯金字塔；所述高斯金字塔中分辨率较低的图像用于搜索目标对象，实现快速匹配；所述高斯金字塔中分辨率较高的图像用于搜索深度细节，实现精细匹配。


5.根据权利要求1所述的基于生存对抗的工业机器人视觉图像识别方法，其特征在于，所述图像还原网络中任意一个干扰类型对应的图像还原子网络，其训练方法为：
步骤B10，获取当前干扰类型对应的带干扰图像及对应的清晰图像作为训练样本对集；基于生成对抗网络构建图像还原子网络；
步骤B20，随机选取所述训练样本对集中一个训练样本对，并将该训练样本对中的带干扰图像生成样本还原图像；
步骤B30，计算所述样本还原图像与对应的清晰图像之间的总损失函数值；
步骤B40，若所述总损失函数值大于设定第二阈值，则更新所述图像还原子网络的参数，跳转步骤B20；
步骤B50，重复执行步骤B20-步骤B40直至达到预设的训练次数，获得当前干扰类型对应的图像还原子网络。


6.根据权利要求5所述的基于生存对抗的工业机器人视觉图像识别方法，其特征在于，所述总损失函数为：
Lall(G，Dz，F，Dx)＝LGAN(G，Dz)+LGAN(F，Dx)+αLcys(G，F)+βLident...

【专利技术属性】
技术研发人员：李玉苹，蒋应元，聂祥丽，乔红，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京;11