基于虚拟样本深度学习的工件轮廓特征提取方法及装置制造方法及图纸

本发明专利技术提供一种基于虚拟样本深度学习的工件轮廓特征提取方法及装置，涉及图像处理技术领域，虚拟样本生成方法包括：基于工件的模型文件获取工件的模拟仿真图像及所述模拟仿真图像对应的真实轮廓特征；将所述工件的模拟仿真图像及所述模拟仿真图像对应的真实轮廓特征确定为训练样本。本发明专利技术实施例能够提高获取训练样本的效率。取训练样本的效率。取训练样本的效率。

【技术实现步骤摘要】
基于虚拟样本深度学习的工件轮廓特征提取方法及装置


[0001]本专利技术涉及图像处理
，尤其涉及一种基于虚拟样本深度学习的工件轮廓特征提取方法及装置。

技术介绍

[0002]随着科技的发展，机器人的智能化程度越来越高，能够为人类的生产和生活带来极大的便利。工业机器人依赖机器视觉系统完成任务，机器视觉系统能够代替人眼作各种测量和判断，是计算科的一个重要分支。机器视觉系统包括视觉感知模块，视觉感知模块通过神经网络模型提取工件的轮廓特征。现有技术中，在对用于提取工件的轮廓特征的神经网络模型进行训练时，需要人工在工业现场拍摄大量的工件的图像作为训练样本，效率较低。

技术实现思路

[0003]本专利技术实施例提供一种基于虚拟样本深度学习的工件轮廓特征提取方法及装置，以解决现有技术中在对用于提取工件的轮廓特征的神经网络模型进行训练时，需要人工在工业现场拍摄大量的工件的图像作为训练样本，效率较低的问题。
[0004]为解决上述技术问题，本专利技术是这样实现的：
[0005]第一方面，本专利技术实施例提供了一种虚拟样本生成方法，所述方法包括：
[0006]基于工件的模型文件获取工件的模拟仿真图像及所述模拟仿真图像对应的真实轮廓特征；
[0007]将所述工件的模拟仿真图像及所述模拟仿真图像对应的真实轮廓特征确定为训练样本。
[0008]可选的，所述基于工件的模型文件获取工件的模拟仿真图像及所述模拟仿真图像对应的真实轮廓特征，包括：
[0009]基于工件的模型文件分别获取所述工件在多个采样姿态下的模拟仿真图像；
[0010]获取每个所述采样姿态下的模拟仿真图像对应的真实轮廓特征。
[0011]可选的，所述基于工件的模型文件获取工件的模拟仿真图像及所述模拟仿真图像对应的真实轮廓特征之后，所述方法还包括：
[0012]将所述模拟仿真图像与背景信息输入注意力引导生成对抗网络模型，生成类真实图像，所述背景信息用于表征真实图像的背景；
[0013]将所述类真实图像添加至所述训练样本中。
[0014]可选的，所述基于工件的模型文件获取工件的模拟仿真图像及所述模拟仿真图像对应的真实轮廓特征，包括：
[0015]基于所述工件的模型文件分别获取所述工件在多个虚拟环境渲染下得到的模拟仿真图像；
[0016]获取每个所述虚拟环境下的模拟仿真图像对应的真实轮廓特征。
[0017]第二方面，本专利技术实施例提供了一种模型训练方法，所述方法包括：
[0018]将训练样本中的模拟仿真图像输入生成对抗网络模型中的生成器，得到预测轮廓特征，所述生成对抗网络模型包括所述生成器和判别器，所述训练样本采用第一方面所述的虚拟样本生成方法获得；
[0019]将所述预测轮廓特征及所述训练样本中的真实轮廓特征输入所述判别器，得到判别结果；
[0020]基于所述判别结果对应的损失值更新所述生成器的网络参数，得到训练的生成对抗网络模型。
[0021]可选的，所述生成器包括残差网络模块、非局部神经网络模块及金字塔池化模块，所述将训练样本中的模拟仿真图像输入生成对抗网络模型中的生成器，得到预测轮廓特征，包括：
[0022]将训练样本中的模拟仿真图像输入所述残差网络模块进行编码处理，得到第一处理结果；
[0023]将所述第一处理结果输入所述非局部神经网络模块进行特征加权处理，得到第二处理结果；
[0024]将所述第二处理结果输入所述金字塔池化模块进行解码处理，得到预测轮廓特征。
[0025]可选的，所述将所述预测轮廓特征及所述训练样本中的真实轮廓特征输入所述判别器，得到判别结果，包括：
[0026]采用K最邻近分类算法对所述预测轮廓特征进行可视化处理，得到处理后的预测轮廓特征；
[0027]将所述处理后的预测轮廓特征及所述训练样本中的真实轮廓特征输入所述判别器，得到判别结果。
[0028]第三方面，本专利技术实施例提供了基于虚拟样本深度学习的工件轮廓特征提取方法，所述方法包括：
[0029]将待处理图像输入训练的生成对抗网络模型中的生成器，所述训练的生成对抗网络模型采用第二方面所述的模型训练方法训练获得；
[0030]基于所述生成器的输出确定所述待处理图像对应的轮廓特征图像。
[0031]第四方面，本专利技术实施例提供了一种虚拟样本生成装置，所述装置包括：
[0032]获取模块，用于基于工件的模型文件获取工件的模拟仿真图像及所述模拟仿真图像对应的真实轮廓特征；
[0033]确定模块，用于将所述工件的模拟仿真图像及所述模拟仿真图像对应的真实轮廓特征确定为训练样本。
[0034]可选的，所述获取模块具体用于：
[0035]基于工件的模型文件分别获取所述工件在多个采样姿态下的模拟仿真图像；
[0036]获取每个所述采样姿态下的模拟仿真图像对应的真实轮廓特征。
[0037]可选的，所述装置还包括：
[0038]生成模块，用于将所述模拟仿真图像与背景信息输入注意力引导生成对抗网络模型，生成类真实图像，所述背景信息用于表征真实图像的背景；
[0039]添加模块，用于将所述类真实图像添加至所述训练样本中。
[0040]可选的，所述获取模块具体用于：
[0041]基于所述工件的模型文件分别获取所述工件在多个虚拟环境渲染下得到的模拟仿真图像；
[0042]获取每个所述虚拟环境下的模拟仿真图像对应的真实轮廓特征。
[0043]第五方面，本专利技术实施例提供了一种模型训练装置，所述模型训练装置包括：
[0044]第一输入模块，用于将训练样本中的模拟仿真图像输入生成对抗网络模型中的生成器，得到预测轮廓特征，所述生成对抗网络模型包括所述生成器和判别器，所述训练样本采用第一方面所述的虚拟样本生成方法获得；
[0045]第二输入模块，用于将所述预测轮廓特征及所述训练样本中的真实轮廓特征输入所述判别器，得到判别结果；
[0046]更新模块，用于基于所述判别结果对应的损失值更新所述生成器的网络参数，得到训练的生成对抗网络模型。
[0047]可选的，所述生成器包括残差网络模块、非局部神经网络模块及金字塔池化模块，所述第一输入模块具体用于：
[0048]将训练样本中的模拟仿真图像输入所述残差网络模块进行编码处理，得到第一处理结果；
[0049]将所述第一处理结果输入所述非局部神经网络模块进行特征加权处理，得到第二处理结果；
[0050]将所述第二处理结果输入所述金字塔池化模块进行解码处理，得到预测轮廓特征。
[0051]可选的，所述第二输入模块具体用于：
[0052]采用K最邻近分类算法对所述预测轮廓特征进行可视化处理，得到处理后的预测轮廓特征；
[0053]将所述处理后的预测轮廓特征及所述训练样本中的真实轮廓特征输入所述判别器，得到判别结果。
[0054]第六方面，本发本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟样本生成方法，其特征在于，所述方法包括：基于工件的模型文件获取工件的模拟仿真图像及所述模拟仿真图像对应的真实轮廓特征；将所述工件的模拟仿真图像及所述模拟仿真图像对应的真实轮廓特征确定为训练样本。2.根据权利要求1所述的方法，其特征在于，所述基于工件的模型文件获取工件的模拟仿真图像及所述模拟仿真图像对应的真实轮廓特征，包括：基于工件的模型文件分别获取所述工件在多个采样姿态下的模拟仿真图像；获取每个所述采样姿态下的模拟仿真图像对应的真实轮廓特征。3.根据权利要求1所述的方法，其特征在于，所述基于工件的模型文件获取工件的模拟仿真图像及所述模拟仿真图像对应的真实轮廓特征之后，所述方法还包括：将所述模拟仿真图像与背景信息输入注意力引导生成对抗网络模型，生成类真实图像，所述背景信息用于表征真实图像的背景；将所述类真实图像添加至所述训练样本中。4.根据权利要求1所述的方法，其特征在于，所述基于工件的模型文件获取工件的模拟仿真图像及所述模拟仿真图像对应的真实轮廓特征，包括：基于所述工件的模型文件分别获取所述工件在多个虚拟环境渲染下得到的模拟仿真图像；获取每个所述虚拟环境下的模拟仿真图像对应的真实轮廓特征。5.一种模型训练方法，其特征在于，所述方法包括：将训练样本中的模拟仿真图像输入生成对抗网络模型中的生成器，得到预测轮廓特征，所述生成对抗网络模型包括所述生成器和判别器，所述训练样本采用权利要求1
‑
4中任一项所述的虚拟样本生成方法获得；将所述预测轮廓特征及所述训练样本中的真实轮廓特征输入所述判别器，得到判别结果；基于所述判别结果对应的损失值更新所述生成器的网络参数，得到训练的生成对抗网络模型。6.根据权利要求5所述的方法，其特征在于，所述生成器包括残差网络模块、非局部神经网络模块及金字塔池化模块，所述将训练样本中的模拟仿真图像输入生成对抗网络模型中的生成器，得到预测轮廓特征，包括：将训练样本中的模拟仿真图像输入所述残差网络模块进行编码处理，得到第一处理结果；将所述第一处理结果输入所述非局部神经网络模块进行特征加权处理，得到第二处理结果；将所述第二处理结果输入所述金字塔池化模块进行解码处理，得到预测轮廓特征。7.根据权利要求5所述的方法，其特征在于，所述将所述预测轮廓特征及所述训练样本中的真实...

【专利技术属性】
技术研发人员：谷朝臣，田维成，路骁虎，
申请(专利权)人：上海交通大学中国移动通信集团有限公司，
类型：发明
国别省市：