非结构化机器人视觉检测机械零件的同步识别与定位方法技术

本发明专利技术公开非结构化机器人视觉检测机械零件的同步识别与定位方法，包括读取一个安装于工业机器人手臂的视觉传感器获得的包含T帧视频图像的视频序列，将视频序列中的第I帧的图像数据表示为{I(x,y)}tT=1；应用最近邻插值法将上述的第I帧的图像尺寸缩小；将上述缩小尺寸的图像输入机械零件卷积神经网络模型，根据机械零件卷积神经网络模型训练所学习的模型参数M，输出图像I（x，y）每帧的估计预测p(x,y|M)给工业机器人控制系统，实现输入图像与机械零件的位置和识别之间对应，以便工业机器人拾取零件。本发明专利技术可以处理周围环境的大动态变化、能够应对非结构化制造条件、在保证识别和定位精度的同时计算效率较高。

Synchronous identification and location of mechanical parts for vision detection of unstructured robots

The present invention discloses a synchronous recognition and positioning method of an unstructured robot visual inspection machine part, including reading a video sequence of a T frame video image obtained by a visual sensor installed in an industrial robot arm, showing the image data table of the first frame in the video sequence as {I (x, y)}tT=1, and applying the nearest neighbor interpolation method. The image size of the above first frame is reduced; the image of the reduced size is input into the mechanical part convolution neural network model, the model parameter M is trained according to the mechanical part convolution neural network model, and the estimated prediction P (x, y|M) per frame of the output image I (x, y) is given to the industrial robot control system, and the input image is realized. It corresponds to the location and recognition of mechanical parts, so that industrial robots can pick up parts. The invention can deal with the large dynamic changes of the surrounding environment, can cope with the unstructured manufacturing conditions, and can calculate the efficiency at the same time, while ensuring the recognition and positioning accuracy.

【技术实现步骤摘要】
非结构化机器人视觉检测机械零件的同步识别与定位方法
本专利技术属于计算机视觉
，具体涉及具有轻量级架构、可处理周围环境的大动态变化、能够应对非结构化制造条件、在保证识别和定位精度的同时计算效率较高的非结构化机器人视觉检测机械零件的同步识别与定位方法。
技术介绍
由于具有非接触性、高速和高精度检测的特点，机械与电子工程行业机器人对于不同类型的机械零部件进行可视化检测具有很高的吸引力。近年来，视觉检测已成为高科技工业机器人视觉领域的一个发展趋势和不可或缺的技术，以视觉装置和图像处理算法为技术手段，以视觉伺服定位为目的，对产品质量进行评估、鲁棒识别和精确定位以及在工业检测平台上对机械零部件进行本地化制造和熟练操作。在实际工业检测领域中，高性能机械零件检测方法对机器人视觉检测算法的研究和开发提出了巨大的挑战。首先，工业CCD相机视场中的机械零件通常存在由制造现场照明变化而引起大动态的外观变化。机械零件的外观变化，诸如颜色、亮度漂移和对比度的降低，必然会对工业机器人的正常检测性能产生阻碍作用。其次，待检测的机械目标可能处于静止状态或运动状态，其移动速度通常在不同工作时刻发生变化。静态/运动状态的不确定性以及移动速度的变化导致机械零件在抓取操纵过程中定位精度受到限制。第三，因为机械零部件通常是以任意方式来放置，机器人有必要识别具有不同姿势的不同类型机械零部件。另外，在CCD相机的视场中，安装在末端执行器上的手持式CCD摄像机产生移动，姿势将不可避免地发生变化。目前，虽然也有针对周围环境的大动态变化的非结构化制造条件下的视觉同步识别与定位的方法，诸如基于重量层为21层的FCN-8s架构以及其它基于更复杂的深度学习算法的模型架构的同步识别与定位方法。但上述方法的模型架构却存在下述问题：第一是在智能制造过程中希望能够快速训练模型参数，上述模型架构组成的模型参数较多，难以实现快速训练；第二是需要完全提供真实标注的训练图像，特别是对于诸如齿轮等具有复杂形状的部件，注释真实标注图像较为耗时；第三是在上述模型架构下的视觉同步识别和定位的计算消耗较大。由于存在上述问题，现有技术中的非结构化制造条件下的视觉同步识别与定位的方法，可能会恶化工业机器人视觉系统的检测性能。
技术实现思路
本专利技术的目的在于提供具有轻量级架构、可处理周围环境的大动态变化、能够应对非结构化制造条件、在保证识别和定位精度的同时计算效率较高的非结构化机器人视觉检测机械零件的同步识别与定位方法。本专利技术目的是这样实现的，包括图像采集、图像预处理、识别与定位步骤，具体包括：A、图像采集：读取一个安装于工业机器人手臂的视觉传感器获得的包含T帧视频图像的视频序列，将视频序列中的第I帧的图像数据表示为{I(x,y)}tT=1，其中：I(x,y)表示在t时刻捕获的第I帧中位置(x,y)处像素的RGB颜色矢量，t∈{1,...,T}；B、图像预处理：应用最近邻插值法将A步骤中的第I帧的图像尺寸缩小；C、识别与定位：将B步骤预处理的图像输入机械零件卷积神经网络模型，根据机械零件卷积神经网络模型训练所学习的模型参数M，输出图像I（x，y）每帧对应的估计预测p(x,y|M)给工业机器人控制系统，实现输入图像与机械零件的位置和识别预测之间所期望的端对端对应，以便工业机器人拾取待识别零件。本专利技术与现有技术相比具有以下有益效果：1、本专利技术可以处理周围环境的大动态变化以及能够应对非结构化制造条件，即机械零件的静态/运动状态、移动速度以及视觉传感器的姿态是不受约束的。2、本专利技术的机械零件卷积神经网络（MPCNN）模型是一个鲁棒性的基于卷积神经网络（CNN）的13层分级深度学习体系轻量级架构，由于模型参数较少，可以实现快速训练；可以不一定完全提供真实标注的训练图像，能够有效减少注释真实标注图像的耗时；由于架构层级较少，在视觉同步识别和定位时计算效率较高，从而不会恶化工业机器人视觉系统的检测性能；另外，MPCNN模型产生不同类型机械零件的多尺度表示，其中可以方便地调整待检测机械零件类型的数量，适应性和扩展性较强。3、本专利技术的机械零件数据集的图像是在周边动态场景和工业机器人检测平台的非结构化制造条件下捕捉，并使用类别标签和每种特定类型的机械零件的精确总体位置来标注机械零件数据集，从而形成大规模的标准库，能够促进机械零件检测机器智能方法的训练和验证。4、本专利技术使MPCNN模型能够从机械零件数据集中的一组训练图像中自动学习多尺度特征图，对训练好的MPCNN模型用于同时识别和定位预定种类机械零件的准确性，将在机械零件数据集中对照测试图像的真实标注进行评估。因此，本专利技术具有轻量级架构、可处理周围环境的大动态变化、能够应对非结构化制造条件、在保证识别和定位精度的同时计算效率较高的特点。附图说明图1为本专利技术流程示意图；图2为本专利技术的MPCNN模型架构图；图3为本专利技术的KUST-MPDS数据集建立流程示意图；图4为本专利技术的MPCNN模型训练流程示意图；图5为本专利技术的MPCNN模型验证流程示意图；图6为实施例中训练子集从第1到第6个循环迭代周期的预测精度和softmax目标函数的变化；图7为实施例中训练子集从第1到第6个循环迭代周期对数尺度的每个循环预测的相应准确度和客观值；图8为实施例中验证子集从第1到第6个循环迭代周期的预测精度和softmax目标函数的变化；图9为实施例中验证子集从第1到第6个循环迭代周期对数尺度的每个循环预测的相应准确度和客观值；图10为实施例中在均匀背景下工业机器人检测平台传送带上捕获的测试图像预测结果的定性评估；图11为实施例中在非结构化条件下捕获复杂背景的测试图像预测结果的定性评估；图12为实施例中训练后的MPCNN对KUST-MPDS测试子集中所有202幅图像的定量预测结果；图13为实施例中MPCNN模型对KUST-MPDS测试子集中所有202个图像所做的混淆矩阵；图中：S100-图像采集，S200-图像预处理，S300-识别与定位，S400-建立KUST-MPDS数据集，S500-模型训练；conv1-卷积层1，conv2-卷积层2，conv3-卷积层3，conv4-卷积层4，conv5-卷积层5，conv6-卷积层6，conv7-卷积层7，fc1-全连接层1，fc2-全连接层2，fc3-全连接层3，deconv1-去卷积层1，deconv2-去卷积层2，deconv3-去卷积层3；pAcc为像素精度，mAcc为平均精度，mIU为平均交并比。具体实施方式下面结合附图与实施例对本专利技术作进一步的说明，但不以任何方式对本专利技术加以限制，依据本专利技术的教导所作的任何变更或替换，均属于本专利技术的保护范围。本专利技术方法包括图像采集、图像预处理、识别与定位步骤，具体包括：A、图像采集：读取一个安装于工业机器人手臂的视觉传感器获得的包含T帧视频图像的视频序列，将视频序列中的第I帧的图像数据表示为{I(x,y)}tT=1，其中：I(x,y)表示在t时刻捕获的第I帧中位置(x,y)处像素的RGB颜色矢量，t∈{1,...,T}；B、图像预处理：应用最近邻插值法将A步骤中的第I帧的图像尺寸缩小；C、识别与定位：将B步骤预处理的图像输入机械零件卷积神经网络（MPCNN）模型，根据机械零件卷积神经网络（本文档来自技高网...

【技术保护点】
1.非结构化机器人视觉检测机械零件的同步识别与定位方法，其特征在于包括图像采集、图像预处理、识别与定位步骤，具体包括：A、图像采集：读取一个安装于工业机器人手臂的视觉传感器获得的包含T帧视频图像的视频序列，将视频序列中的第I帧的图像数据表示为{I(x, y)}tT=1，其中：I(x, y) 表示在t时刻捕获的第I帧中位置(x, y) 处像素的RGB颜色矢量，t ∈ {1, . . . , T }；B、图像预处理：应用最近邻插值法将A步骤中的第I帧的图像尺寸缩小；C、识别与定位：将B步骤预处理的图像输入机械零件卷积神经网络模型，根据机械零件卷积神经网络模型训练所学习的模型参数M，输出图像I（x，y）每帧对应的估计预测p(x, y|M)给工业机器人控制系统，实现输入图像与机械零件的位置和识别预测之间所期望的端对端对应，以便工业机器人拾取待识别零件。

【技术特征摘要】
1.非结构化机器人视觉检测机械零件的同步识别与定位方法，其特征在于包括图像采集、图像预处理、识别与定位步骤，具体包括：A、图像采集：读取一个安装于工业机器人手臂的视觉传感器获得的包含T帧视频图像的视频序列，将视频序列中的第I帧的图像数据表示为{I(x,y)}tT=1，其中：I(x,y)表示在t时刻捕获的第I帧中位置(x,y)处像素的RGB颜色矢量，t∈{1,...,T}；B、图像预处理：应用最近邻插值法将A步骤中的第I帧的图像尺寸缩小；C、识别与定位：将B步骤预处理的图像输入机械零件卷积神经网络模型，根据机械零件卷积神经网络模型训练所学习的模型参数M，输出图像I（x，y）每帧对应的估计预测p(x,y|M)给工业机器人控制系统，实现输入图像与机械零件的位置和识别预测之间所期望的端对端对应，以便工业机器人拾取待识别零件。2.根据权利要求1所述非结构化机器人视觉检测机械零件的同步识别与定位方法，其特征在于所述B步骤中应用最近邻插值法将A步骤中的第I帧的图像尺寸缩小1≤x≤256和1≤y≤320。3.根据权利要求2所述非结构化机器人视觉检测机械零件的同步识别与定位方法，其特征在于所述C步骤中机械零件卷积神经网络模型架构依次包括卷积层1、卷积层2、卷积层3、卷积层4、卷积层5、卷积层6、卷积层7、全连接层1、全连接层2、全连接层3、去卷积层1、去卷积层2、去卷积层3，所述各卷积层和各全连接层结构的构建源于VGG-16的模型架构，所述各去卷积层通过内插粗糙输出来获得密集预测。4.根据权利要求3所述非结构化机器人视觉检测机械零件的同步识别与定位方法，其特征在于所述C步骤中卷积层1、卷积层2、卷积层3、卷积层4的滤波器组的维数分别为：3×3×3×64、3×3×64×64、3×3×64×128、3×3×128×128，所述卷积层5、卷积层6、卷积层7的滤波器组的维数分别为：3×3×128×256、3×3×256×256、3×3×256×256，所述去全连接层1、全连接层2、全连接层3的滤波器组的维数分别为：7×7×256×1024、1×1×1024×1024、1×1×1024×6，所述各卷积层和全连接层都配备了称为整型线性单元ReLU(·)=max(0,·)的非线性激活函数。5.根据权利要求3所述非结构化机器人视觉检测机械零件的同步识别与定位方法，其特征在于所述C步骤中去卷积层1、去卷积层2、去卷积层3的滤波器组的维度均固定为4×4×6×6，所述各去卷积层通过内插粗糙输出来获得...

【专利技术属性】
技术研发人员：何自芬，张印辉，
申请(专利权)人：昆明理工大学，
类型：发明
国别省市：云南,53