基于双目机器人的工件质检方法、装置、机器人及介质制造方法及图纸

本申请适用于自动化技术领域，尤其涉及一种基于双目机器人的工件质检方法、装置、机器人及介质。该方法使用双目相机采集一工件的两张图像，得到工件定位点分别在两张图像中的图像位置，将两张图像分别输入训练好的预测网络，得到每张图像对应的偏移矩阵，根据每张图像对应的偏移矩阵和双目相机至地面的投影矩阵，将对应的图像位置映射至地面，得到对应的地面位置，选取两个地面位置中任一位置为目标位置，在机械臂上检具的检测点移动至目标位置后，控制机械臂沿预设方向移动预设距离，对移动过程中受到的反作用力进行检测来判定工件的质检结果，从而实现工件的自动质检，提高了定位的准确率和自动质检的成功率，有效地提升了自动质检的效率。了自动质检的效率。

【技术实现步骤摘要】
基于双目机器人的工件质检方法、装置、机器人及介质


[0001]本申请属于自动化
，尤其涉及一种基于双目机器人的工件质检方法、装置、机器人及介质。

技术介绍

[0002]目前，针对铸造、机加工等生产出的工件，需要进行合格性的检测，一般采用人工对工件进行测量来获取工件尺寸、工件中孔间距、孔尺寸等数据，进而判定工件是否合格。为了缩短测量的时间，针对同一规格的工件，生产出对应的检具，通过人工将检具与工件进行匹配来判定工件是否合格，从而挑拣出符合出厂要求的工件，但是该匹配的过程需要人工来操作，自动化的程度较低，导致检测的效率较低，且较为耗费人力，因此，使用机器人进行检测的方式能够有效地提高检测效率，然而现有机器人多采用单目相机进行工件的定位，由于受到视差的影响，定位的准确度较低，导致检测的成功率较低。因此，如何有效地提高机器人定位的准确率，以实现工件的自动化检测成为亟待解决的问题。

技术实现思路

[0003]有鉴于此，本申请实施例提供了一种基于双目机器人的工件质检方法、装置、机器人及介质，以解决现有机器人定位的准确率较低，影响工件的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双目机器人的工件质检方法，其特征在于，所述工件质检方法包括：使用双目相机采集目标区域内任一工件的第一图像和第二图像，提取所述第一图像中工件定位点的第一图像位置和所述第二图像中工件定位点的第二图像位置；将所述第一图像和所述第二图像分别输入训练好的预测网络中对应的分支网络，得到所述第一图像对应的第一偏移矩阵和所述第二图像对应的第二偏移矩阵；根据所述第一偏移矩阵和所述双目相机至地面的投影矩阵，将所述第一图像位置映射至地面，得到第一地面位置，根据所述第二偏移矩阵和所述投影矩阵，将所述第二图像位置映射至地面，得到第二地面位置；在检测到所述第一地面位置与所述第二地面位置的差异小于差异阈值时，选取所述第一地面位置和所述第二地面位置中任一位置为目标位置；在安装在所述双目机器人的机械臂上检具的检测点移动至所述目标位置之后，控制所述机械臂沿预设方向移动预设距离，并根据移动过程中所述机械臂收到的反作用力与作用力阈值的比对结果，确定所述工件的质检结果。2.根据权利要求1所述的工件质检方法，其特征在于，在所述在检测到所述第一地面位置与所述第二地面位置的差异小于差异阈值时，选取所述第一地面位置和所述第二地面位置中任一位置为目标位置之后，还包括：获取所述双目机器人的机械臂移动时的第一允许误差；相应地，所述在安装在所述双目机器人的机械臂上检具的检测点移动至所述目标位置之后，控制所述机械臂沿预设方向移动预设距离包括：根据所述机械臂的安装点的当前位置数据和所述检具的检测点与所述安装点的位置关系，结合所述机械臂的移动数据，确定移动后所述检测点的理论位置；在检测到所述理论位置与所述目标位置的差异处于所述第一允许误差内，则控制所述机械臂沿预设方向移动预设距离。3.根据权利要求1所述的工件质检方法，其特征在于，在得到所述第一地面位置和所述第二地面位置之后，还包括：在检测到所述第一地面位置与所述第二地面位置的差异不小于差异阈值时，将所述第一地面位置和所述第二地面位置的中心点位置作为所述目标位置。4.根据权利要求3所述的工件质检方法，其特征在于，在所述在检测到所述第一地面位置与所述第二地面位置的差异不小于差异阈值时，将所述第一地面位置和所述第二地面位置的中心点位置作为所述目标位置之后，还包括：计算所述第一偏移矩阵和所述第二偏移矩阵的余弦相似度；获取所述双目机器人的机械臂移动时的预设允许误差，将所述余弦相似度与所述预设允许误差的相乘，确定相乘的结果为所述双目机器人的机械臂移动时的第二允许误差；相应地，所述在安装在所述双目机器人的机械臂上检具的检测点移动至所述目标位置之后，控制所述机械臂沿预设方向移动预设距离包括：根据所述机械臂的安装点的当前位置数据和所述检具的检测点与所述安装点的位置关系，结合所述机械臂的移动数据，确定移动后所述检测点的理论位置；在检测到所述理论位置与所述目标位置的差异处于所述第二允许误差内，则控制所述机械臂沿预设方向移动预设距离。
5.根据权利要求1所述的工件质检方法，其特征在于，所述工件质检方法还包括：获取所述工件上的工件标记；相应地，在根据移动过程中所述机械臂收到的反作用力与作用力阈值的比对结果，确定所述工件的质检结果之后，还包括：将所述工件标记与所述工件的质检结果映射存储。6.根据权利要求1至5任一项所述的工件质检方法，其特征在于，所述预测网络包括第一分支网络和所述第二分支网络，所述第一分支网络的结构包括第一编码器和第一全连接层，所述第二分支网络的结构包括第二编码器和第二全连接层，所述第一编码器的参数与所述第二编码器的参数为共享，所述第一全连接层的参数与所述第二全连接层的参数为共享，双目相机一次采集的图像对中图像A输入所述第一编码器，图像B输入所述第二编码器，所述第一全连接层和所述第二全连接层的输出均为偏移矩阵；所述预测网络的训练集为双目相机同时采集的N对图像A和图像B，以及每张图像中工件的位置描述向量，所述预测网络采用自监督训练，训练的损失函数为：式中，cos表示向量间的余弦相似度计算；表示第n张图像A...

【专利技术属性】
技术研发人员：常威，程凯，杨计划，吕海涛，谢晓欢，刘胜伟，
申请(专利权)人：河南淮海精诚工业科技有限公司，
类型：发明
国别省市：