一种基于机器视觉的工件定位方法及装置制造方法及图纸

本发明专利技术涉及智能机器人技术领域，具体涉及一种基于机器视觉的工件定位方法及装置，首先确定目标工件，采集Kinect相机拍摄的图像，检测所述图像中包含所述目标工件图像的预测框；进而根据所述预测框的回归坐标确定所述目标工件的轮廓，以及目标工件中心点的二维坐标；接着获取所述Kinect相机的标定参数，根据所述标定参数和所述目标工件中心点的二维坐标得出目标工件中心点的三维坐标；最后将所述目标工件的轮廓和所述目标工件中心点的三维坐标作为目标工件的定位结果，本发明专利技术可以对工件进行准确的识别与定位。

A method and device of workpiece location based on machine vision

【技术实现步骤摘要】
一种基于机器视觉的工件定位方法及装置
本专利技术涉及智能机器人
，具体涉及一种基于机器视觉的工件定位方法及装置。
技术介绍
当前对于工件的分拣，包装主要还是依靠人工操作，这种原始的人工分拣、包装方式效率低下，难以适应对大批量工件的分拣与包装，另一方面，人工分拣相对于机械来说亦较容易出现错误。采用机械手代替人工操作对工件进行分拣与包装能有效加快工作效率，减少人工分拣时出现的错误。而采用机械手代替人工操作的前提条件是需要对工件进行准确的识别与定位。而如何对工件进行准确的识别与定位成为值得研究的问题。
技术实现思路
为解决上述问题，本专利技术提供一种基于机器视觉的工件定位方法及装置，可以对工件进行准确的识别与定位。为了实现上述目的，本专利技术提供以下技术方案：一种基于机器视觉的工件定位方法，包括：确定目标工件，采集Kinect相机拍摄的图像，检测所述图像中包含所述目标工件图像的预测框；根据所述预测框的回归坐标确定所述目标工件的轮廓，以及目标工件中心点的二维坐标；获取所述Kinect相机的标定参数，根据所述标定参数和所述目标工件中心点的二维坐标得出目标工件中心点的三维坐标；将所述目标工件的轮廓和所述目标工件中心点的三维坐标作为目标工件的定位结果。优选的，所述检测所述图像中包含所述目标工件图像的预测框，包括：获取多张原始图像，所述原始图像中包含所述目标工件图像；通过人工方式标注出每张所述原始图像中目标工件图像的区域框，将标注了区域框的原始图像作为训练图像，将多张所述训练图像作为训练图像集；将所述训练图像集输入Faster-R-CNN神经网络进行训练，输出测试框，其中，所述测试框包括工件框和背景框，所述Faster-R-CNN神经网络的输出层包括背景标签和目标工件标签；将所述测试框和区域框进行比对，根据所述比对结果将所述测试框划分为背景框和包含目标工件图像的工件框，直至完成对所述训练图像集的训练；将完成训练后的Faster-R-CNN神经网络作为检测模型；将Kinect相机拍摄的图像输入所述检测模型，检测出包含所述目标工件图像的预测框。优选的，所述将所述测试框和区域框进行比对，根据所述比对结果将所述测试框划分为背景框和包含目标工件图像的工件框，具体为：通过以下公式计算所述测试框和区域框的重合度：其中，GT表示测试框，ER表示区域框，area(GT∩ER)为所述测试框和区域框的重叠区域，area(GT∪ER)为所述测试框和区域框的合并区域，IOU为所述测试框和区域框的重合度；将所述重合度大于0.7的测试框作为工件框，将所述重合度小于0.3的测试框作为背景框。优选的，所述根据所述预测框的回归坐标确定所述目标工件的轮廓，以及目标工件中心点的二维坐标，包括：对所述预测框进行阈值化处理，生成二值化图像；采用边缘检测算法检测所述二值化图像的边缘轮廓，通过最小外接矩形法获取所述边缘轮廓的最小外接矩形，将所述最小外接矩形作为目标工件的轮廓；计算所述最小外接矩形的中心点坐标，将所述中心点坐标作为目标工件中心点的二维坐标。进一步，所述根据所述标定参数和所述目标工件中心点的二维坐标得出目标工件中心点的三维坐标，具体为：获取相机的标定参数，所述标定参数包括：相机在x轴上的焦距fx，相机在y轴上的焦距fy，相机在x轴上的光圈中心cx，相机在y轴上的光圈中心cy，深度图的缩放因子s，深度图的深度值d；通过以下公式计算目标工件中心点的三维坐标：d＝z·s其中，(u,v)为目标工件中心点的二维坐标，(x,y,z)为目标工件中心点的三维坐标。一种基于机器视觉的工件定位装置，所述装置包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序运行在以下装置的模块中：预测框检测模块，用于确定目标工件，采集Kinect相机拍摄的图像，检测所述图像中包含所述目标工件图像的预测框；目标工件确定模块，用于根据所述预测框的回归坐标确定所述目标工件的轮廓，以及目标工件中心点的二维坐标；三维坐标模块，用于获取所述Kinect相机的标定参数，根据所述标定参数和所述目标工件中心点的二维坐标得出目标工件中心点的三维坐标；定位结果模块，用于将所述目标工件的轮廓和所述目标工件中心点的三维坐标作为目标工件的定位结果。本专利技术的有益效果是：本专利技术公开一种基于机器视觉的工件定位方法及装置，首先确定目标工件，采集Kinect相机拍摄的图像，检测所述图像中包含所述目标工件图像的预测框；进而根据所述预测框的回归坐标确定所述目标工件的轮廓，以及目标工件中心点的二维坐标；接着获取所述Kinect相机的标定参数，根据所述标定参数和所述目标工件中心点的二维坐标得出目标工件中心点的三维坐标；最后将所述目标工件的轮廓和所述目标工件中心点的三维坐标作为目标工件的定位结果。本专利技术可以对工件进行准确的识别与定位。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例一种基于机器视觉的工件定位方法的流程示意图；图2是本专利技术实施例一种基于机器视觉的工件定位装置的结构示意图。具体实施方式以下将结合实施例和附图对本公开的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本公开的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。如图1所示为一种基于机器视觉的工件定位方法，包括以下步骤：步骤S100、确定目标工件，采集Kinect相机拍摄的图像，检测所述图像中包含所述目标工件图像的预测框；步骤S200、根据所述预测框的回归坐标确定所述目标工件的轮廓，以及目标工件中心点的二维坐标；步骤S300、获取所述Kinect相机的标定参数，根据所述标定参数和所述目标工件中心点的二维坐标得出目标工件中心点的三维坐标；步骤S400、将所述目标工件的轮廓和所述目标工件中心点的三维坐标作为目标工件的定位结果。本实施例首先对Kinect相机拍摄的图像进行处理，检测所述图像中包含所述目标工件图像的预测框，初步确定所述目标工件图像的区域，进而根据所述预测框的回归坐标确定所述目标工件的轮廓，从而进一步提取所述目标工件的轮廓这一有效特征，在确定好所述目标工件的轮廓之后，即可确定目标工件中心点的二维坐标；接下来需要确定目标工件中心点的三维坐标，通过数学模型可以建立目标工件中心点的二维坐标到三维坐标的转换关系，在这个转换关系的数学模型中，所述Kinect相机的标定参数为已知参本文档来自技高网...

【技术保护点】
1.一种基于机器视觉的工件定位方法，其特征在于，包括：/n确定目标工件，采集Kinect相机拍摄的图像，检测所述图像中包含所述目标工件图像的预测框；/n根据所述预测框的回归坐标确定所述目标工件的轮廓，以及目标工件中心点的二维坐标；/n获取所述Kinect相机的标定参数，根据所述标定参数和所述目标工件中心点的二维坐标得出目标工件中心点的三维坐标；/n将所述目标工件的轮廓和所述目标工件中心点的三维坐标作为目标工件的定位结果。/n

【技术特征摘要】
1.一种基于机器视觉的工件定位方法，其特征在于，包括：
确定目标工件，采集Kinect相机拍摄的图像，检测所述图像中包含所述目标工件图像的预测框；
根据所述预测框的回归坐标确定所述目标工件的轮廓，以及目标工件中心点的二维坐标；
获取所述Kinect相机的标定参数，根据所述标定参数和所述目标工件中心点的二维坐标得出目标工件中心点的三维坐标；
将所述目标工件的轮廓和所述目标工件中心点的三维坐标作为目标工件的定位结果。


2.根据权利要求1所述的一种基于机器视觉的工件定位方法，其特征在于，所述检测所述图像中包含所述目标工件图像的预测框，包括：
获取多张原始图像，所述原始图像中包含所述目标工件图像；
标注出每张所述原始图像中目标工件图像的区域框，将标注了区域框的原始图像作为训练图像，将多张所述训练图像作为训练图像集；
将所述训练图像集输入Faster-R-CNN神经网络进行训练，输出测试框，其中，所述测试框包括工件框和背景框，所述Faster-R-CNN神经网络的输出层包括背景标签和目标工件标签；
将所述测试框和区域框进行比对，根据所述比对结果将所述测试框划分为背景框和包含目标工件图像的工件框，直至完成对所述训练图像集的训练；
将完成训练后的Faster-R-CNN神经网络作为检测模型；
将Kinect相机拍摄的图像输入所述检测模型，检测出包含所述目标工件图像的预测框。


3.根据权利要求2所述的一种基于机器视觉的工件定位方法，其特征在于，所述将所述测试框和区域框进行比对，根据所述比对结果将所述测试框划分为背景框和包含目标工件图像的工件框，具体为：
通过以下公式计算所述测试框和区域框的重合度：



其中，GT表示测试框，ER表示区域框，area(GT∩ER)为所述测试框和区域框的重叠区域，area(GT∪ER)为所述测试框和区域框的合并区域，IOU为所述测试框和区域框的重合度；
将所述重合度大于0.7的测试框...

【专利技术属性】
技术研发人员：罗陆锋，黄豪杰，卢清华，陈为林，
申请(专利权)人：佛山科学技术学院，
类型：发明
国别省市：广东;44