【技术实现步骤摘要】
本专利技术涉及计算、推算或计数的，特别涉及一种工业测量领域的基于三维点云的多姿态螺栓尺寸测量方法。
技术介绍
1、在工业制造等领域，螺栓是广泛应用于机械装配的基础元素。因为螺栓的尺寸参数对于工业产品的稳定性至关重要，在一些应用场景下，需要实现对螺栓尺寸快速的精确测量，如果螺栓的某个尺寸指标不合格，可能导致产品结构松动甚至崩塌。因此，无论是在螺栓零件初期的生产还是在最终的装配阶段，严格保证螺栓的尺寸符合规范要求都是提高工业产品质量与生产安全的基础。
2、针对基于图像的螺栓尺寸测量问题，现有方法主要依赖于待测螺栓与标准螺栓实际尺寸的匹配或像素缩放实现，但却无法对多种姿态、不同型号的螺栓进行测量。
3、公开号为cn113945159a的中国专利公开了一种基于轮廓匹配的螺栓直径测量方法，该方法利用已标定好的rgbd相机和相机相对于螺栓的旋转角，模拟符合图纸尺寸的螺栓位于目标位置时在彩色相机图像上的轮廓，通过计算模拟轮廓与目标轮廓的匹配度，实现螺栓直径的测量。公开号为cn115719339a的中国专利公开了一种基于双相机标定的螺栓尺寸高精度测量方法和装置，该方法根据螺栓两侧相机同时拍摄的两张螺栓边缘图像对两个相机的光心间距和单像素精度进行精确标定，再对两张螺栓边缘图像进行二值化处理和边缘粗定位，并拟合粗定位边缘获取边缘曲线，接着根据边缘曲线截取螺纹边缘图像，并应用图像超分辨率重建模型去除离焦模糊，获得清晰螺纹图像，最后在清晰螺纹图像中对螺纹牙顶、牙底坐标进行精确定位，根据待测尺寸的像素距离计算螺栓尺寸。从上述分析可
技术实现思路
1、本专利技术提供了一种基于三维点云的多姿态螺栓尺寸测量方法，旨在解决多种姿态、不同型号的螺栓通用的尺寸测量问题，从而摆脱对标准尺寸螺栓模板的依赖，以适应复杂的生产场景；本专利技术的方法同样适用于水平面上的各种紧固件、零件的尺寸测量，此处的水平面有界且与待测物存在色彩差异。
2、本专利技术的方法利用已标定的rgbd相机，采集一帧实时rgbd图像数据，利用深度学习目标检测模型检测放置螺栓的水平工作面位置，并分割出包含所有待测螺栓的水平面精确roi区域；接着，利用点云生成算法对水平面精确roi区域内的测量图像数据下采样得到三维点云坐标，并通过平面拟合建立当前水平面roi区域的三维点云平面方程；最后，以三维点云平面方程为基础获得螺栓的预估直立高度与测量高度，两者进行区间对比实现对螺栓不同姿态的判断，并依据姿态和螺栓掩膜图像对螺栓的内径与长度进行计算。
3、本专利技术采用的技术方案为，一种基于三维点云的多姿态螺栓尺寸测量方法，所述方法包括以下步骤：
4、步骤1：采集测量用的图像数据irgbd，获取关于螺栓的水平面候选区域；
5、步骤2：基于水平面候选区域，建立螺栓所处水平面的三维点云平面方程；
6、步骤3：获取待测螺栓的二值化掩膜图像，得到螺栓在三维点云坐标系的预估直立高度；
7、步骤4：利用螺栓的预估直立高度与测量高度对螺栓进行姿态判断；
8、步骤5：处理不同姿态的螺栓掩膜图像，计算螺栓的内径与长度，获得螺栓尺寸。
9、优选地，步骤1中，以已经标定的rgbd相机采集图像数据irgbd，分别获取其彩色图像irgb和深度图像id，以训练好的深度学习目标检测网络模型对采集的彩色图像irgb进行多目标检测，得到放置螺栓的水平工作面检测框以及各个螺栓的检测框，并进一步得到关于螺栓的水平面候选区域。
10、本专利技术中，事实上是针对同一个水平面内一个或多个螺栓的测量，方法能够在检测水平工作面(如桌面)的同时检测出螺栓，即同时得到水平工作面的检测框以及多个螺栓的检测框，其中螺栓的检测框接近外接矩形。
11、优选地，所述水平工作面的检测框按预设标准扩大，得到水平面候选区域。
12、优选地，所述步骤2包括以下步骤：
13、步骤2.1：对所述水平面候选区域划分为多个菱形采样区域，并对采样区域进行hsv值量化统计，以hsv频次最高的值作为分割阈值，对水平面候选区域进行二值化分割，提取有效的初步水平面区域掩膜图；处理所述初步水平面区域掩膜图，形成精确的水平面roi区域；
14、步骤2.2：利用点云处理算法和已标定的相机内参，以相机光心为坐标原点建立点云坐标系，对精确的水平面roi区域内的深度图像id进行下采样处理，得到水平面的三维点云数据cloudroi；
15、步骤2.3：以点云分割算法拟合精确的水平面roi区域的三维点云平面方程ax+by+cz+d＝0，其中，a、b、c、d为待拟合的平面方程参数。
16、优选地，步骤2.1中，对初步水平面区域掩膜图进行边缘检测与多边形拟合，将多边形角点数少于4的轮廓删除，对所有符合条件的轮廓进行凸包检测，形成精确的水平面roi区域。
17、优选地，所述步骤3包括以下步骤：
18、步骤3.1：利用分割精确的水平面roi区域的hsv阈值，反向选取区域内待测螺栓的二值化掩膜图像，不进行透视变换下获取二值化掩膜图像的最小外接矩形，统计2个短边附近的螺栓掩膜宽度，分别确定螺栓顶部与螺栓底部，以2个短边的中点分别作为螺栓底部与螺栓顶部的中点；
19、此处通过步骤2.1中获得的水平工作面的hsv阈值得到代表水平工作面的二值化图像，即在hsv阈值内的像素点置1，反之置0，据此通过hsv阈值反选即可以得到代表螺栓的二值化图像，配合目标检测算法得到的螺栓检测框，即可以获取每个螺栓的二值化掩膜图像；
20、步骤3.2：基于螺栓底部中点的二维图像坐标，得到其在点云坐标系中的三维点云坐标；经过螺栓底部中点的三维点云坐标，做一条垂足为螺栓底部中点、方向为点云平面方程法向量的射线，再经过螺栓底部中点的三维点云坐标做一条方向为点云坐标系x轴的射线；利用两条相交射线确定高度计算平面；
21、步骤3.3：基于螺栓顶部中点的二维图像坐标和相机光心，创建一条起点为相机光心，方向为相机光心、成像平面和螺栓顶部中点的射线交于高度计算平面，并以交点计算螺栓顶部中点的三维点云坐标；
22、步骤3.4：以螺栓底部实际三维点云坐标和计算得到的螺栓顶部中点的三维点云坐标，计算这两个坐标点的欧式距离，作为螺栓的预估直立高度。
23、优选地，所述步骤4中，以待测螺栓掩膜图像最小外接矩形长边的中心位置到螺栓顶部位置这段区间为螺栓的上半部分，利用步骤3得到的当前螺栓的预估直立高度与上半部分各点在点云坐标系下的测量高度进行区间对比，获得螺栓的姿态。
24、优选地，将待测螺栓上半部分各点在点云坐标系下的三维点云坐标到水平面的垂直距离作为实际测量高度，若螺栓上半部分中，存在超过预设量的测量高度大于预估直立高度的倍数值，则认为待测螺栓呈竖直姿态，否则处于水平姿态。
2本文档来自技高网...
【技术保护点】
1.一种基于三维点云的多姿态螺栓尺寸测量方法，其特征在于：所述方法包括以下步骤：
2.根据权利要求1所述的一种基于三维点云的多姿态螺栓尺寸测量方法，其特征在于：步骤1中，以已经标定的RGBD相机采集图像数据IRGBD，分别获取其彩色图像IRGB和深度图像ID，以训练好的深度学习目标检测网络模型对采集的彩色图像IRGB进行多目标检测，得到放置螺栓的水平工作面检测框以及各个螺栓的检测框，并进一步得到关于螺栓的水平面候选区域。
3.根据权利要求2所述的一种基于三维点云的多姿态螺栓尺寸测量方法，其特征在于：所述水平工作面的检测框按预设标准扩大，得到水平面候选区域。
4.根据权利要求1所述的一种基于三维点云的多姿态螺栓尺寸测量方法，其特征在于：所述步骤2包括以下步骤：
5.根据权利要求4所述的一种基于三维点云的多姿态螺栓尺寸测量方法，其特征在于：步骤2.1中，对初步水平面区域掩膜图进行边缘检测与多边形拟合，将多边形角点数少于4的轮廓删除，对所有符合条件的轮廓进行凸包检测，形成精确的水平面ROI区域。
6.根据权利要求4所述的一种基
7.根据权利要求1所述的一种基于三维点云的多姿态螺栓尺寸测量方法，其特征在于：所述步骤4中，以待测螺栓掩膜图像最小外接矩形长边的中心位置到螺栓顶部位置这段区间为螺栓的上半部分，利用步骤3得到的当前螺栓的预估直立高度与上半部分各点在点云坐标系下的测量高度进行区间对比，获得螺栓的姿态。
8.根据权利要求7所述的一种基于三维点云的多姿态螺栓尺寸测量方法，其特征在于：将待测螺栓上半部分各点在点云坐标系下的三维点云坐标到水平面的垂直距离作为实际测量高度，若螺栓上半部分中，存在超过预设量的测量高度大于预估直立高度的倍数值，则认为待测螺栓呈竖直姿态，否则处于水平姿态。
9.根据权利要求8所述的一种基于三维点云的多姿态螺栓尺寸测量方法，其特征在于：对于竖直姿态的螺栓，以二值化掩膜图像中对应螺栓底部的两个角点的三维实际距离除以二维像素距离，获得实际尺寸与像素的比例，以计算得到的预估直立高度作为竖直姿态螺栓的测量长度；由螺栓的底部与顶部位置确定最小外接矩形的底边与顶边，以最小外接矩形底边的任意一个角点为起点、顶边的对应角点为终点，每隔一定像素点沿着短边方向进行一次灰度值突变检测，记录每次突变坐标和突变类型，并整理为突变点对；对所有的突变点对进行距离计算和排序，选取中间三组距离的平均值作为内径，乘上实际尺寸与像素的比例，得到竖直姿态螺栓的测量内径。
10.根据权利要求8所述的一种基于三维点云的多姿态螺栓尺寸测量方法，其特征在于：对于水平姿态下的螺栓，对待测螺栓的二值化掩膜图像进行透视变换，将倾斜视角拍摄到的图像变换成平行于水平面的鸟瞰图，以二值化掩膜图像中对应螺栓底部的两个角点的三维实际距离除以二维像素距离，获得实际尺寸与像素的比例；由螺栓的底部与顶部位置确定最小外接矩形的底边与顶边，以最小外接矩形底边的任意一个角点为起点、顶边的对应角点为终点，每隔一定像素点沿着短边方向进行一次灰度值突变检测，记录每次突变坐标和突变类型，并整理为突变点对；对所有的突变点对进行距离计算和排序，选取中间三组距离的平均值作为内径的像素尺寸，选取最小外接矩形的长边作为长度的像素尺寸；将得到的像素尺寸乘上实际尺寸与像素的比例，得到水平姿态螺栓的测量内径和长度。
...【技术特征摘要】
1.一种基于三维点云的多姿态螺栓尺寸测量方法，其特征在于：所述方法包括以下步骤：
2.根据权利要求1所述的一种基于三维点云的多姿态螺栓尺寸测量方法，其特征在于：步骤1中，以已经标定的rgbd相机采集图像数据irgbd，分别获取其彩色图像irgb和深度图像id，以训练好的深度学习目标检测网络模型对采集的彩色图像irgb进行多目标检测，得到放置螺栓的水平工作面检测框以及各个螺栓的检测框，并进一步得到关于螺栓的水平面候选区域。
3.根据权利要求2所述的一种基于三维点云的多姿态螺栓尺寸测量方法，其特征在于：所述水平工作面的检测框按预设标准扩大，得到水平面候选区域。
4.根据权利要求1所述的一种基于三维点云的多姿态螺栓尺寸测量方法，其特征在于：所述步骤2包括以下步骤：
5.根据权利要求4所述的一种基于三维点云的多姿态螺栓尺寸测量方法，其特征在于：步骤2.1中，对初步水平面区域掩膜图进行边缘检测与多边形拟合，将多边形角点数少于4的轮廓删除，对所有符合条件的轮廓进行凸包检测，形成精确的水平面roi区域。
6.根据权利要求4所述的一种基于三维点云的多姿态螺栓尺寸测量方法，其特征在于：所述步骤3包括以下步骤：
7.根据权利要求1所述的一种基于三维点云的多姿态螺栓尺寸测量方法，其特征在于：所述步骤4中，以待测螺栓掩膜图像最小外接矩形长边的中心位置到螺栓顶部位置这段区间为螺栓的上半部分，利用步骤3得到的当前螺栓的预估直立高度与上半部分各点在点云坐标系下的测量高度进行区间对比，获得螺栓的姿态。
8.根据权利要求7所述的一种基于三维点云的多姿态螺栓尺寸测量方法，其特征在于：将待测螺栓上半部分各点在点...
【专利技术属性】
技术研发人员：唐辉，黄煜天，沈开源，陈奕鑫，章文奇，朱威，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。