三维物体边界测量方法技术

一种三维物体边界测量方法，包括如下步骤：使用双目相机生成被测物体的深度图，并进行卷积计算；对卷积处理后的深度图进行阈值化处理，得到相关像素的阈值图；根据预先设定的标签检测阈值图是否包含全部设定的标签；如是，则将上述的相关像素的阈值图的深度图数据进行深度处理得到深度级别信息列表，之后将此表中数据通过LSTM网络生成预测模型；在被测物体运动时使用双目相机获取多幅图像，获取被测物体的平面坐标，之后提取被测物体的边缘信息，利用上述的预测模型取得被测三维物体出现时提取的深度信息特征推算被测物体的边缘信息，对上述二种方式取得边缘信息进行匹配，如匹配则利用确定的此图像计算被测物体边缘之间的相对距离。间的相对距离。间的相对距离。

【技术实现步骤摘要】
三维物体边界测量方法


[0001]本专利技术属于测试领域，特别涉及一种三维物体边界测量方法。

技术介绍

[0002]机器视觉在机械制造及检测领域已有大规模的实施应用，可以使用工业相机测量三维(3D)物体的尺寸，但是业界通常是要求物体处理静止状态进行测量，如何对运动中物体的三维尺寸进行测量是业界亟需解决的问题。

技术实现思路

[0003]本专利技术的目的在于提供一种三维物体边界测量方法，用以解决现有技术无法测量运动中的物体的三维尺寸的问题。
[0004]为实现上述目的，实施本专利技术的三维物体边界测量方法包括如下步骤：
[0005]使用双目相机生成被测物体的深度图，将深度图进行卷积计算；
[0006]对卷积处理后的深度图进行阈值化处理，得到相关像素的阈值图；
[0007]根据预先设定的标签检测上述步骤得到的阈值图是否满足包含全部预先设定的标签；
[0008]如是，则将上步骤得到的相关像素的阈值图的深度图数据进行深度处理得到深度级别信息列表，之后将此表中数据通过LSTM网络生成预测模型；
[0009]在被测物体运动时使用双目相机获取的多幅图像，获取被测物体的平面坐标，之后提取被测物体的边缘信息，利用上述步骤中形成的预测模型取得被测三维物体出现时提取的深度信息特征推算被测物体的边缘信息，对上述二种方式取得边缘信息进行匹配，如匹配则利用确定的此图像计算被测物体边缘之间的相对距离。
[0010]依据上述主要特征，在进行卷积计算时，先将3D输入张量的部分转换为2D矩阵的列，然后将矩阵乘以卷积权重得到卷积结果，其中卷积权重是通过多次测试确定。
[0011]依据上述主要特征，对卷积处理后的深度图数据进行阈值化处理，得到相关像素的阈值图是通过设定一个阈值，将比此阈值小于一定程度的像素或比此阈值大于一定程度的像素过滤掉，从而得到一幅相关像素的阈值图。
[0012]依据上述主要特征，所述边缘信息的推算方法为：将被测物体的深度信息输入形成的预测模型，以每10组信息为一个输入，由预测模型依据输入来形成“是边缘特征”与“非边缘特征”的两种判断，当出现判断为“是边缘特征”时，将原输入的10组信息提取，按照提前标定的坐标进行坐标变换，得出被测物体的边缘信息。
[0013]与现有技术相比较，利用本专利技术的方法可以大幅提升在流水线上运动中物体在变动背景下的目标提取的准确率，并且比传统方法降低了使用的算力要求，从而更易于实施。
【附图说明】
[0014]图1为实施本专利技术的三维物体边界测量方法的步骤示意图。
[0015]图2为实施本专利技术的三维物体边界测量方法中应用的卷积计算示意图。
【具体实施方式】
[0016]请参阅图1所示，为实施本专利技术的三维物体边界测量方法的步骤示意图。实施本专利技术的三维物体边界测量方法包括如下步骤：
[0017]步骤一：使用双目相机生成被测物体的深度图，将深度图进行卷积计算。在进行卷积计算时，如图2所示，先将3D输入张量的部分转换为2D矩阵的列，然后将矩阵乘以卷积权重a1至a8得到卷积结果，其中卷积权重a1至a8是通过多次测试确定。
[0018]步骤二：对卷积处理后的深度图数据进行阈值化处理，得到相关像素的阈值图，具体做法是通过设定一个阈值，将比此阈值小于一定程度的像素(如在被测3D物体与双目相机之间的物体)或比此阈值大于一定程度的像素(如在被测3D物体之后的物体，如背景)过滤掉，从而得到一幅相关像素的阈值图。
[0019]步骤三：根据预先设定的标签检测上一步骤得到的阈值图是否满足要求，具体是根据人工现场标定时定义的标签(如采用标准的被测物体在无背景的测试环境中取得的深度图并经卷积处理后的数据中选择部分数据作为标签)来验证阈值图是否满足要求，具体为如果阈值图中的相关像素区包含全部预先设定的标签，那么阈值处理结束，反之则调整阈值，返回步骤二重新处理。
[0020]步骤四：将步骤三得到的数据进行深度处理得到深度级别信息列表，之后将此表中数据通过LSTM网络模型生成预测模型，用此预测模型来提取被测三维物体出现时的具体深度信息。
[0021]步骤五：在被测物体运动时使用双目相机获取的多幅图像，结合X轴Y轴二维图像经过卷积神经网络提取的被测物体的平面坐标(在具体实施时，此位置数据通过提前标定和坐标变换来转变为平面坐标数据，其中标定即设置一些特定位置以进行后面多幅图像之间的坐标转换，此现有技术中有很多描述，此处不再详细说明)，提取被测物体的边缘信息(指待检物体的边缘位置)，之后利用步骤四中形成的预测模型取得被测三维物体出现时提取的深度信息特征推算被测物体的边缘信息，对二种方式取得边缘信息进行匹配，当匹配通过时则利用确定的此图像(确定与最后要计算的图像，如与双目相机呈90度的图像)计算被测物体边缘之间的相对距离，完成检测任务。在具体实施时，上述边缘信息的推算方法为：将被测物体的深度信息输入步骤四中形成的预测模型，以每10组信息为一个输入，由预测模型依据输入来形成“是边缘特征”与“非边缘特征”的两种判断，当出现判断为“是边缘特征”时，将原输入的10组信息提取，按照提前标定的坐标进行坐标变换，得出被测物体的边缘信息。
[0022]由上可知，本专利技术通过步骤一至步骤四先建立预测模型，其是在静止的条件下利用被测物体与双目相机通过调整阈值形成预测模型，之后在步骤五中利用此预测模型针对运动中的被测物体进行实际测量。另外，如果测试不同的物体或在不同的测试环境(如变换测试位置或背景)时，则需利用步骤一至步骤四重新生成新的预测模型。
[0023]为便于理解本专利技术的技术方案，以下以测量3D扭曲冷却管之间的间距为例说明本专利技术的具体应用过程，在检测时，三维产品(如3D扭曲冷却管)在流水线上沿X轴运动，包括双目相机的测试装置在检测拍摄时不停机(即产品保持在X轴的运动状态)，同时，为了减少
计算量，需要对双目相机采集的原始图像进行处理。具体是通过使用忽略不相关像素聚焦卷积来进行处理(因2D图片数据量较大，忽略不相关的像素，如背景像素后可降低数据处理量)。
[0024]其中划分相关像素和不相关像素是借助深度图完成。在深度图中，一个值来表示像素的深度级别，表示该像素距离双目相机的距离(即双目相机前的物体距离双目相机的距离)。首先使用双目相机生成深度图，并将深度图输入卷积计算，如图2所示，将3D输入张量的部分转换为2D矩阵的列(其中每一列对应3D输入张量中3*3的矩阵)，然后将矩阵乘以卷积权重a1至a8得到卷积结果。然后对计算后的深度图进行阈值化处理，过滤掉过短(如在3D扭曲冷却管与双目相机之间的物体的像素)或过长(如3D扭曲冷却管后面的背景的像素)的不相关像素，即可初步得到一幅相关与不相关像素的阈值图。
[0025]再根据人工现场标定时定义的标签(具体为以标准的3D扭曲冷却管在无背景的情况下作为标准模型，人工设定一些测量标识点)来验证阈值图是否合适。如果阈值图中的相关像素区包含全部人工现场标定时定义的标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维物体边界测量方法，其特征在于所述三维物体边界测量方法包括如下步骤：使用双目相机生成被测物体的深度图，将深度图进行卷积计算；对卷积处理后的深度图进行阈值化处理，得到相关像素的阈值图；根据预先设定的标签检测上述步骤得到的阈值图是否满足包含全部预先设定的标签；如是，则将上步骤得到的相关像素的阈值图的深度图数据进行深度处理得到深度级别信息列表，之后将此表中数据通过LSTM网络生成预测模型；在被测物体运动时使用双目相机获取多幅图像，获取被测物体的平面坐标，之后提取被测物体的边缘信息，利用上述步骤中形成的预测模型取得被测三维物体出现时提取的深度信息特征推算被测物体的边缘信息，对上述二种方式取得边缘信息进行匹配，如匹配则利用确定的此图像计算被测物体边缘之间的相对距离。2.如权利要求1所述的三维物体边界测量...

【专利技术属性】
技术研发人员：刘建，段艺霖，
申请(专利权)人：上海芯歌智能科技有限公司，
类型：发明
国别省市：