一种高精度物体几何尺寸测量方法及装置制造方法及图纸

本发明专利技术提供了一种高精度物体几何尺寸测量方法及装置，在深度相机移动的过程中，通过配准当前帧的彩色图和上一帧的彩色图的特征来计算当前帧的深度图和上一帧的深度图的空间变换位姿，并将基于该空间变换位姿变换后的当前帧的深度图融合至TSDF模型中，直到深度相机移动结束获得TSDF模型输出的三维空间模型，进一步从该三维空间模型中获取深度相机当前视角下的目标深度图，基于该目标深度图中分割出的空间对象的子深度图和背景地面的子深度图来计算空间对象的几何尺寸。本发明专利技术通过多帧融合方式解决了由于相机本身视角限制无法测量超大物体进行几何尺寸的问题，提高了测量精度，方便实用。

A method and device for measuring geometric dimensions of high precision objects

【技术实现步骤摘要】
一种高精度物体几何尺寸测量方法及装置
本专利技术涉及物体测量
，更具体地说，涉及一种高精度物体几何尺寸测量方法及装置。
技术介绍
随着物流行业的兴起，节约物流成本、提高仓储空间利用率，逐渐成为人们关注的焦点。如何测量物体的几何尺寸成为物流行业的一大痛点。传统测量方案大多采用固定式测量，但由于相机位置固定、相机的视场角受限，导致单帧所测量物体的大小有限，这就无法测量超大物体的几何尺寸。
技术实现思路
有鉴于此，为解决上述问题，本专利技术提供一种高精度物体几何尺寸测量方法及装置。技术方案如下：一种高精度物体几何尺寸测量方法，所述方法包括：在深度相机移动的过程中，采集当前帧的深度图和彩色图；获取上一帧的深度图和彩色图，并通过配准所述当前帧的彩色图和所述上一帧的彩色图的特征计算所述当前帧的深度图和所述上一帧的深度图的空间变换位姿；基于所述空间变换位姿将所述当前帧的深度图变换到所述上一帧的深度图所在的坐标系下，并将变换后的所述当前帧的深度图融合至表面重建TSDF模型中，以使所述TSDF模型将变换后的所述当前帧的深度图映射到三维立体空间中；在所述深度相机结束移动后，获取所述TSDF模型输出的三维空间模型，并从所述三维空间模型中获取所述深度相机当前视角下的目标深度图；从所述目标深度图中分割出空间对象的子深度图和背景地面的子深度图，并基于所述空间对象的子深度图和所述背景地面的子深度图计算所述空间对象的几何尺寸。优选的，所述通过配准所述当前帧的彩色图和所述上一帧的彩色图的特征计算所述当前帧的深度图和所述上一帧的深度图的空间变换位姿，包括：分别将所述当前帧的彩色图和所述上一帧的彩色图转换为灰度图；分别检测所述当前帧的灰度图和所述上一帧的灰度图的特征；通过配准同一个特征在所述当前帧的灰度图和所述上一帧的灰度图中的像素位置计算所述当前帧的深度图和所述上一帧的深度图的初始空间变换位姿；将所述初始空间变换位姿作为最近点迭代ICP算法的初值，并通过所述ICP算法迭代计算所述当前帧的深度图和所述上一帧的深度图之间的实际空间变换位姿。优选的，所述基于所述空间对象的子深度图和所述背景地面的子深度图计算所述空间对象的几何尺寸，包括：通过对所述空间对象的子深度图进行平面拟合获取所述空间对象的至少一个平面，以及通过对所述背景地面的子深度图进行平面拟合获取所述背景地面所在的平面；判断所述空间对象的至少一个平面是否均为规则平面；如果所述空间对象的至少一个平面均为规则平面，从所述空间对象的至少一个平面中确定一个与所述背景地面所在的平面相平行的目标平面；将所述目标平面的长度作为所述空间对象的长度、将所述目标平面的宽度作为所述空间对象的宽度、将所述目标平面投影至所述背景地面所在的平面的投影高度作为所述空间对象的高度。优选的，所述从所述空间对象的至少一个平面中确定一个与所述背景地面所在的平面相平行的目标平面，包括：在所述至少一个平面为多个平面的情况下，计算每个所述平面的法向量与所述背景地面的平面的法向量的夹角；将所述至少一个平面中夹角为零的平面确定为与所述背景地面所在的平面相平行的目标平面。优选的，所述方法还包括：如果所述空间对象的至少一个平面不均为规则平面，则将所述空间对象的子深度图投影至所述背景地面所在的平面；通过主成分分析的方法处理投影后的所述空间对象的子深度图得到所述空间对象的长度和宽度，并将所述空间对象的子深度图投影到所述背景地面所在平面的最大投影高度作为所述空间对象的高度。优选的，所述方法还包括：判断所述当前帧是否为第一帧；如果所述当前帧为第一帧，则将所述当前帧的深度图融合至所述TSDF模型中，以使所述TSDF模型将所述当前帧的深度图映射到三维立体空间中；如果所述当前帧不为第一帧，执行所述获取上一帧的深度图和彩色图。一种高精度物体几何尺寸测量装置，所述装置包括：采集模块，用于在深度相机移动的过程中，采集当前帧的深度图和彩色图；第一计算模块，用于获取上一帧的深度图和彩色图，并通过配准所述当前帧的彩色图和所述上一帧的彩色图的特征计算所述当前帧的深度图和所述上一帧的深度图的空间变换位姿；第一融合模块，用于基于所述空间变换位姿将所述当前帧的深度图变换到所述上一帧的深度图所在的坐标系下，并将变换后的所述当前帧的深度图融合至表面重建TSDF模型中，以使所述TSDF模型将变换后的所述当前帧的深度图映射到三维立体空间中；第二计算模块，用于在所述深度相机结束移动后，获取所述TSDF模型输出的三维空间模型，并从所述三维空间模型中获取所述深度相机当前视角下的目标深度图；从所述目标深度图中分割出空间对象的子深度图和背景地面的子深度图，并基于所述空间对象的子深度图和所述背景地面的子深度图计算所述空间对象的几何尺寸。优选的，用于通过配准所述当前帧的彩色图和所述上一帧的彩色图的特征计算所述当前帧的深度图和所述上一帧的深度图的空间变换位姿的所述第一计算模块，具体用于：分别将所述当前帧的彩色图和所述上一帧的彩色图转换为灰度图；分别检测所述当前帧的灰度图和所述上一帧的灰度图的特征；通过配准同一个特征在所述当前帧的灰度图和所述上一帧的灰度图中的像素位置计算所述当前帧的深度图和所述上一帧的深度图的初始空间变换位姿；将所述初始空间变换位姿作为最近点迭代ICP算法的初值，并通过所述ICP算法迭代计算所述当前帧的深度图和所述上一帧的深度图之间的实际空间变换位姿。优选的，用于基于所述空间对象的子深度图和所述背景地面的子深度图计算所述空间对象的几何尺寸的所述第二计算模块，具体用于：通过对所述空间对象的子深度图进行平面拟合获取所述空间对象的至少一个平面，以及通过对所述背景地面的子深度图进行平面拟合获取所述背景地面所在的平面；判断所述空间对象的至少一个平面是否均为规则平面；如果所述空间对象的至少一个平面均为规则平面，从所述空间对象的至少一个平面中确定一个与所述背景地面所在的平面相平行的目标平面；将所述目标平面的长度作为所述空间对象的长度、将所述目标平面的宽度作为所述空间对象的宽度、将所述目标平面投影至所述背景地面所在的平面的投影高度作为所述空间对象的高度。优选的，所述装置还包括：判断模块，用于判断所述当前帧是否为第一帧；如果所述当前帧为第一帧，则触发第二融合模块；如果所述当前帧不为第一帧，则触发所述第一计算模块；第二融合模块，用于将所述当前帧的深度图融合至所述TSDF模型中，以使所述TSDF模型将所述当前帧的深度图映射到三维立体空间中。本专利技术实施例提供一种高精度物体几何尺寸测量方法及装置，在深度相机移动的过程中，通过配准当前帧的彩色图和上一帧的彩色图的特征来计算当前帧的深度图和上一帧的深度图的空间变换位姿，并将基于该空间变换位姿变换后的当前帧的深度图融合至TSDF模型中，直到深度相机移动结束获得TSDF模型输出本文档来自技高网...

【技术保护点】
1.一种高精度物体几何尺寸测量方法，其特征在于，所述方法包括：/n在深度相机移动的过程中，采集当前帧的深度图和彩色图；/n获取上一帧的深度图和彩色图，并通过配准所述当前帧的彩色图和所述上一帧的彩色图的特征计算所述当前帧的深度图和所述上一帧的深度图的空间变换位姿；/n基于所述空间变换位姿将所述当前帧的深度图变换到所述上一帧的深度图所在的坐标系下，并将变换后的所述当前帧的深度图融合至表面重建TSDF模型中，以使所述TSDF模型将变换后的所述当前帧的深度图映射到三维立体空间中；/n在所述深度相机结束移动后，获取所述TSDF模型输出的三维空间模型，并从所述三维空间模型中获取所述深度相机当前视角下的目标深度图；/n从所述目标深度图中分割出空间对象的子深度图和背景地面的子深度图，并基于所述空间对象的子深度图和所述背景地面的子深度图计算所述空间对象的几何尺寸。/n

【技术特征摘要】
1.一种高精度物体几何尺寸测量方法，其特征在于，所述方法包括：
在深度相机移动的过程中，采集当前帧的深度图和彩色图；
获取上一帧的深度图和彩色图，并通过配准所述当前帧的彩色图和所述上一帧的彩色图的特征计算所述当前帧的深度图和所述上一帧的深度图的空间变换位姿；
基于所述空间变换位姿将所述当前帧的深度图变换到所述上一帧的深度图所在的坐标系下，并将变换后的所述当前帧的深度图融合至表面重建TSDF模型中，以使所述TSDF模型将变换后的所述当前帧的深度图映射到三维立体空间中；
在所述深度相机结束移动后，获取所述TSDF模型输出的三维空间模型，并从所述三维空间模型中获取所述深度相机当前视角下的目标深度图；
从所述目标深度图中分割出空间对象的子深度图和背景地面的子深度图，并基于所述空间对象的子深度图和所述背景地面的子深度图计算所述空间对象的几何尺寸。


2.根据权利要求1所述的方法，其特征在于，所述通过配准所述当前帧的彩色图和所述上一帧的彩色图的特征计算所述当前帧的深度图和所述上一帧的深度图的空间变换位姿，包括：
分别将所述当前帧的彩色图和所述上一帧的彩色图转换为灰度图；
分别检测所述当前帧的灰度图和所述上一帧的灰度图的特征；
通过配准同一个特征在所述当前帧的灰度图和所述上一帧的灰度图中的像素位置计算所述当前帧的深度图和所述上一帧的深度图的初始空间变换位姿；
将所述初始空间变换位姿作为最近点迭代ICP算法的初值，并通过所述ICP算法迭代计算所述当前帧的深度图和所述上一帧的深度图之间的实际空间变换位姿。


3.根据权利要求1所述的方法，其特征在于，所述基于所述空间对象的子深度图和所述背景地面的子深度图计算所述空间对象的几何尺寸，包括：
通过对所述空间对象的子深度图进行平面拟合获取所述空间对象的至少一个平面，以及通过对所述背景地面的子深度图进行平面拟合获取所述背景地面所在的平面；
判断所述空间对象的至少一个平面是否均为规则平面；
如果所述空间对象的至少一个平面均为规则平面，从所述空间对象的至少一个平面中确定一个与所述背景地面所在的平面相平行的目标平面；
将所述目标平面的长度作为所述空间对象的长度、将所述目标平面的宽度作为所述空间对象的宽度、将所述目标平面投影至所述背景地面所在的平面的投影高度作为所述空间对象的高度。


4.根据权利要求3所述的方法，其特征在于，所述从所述空间对象的至少一个平面中确定一个与所述背景地面所在的平面相平行的目标平面，包括：
在所述至少一个平面为多个平面的情况下，计算每个所述平面的法向量与所述背景地面的平面的法向量的夹角；
将所述至少一个平面中夹角为零的平面确定为与所述背景地面所在的平面相平行的目标平面。


5.根据权利要求3所述的方法，其特征在于，所述方法还包括：
如果所述空间对象的至少一个平面不均为规则平面，则将所述空间对象的子深度图投影至所述背景地面所在的平面；
通过主成分分析的方法处理投影后的所述空间对象的子深度图得到所述空间对象的长度和宽度，并将所述空间对象的子深度图投影到所述背景地面所在平面的最大投影高度作为所述空间对象的高度。

【专利技术属性】
技术研发人员：王蒙蒙，李骊，
申请(专利权)人：北京华捷艾米科技有限公司，
类型：发明
国别省市：北京;11