一种基于视觉—惯性的物体三维尺寸测量方法技术

本发明专利技术公开了一种基于视觉—惯性的物体三维尺寸测量方法，利用单目相机和IMU作为传感获取设备，通过相机参数标定、图像进行目标物体检测、传感器运动姿态估计以建立物体三维对偶椭球面及其在多视图中的投影轮廓的数学方程，最后计算物体的三维最小包络盒机器人三维空间占据尺寸。本发明专利技术不单能测量物体三维尺寸的真实信息，还具有测量成本低、便捷等优点。便捷等优点。便捷等优点。

【技术实现步骤摘要】
一种基于视觉
—
惯性的物体三维尺寸测量方法


[0001]本专利技术涉及机器视觉的
，尤其涉及到一种基于视觉
‑
惯性的物体三维尺寸测量方法。

技术介绍

[0002]在工业自动化生产过程涉及到的物流存储、产品包装、生产线设计和装载空间优化等重要环节中，产品三维尺寸信息是一种重要的物理参数。物体三维尺寸信息的获取多数依靠手动测量或者直接来自产品设计参数咨询，手动测量无法满足生产自动化需求，而设计模型通常是保密或者难以获取的。现有物体三维尺寸信息测量属于工业逆向工程领域，常采用如多线激光扫描仪、线结构光或深度相机等三维测距传感器进行物体精细化三维建模，涉及到物体三维点云信息的获取、相邻帧的点云配准与位姿估计、多帧稠密点云融合与优化等模块。一方面，精细化的三维重建需要的传感设备往往成本高昂，并且点云配准中与位姿估计中要求不同帧的点云之间有一定的重叠率，因此在实际使用过程中往往是缓慢移动设备以确保点云质量和重叠率，具有使用场景受限、高成本和低便携性等方面的不足。另一方面，在大多数工业场景并不需要物体的精细三维模型，而只需要测量物体最小包络体积作为空间占据评估。

技术实现思路

[0003]本专利技术的目的在于克服现有技术的不足，提供一种基于视觉
‑
惯性的物体三维尺寸测量方法，旨在利用单目相机和IMU作为传感获取设备，通过相机参数标定、图像进行目标物体检测、传感器运动姿态估计以建立物体三维对偶椭球面及其在多视图中的投影轮廓的数学方程，最后计算物体的三维最小包络盒的三维空间占据尺寸，实现低成本、高效便捷的、具有真实尺度的物体三维尺寸信息测量。
[0004]为实现上述目的，本专利技术所提供的技术方案为：
[0005]一种基于视觉
‑
惯性的物体三维尺寸测量方法，包括如下步骤：
[0006]S1、基于视觉
‑
惯性耦合估计相机的位姿；
[0007]S2、提取物体检测框，计算物体检测框对应的反投影平面；
[0008]S3、构建对偶椭球包络方程；
[0009]S4、计算椭球最小包络盒的三维尺寸，从而获得物体的三维占据空间尺寸信息。
[0010]进一步地，所述步骤S1基于视觉
‑
惯性耦合估计相机的位姿的具体过程如下：
[0011]采用视觉
‑
惯性紧耦合框架，包括对图像进行SIFT特征提取和匹配关联；由于IMU和图像的数据频率不同，对图像关键帧C
i
到C
j
之间的IMU数据进行预积分，积分结果为帧间的IMU姿态ΔR，速度Δv和位置Δp；对于C
i
的状态，融合进预积分结果可得C
j
下的IMU相对于世界坐标系的姿态R，速度v和位置p；
[0012]对于已跟踪的特征点X，利用三角法估计出其三维坐标，对于已经存在于地图中，并且与当前帧特征点建立起数据关联的特征点，加入优化函数之中；
时刻的IMU相对于世界坐标系位置，是i时刻的IMU线速度在世界坐标系下的表达，Δp
ij
是i、j两个时刻的位置差。在偏移项e
b
中，b
j
和b
i
分别表示j、i 时刻下的IMU偏移量。
[0027]通过对上述包含视觉传感和惯性传感误差的方程利用g2o优化框架进行优化求解，求出各关键帧的姿态R
j
和位置P
j
。
[0028]进一步地，所述步骤S2的具体过程如下：
[0029]采用预训练卷积深度神经网络在目标物体数据集上进行训练、微调，得到一个目标物体检测网络模块，该模块将从输入图像中提取目标物体，输出该物体语义标签、2D包络框的坐标及尺寸信息，设该包络框四个顶点记为p1，p2，p3，p4，四条边为l1，l2，l3，l4，均在齐次像素坐标系下表示。在该坐标下在，任一点p
i
均有坐标[u
i
,v
i
,1]，而任一直线l
i
可由其上两个点p
i
及p
j
的叉乘得到，即：
[0030][0031]根据相机成像模型，图像中的直线l反投影得到过相机光心的平面π。则给定第t帧图像平面反投影方程可由相机投影矩阵P
k
＝K[R
k t
k
]得到，即：
[0032][0033]其中π
i
＝[π
i1
,π
i2
,π
i3
,π
i4
]T
是由l
i
所得的反投影平面。对所有图像中的物体检测框的四条边均执行此操作，每个检测框均得到四个反投影平面。
[0034]进一步地，所述步骤S3构建对偶椭球包络方程的具体过程如下：
[0035]将椭球的对偶形式视为是以椭球上所有切平面构成的代数簇，在射影几何中，有明确的对偶椭球的定义π
T
Q
*
π＝0，建立其切平面π
i
＝[π
i1
,π
i2
,π
i3
,π
i4
]T
的方程：
[0036][0037]写成向量形式有：
[0038][0039]上式(1)所述的对偶椭球的包络方程为齐次坐标系中的方程，即变量在相差一个常熟尺度下均视为同一个解；
[0040]联立多个视图的物体检测框的所有边的反投影平面，得到多个形同方程(1) 的式子，构成线性方程组，记为：
[0041]Aq
*
＝0
[0042]其中A为一个n
×
10的矩阵，n表示反投影平面数量，方程为一个线性最小二乘问题：
[0043][0044]对矩阵A进行SVD分解，最小奇异值对应的奇异值向量即为所求的椭球的独立元素，按其二次型矩阵写出一个4
×
4的对称矩阵，即为所求的物体最小包络椭球，写成：
[0045][0046]进一步地，所述步骤S4的具体过程如下：
[0047]借助于椭球对偶形式的方程，寻求与场景坐标系相对齐的三个切面，切面通过求解一元二次方程得到，其解析解为：
[0048][0049][0050][0051][0052][0053][0054]从而获得包络盒立方体的长宽高三个尺寸：
[0055]长l＝abs(box(1)
‑
box(4))；
[0056]宽w＝abs(box(2)
‑
box(5))；
[0057]高h＝abs(box(3)
‑
box(6))；
[0058]上式中，box(1)和box(4)表示世界坐标系的y
‑
o
‑
z平行的面与椭球的两个切点的x轴坐标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉—惯性的物体三维尺寸测量方法，其特征在于，包括如下步骤：S1、基于视觉—惯性耦合估计相机的位姿；S2、提取物体检测框，计算物体检测框对应的反投影平面；S3、构建对偶椭球包络方程；S4、计算椭球最小包络盒的三维尺寸，从而获得物体的三维占据空间尺寸信息。2.根据权利要求1所述的一种基于视觉—惯性的物体三维尺寸测量方法，其特征在于，所述步骤S1基于视觉—惯性耦合估计相机的位姿的具体过程如下：采用视觉—惯性紧耦合框架，包括对图像进行SIFT特征提取和匹配关联；由于IMU和图像的数据频率不同，对图像关键帧C
i
到C
j
之间的IMU数据进行预积分，积分结果为帧间的IMU姿态ΔR，速度Δv和位置Δp；对于C
i
的状态，融合进预积分结果可得C
j
下的IMU相对于世界坐标系的姿态R，速度v和位置p；对于已跟踪的特征点X，利用三角法估计出其三维坐标，对于已经存在于地图中，并且与当前帧特征点建立起数据关联的特征点，加入优化函数之中；构建视觉重投影误差及IMU惯性误差作为优化代价函数，函数如下：构建视觉重投影误差及IMU惯性误差作为优化代价函数，函数如下：其中，E
proj
(k,j)为视觉传感的代价函数，其定义来自特征点的三维坐标在图像上的重投影误差：投影误差：其中{R
CB
,p
CB
}是相机坐标系与IMU坐标系的相对变换，用于将第k个特征点在世界坐标系的坐标转换到相机坐标系下的坐标函数是相机成像模型，将三维坐标点映射到图像坐标系中，得到其在图像投影的像素坐标，ρ(
·
)是核函数Huber函数，用于将原始误差的平方项替换为一个增长较缓的函数，同时保证误差函数的光滑性质；E
IMU
(i,j)为IMU误差项：(i,j)为IMU误差项：(i,j)为IMU误差项：(i,j)为IMU误差项：e
b
＝b
j
‑
b
i
E
IMU
(i,j)表示第i时刻与第j时刻的IMU误差项，包括姿态误差e
R
、速度误差e
v
、位置误差e
p
以及偏移误差e
h
，其中∑
I
是预积分的信息矩阵，而E
R
是偏移随机游走的信息矩阵；在姿态误差e
R
中，ΔR
ij
表示通过i、j两个时刻的IMU相对变换姿态，表示姿态预积分在j时刻的近似修正项，表示IMU通过预积分得到的i
‑
j的相对变换姿态，Log(
·
)将正交变换群SO(3)的元素映射到李代数so(3)中；在速度误差e
v
中，和分别表示j时刻和i时刻的IMU速度在世界坐标系下的表示，g
W
表示重力矢量，Δv
ij
表示ij两个时刻的速度差，而和分别表示陀螺仪和加速度计在j时刻的偏移近似项；在位置误差e
p
中，和分别表示在j时刻和i时刻的IMU相对于世界坐标系位置，是i时刻的IMU线速度在世界坐标系下的表达，Δp
ij
是i、j两个时刻的位置差；在偏移项e
b
中，b
j
和b
i
分别表示j、i时刻下的IMU偏移量；通过对上述包含视觉传感和惯性传感误差的方程利用g2o优化框架进行优化求解，求出各关键帧的姿态R
j
和位置P
j
...

【专利技术属性】
技术研发人员：何力，林旭滨，杨益枘，管贻生，张宏，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：