【技术实现步骤摘要】
基于多目视觉的空间目标重构与位姿估计方法及系统
[0001]本专利技术属于空间非合作目标位姿估计
，具体地，涉及基于多目视觉的空间目标重构与位姿估计方法及系统
。
技术介绍
[0002]在航天任务中，对任务目标进行持续准确的状态观测是必不可少的一环
。
目前常用的位姿测量传感器包括
GPS
导航仪
、
惯性导航元件
、
激光测距仪
、
视觉传感器
。
按照任务目标内部是否含有位姿测量传感器可以分为内测法和外侧法
。
针对内部安装有
GPS
导航仪或惯性传感器的目标，可以直接利用测量工具提供的数据对空间目标进行位置和姿态的确定，得到目标运动状态
。
针对内部不包含位姿测量设备且无法进行通讯的目标，通常使用激光测距仪或视觉传感器实现对目标无接触的位姿测量，这一过程被称为外侧法
。
由于视觉传感器具有结构简单
、
重量轻巧等优点，因此常被用于空间目标位姿测量任务中
。
[0003]在航天器任务中，依据是否有任务对象的先验知识，例如特征靶标
、
目标外形几何参数等信息，可以将任务目标分为合作目标和非合作目标，因此，基于视觉的空间目标测量技术可以分为合作目标视觉测量技术和非合作目标视觉测量技术
。
[0004]基于合作目标的视觉测量能够实现近距离目标高精度状态估计，但无法适用于非合作目标，此外
【技术保护点】
【技术特征摘要】 【专利技术属性】
1.
基于多目视觉的空间目标重构与位姿估计方法，其特征在于：所述方法具体包括以下步骤：
S1
，建立理想相机模型及畸变模型，建立多目相机视觉系统，标定仿真相机内参；
S2
，根据
S1
建立的系统，使用深度卷积神经网络实现对特征点的提取与匹配，进行卷积神经网络的多目视觉空间目标三维点云重构，完成稀疏点云生成；
S3
，基于概率最近点迭代算法
(PICP)
的非合作目标位姿估计
。2.
根据权利要求1所述方法，其特征在于：在
S1
中，
S1.1
，单目相机视觉系统建模，建立理想相机模型和相机畸变模型；一般光学相机采用的通常是针孔相机模型，使用小孔成像原理，将对三维物体的一个二维倒像平移至相机镜头前的假象平面
P
上，形成正像；在针孔相机成像模型中，涉及四个坐标系的转换，分别是世界坐标系
、
相机坐标系
、
物理成像坐标系和图像像素坐标系；世界坐标系与相机坐标系的变换过程涉及相机在世界坐标系中摆放的位姿
R、t
，在通常意义下也被称为相机的外参数；在单目视觉实验中，世界坐标系往往与相机坐标系重合已避免外参的解算，在双目视觉实验中，世界坐标系采用与左相机相机坐标系重合的方式以减少计算；相机坐标系与物理成像坐标系的变换过程可以描述成一个相似三角形缩放过程，假设物理成像平面与物像平面平行并垂直于相机光轴，空间中三维点
P(X,Y,Z)
在物理成像平面中的坐标可以表示为：物理成像平面坐标系与图像坐标系之间的变换关系为平移和缩放，由于物理平面坐标系的原点在相机光心，图像坐标系的原点在图像的左上角，
u
轴指向图像的列方向，
v
轴指向图像的行方向，假设相机光心与图像坐标系平移的距离为
(p
u
,p
v
)(
距离
m)
，根据式
(1)
，点
P
在图像坐标系的坐标为：同时物理成像坐标系与图像坐标系有一个比例缩放关系，式
(2)
中的是以
m
作为坐标单位，而数字图像是一个矩阵，单位为
pixel
；假设像素坐标系在
u
轴轴上缩放了
α
倍，在
v
轴上缩放了
β
倍，其中
α
和分别为图像在
x
轴和
y
轴上单个像素的长度，根据式
(2)
可得：可得：综上可以得到世界坐标系与图像像素坐标系的变换关系为：
其中
s
为比例缩放因数，
f
x
,f
y
,c
x
,c
y
被称为相机的内参，可简写为：公式
(5)
即为理想模型中无畸变相机的图像像素坐标系与世界坐标系之间的转换关系；引入畸变参数来消除由于现实工艺产生的误差；相机畸变可分为切向畸变和径向畸变，相机的切向畸变对图像成像过程造成的影响很小，而径向畸变对图像最终成像有较大影响，因此只需对径向畸变进行校正即可得到后续实验所需的无畸变图像；考虑径向畸变，在理想针孔成像的模型引入径向畸变参数消除这个畸变所带来的影响；由于畸变发生在成像时，假设世界坐标系与相机坐标系的变换为，对世界坐标系下一任意点
P(X,Y,Z)
，有：其中
P
c
为点
P
在相机坐标系下坐标；设
P
c
到坐标系原点的距离为
r
，则使用多项式对此
P
c
进行畸变消除，有：式
(8)
中
k1、k2、k3为径向畸变参数，
p1、p2为切向畸变参数；虽然相机的切向畸变在实际实验过程中可以用0替代，但在相机标定过程中也会对切向畸变进行求解，有相机的畸变参数为：
distCoeffs
＝
[k
1 k
2 p
1 p
2 k3]
ꢀꢀꢀꢀ
(9)
由式
(5)
和式
(9)
可知，在考虑相机畸变的情况下，求解现实世界坐标系到图像像素坐标系之间的转换矩阵共有
f
x
,f
y
,c
x
,c
y
,k1,k2,k3,p1,p2九个参数，前四个参数统称为相机内参，后五个参数统称为畸变参数；
S1.2
，多目相机视觉系统建模；在理想双目视觉测量模型中，两台相机的成像平面共面，光轴平行，并且具有相同的内参，外参只具有
X
LR
轴上的平移量，不存在旋转；左相机与右相机的坐标系分别为
O
L
‑
X
L
Y
L
Z
L
和
O
R
‑
X
R
Y
R
Z
R
，两相机坐标系原点的连线称之为基线，通常用
b
表示；由于是理想情况，相机的光轴穿过图像坐标系的中心；设一任意空间点
P
的坐标为
(X,Y,Z)
，空间点
P
在左右相机的像素坐标系
o
L
‑
u
L
v
L
和
o
R
‑
u
R
v
R
的上的投影点分别为
p
L
(u
L
,v
L
)
和
p
R
(u
R
,v
R
)
，对应的在物理成像坐标系上的坐标分别为
(x
L
,y
L
)
和
(x
R
,y
R
)
，根据三角形相似原理有：
其中，
f
为相机的焦距；带入物理成像坐标系与像素坐标系的转换关系，有：由此可得
P
点的坐标为：其中
d
定义为左右相机的横坐标之差，通常被称之为视差
(disparity)
；在双目立体视觉测量模型的基础上再引入相同规格的若干台相机即可组成多目相机观测模型；多目相机观测模型中的任意两台相机都可以看成是一对双目立体视觉测量模型，因此，对于有
n
台相机的多目相机观测模型而言，共有种双目立体测量模型的组合
。3.
根据权利要求2所述方法，其特征在于：在
S1
中还包括：
S1.3
，仿真相机内参标定；对仿真环境下的相机进行内参求解；选用仿真相机模型为
OpenGL
透视相机模型，有与理想针孔相机模型标定参数关系为：其中
θ
为俯仰方向视场角；
Aspect
为横纵比；
n
为近平面距离，单位为
m
；
f
为远平面距离，单位为
m
；
f
x
,f
y
,c
x
,c
y
为相机内参；利用式
(16)
可解算出在当前参数下仿真相机内参，由于该环境为仿真环境，可视为理想相机模型，因此不存在畸变，径向畸变与切向畸变均为
0。4.
根据权利要求3所述方法，其特征在于：在
S2
中，
S2.1
，进行图像采集与图像预处理，使用
SuperPoint
算法实现特征点像素位置以及对应描述子的提取；
SuperPoint
采用半自监督训练的手段，训练过程分为三步，分别是基础提取器的生成
、
特征点自标注
、
最终网络训练与误差评估；基础提取器生成采用虚拟的三维物体作为训练集，实现对此类强特征性角点的提取，为后续自标定做预备；
特征点自标注：在得到基础特征点提取器的基础上，对未标注的一般图片进行自标注；对无标注图像进行单应性变换生成新的图像重新使用基础提取器进行特征点标注，提取之后使用逆变换生成最终的自标注图像；最终网络训练：对自标注的图像进行已知变换，可得到两幅图像之间的位姿关系，之后将两幅图像分别输进
SuperPoint
网络进行训练；由于两幅图像的相对位姿关系已知，因此可以对最后提取的特征点和描述子进行误差分析；
S2.2
，特征点检测与匹配，利用
SuperGlue
算法对
S2.1
得到的描述子进行匹配得到最终特征点匹配对以及匹配置信度；
S2.3
，误匹配剔除，利用
RANSAC
算法将
S2.2
中的误匹配对剔除；设数据集的大小为
K
，求解模型需要的最少参数为
S
，则
RANSAC
算法的步骤如下：
S2.3.1
从数据集
K
中随机采样
S
个点作为初始模型求解数据集；
S2.3.2
根据上一步采样的
S
个点拟合出该数据集的一个可能模型；
S2.3.3
将数据集中其他点带入模型中计算误差，当小于阈值
P
时，将该点作为内点；
S2.3.4
重复
N
次，选择内点最多的集合并重新拟合出新的可能模型；
S2.3.5
重复上述步骤直到达到指定迭代次数，结束算法；针对不同的外点含量，为了达到预期精度，需要进行不同次数的迭代；对于任意一个数据集，迭代次数可以表述为：其中
w
为从数据集中随机挑选的点为内点的概率，
p
为采样成功的概率
。5.
根据权利要求4所述方法，其特征在于：在
S2
中还包括：
S2.4
，相机相对位姿解算与空间点确定，利用对极约束求解相机相对位姿，在得到相机相对位姿的基础上利用三角测量得到特征点的三维坐标；进行基于三角测量的三维点云重构；由相机标定可以获取多目相机组相对位姿关系，在此基础上利用三角测量原理实现稀疏点云的生成，考虑两个平行放置的相机在不同位姿拍摄的图像
I1、I2，以左边相机坐标系作为参考坐标系，则右边相机的变换矩阵为
技术研发人员：魏承，邓志明，谷海宇，刘天喜，曹喜滨，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。