一种空间目标即时稠密重建方法技术

本发明专利技术提供一种空间目标即时稠密重建方法，包含：S1、通过深度相机获取空间目标的RGB

【技术实现步骤摘要】
一种空间目标即时稠密重建方法


[0001]本专利技术涉及空间智能操控领域，特别涉及一种空间目标即时稠密重建方法。

技术介绍

[0002]随着航天技术的发展，人类对外太空资源的探索和开发越来越深入。航天器发生故障、失效或完成任务后被抛弃，将在空间自由漂浮，即成为太空垃圾。因此，以传统航天器的在轨维护、空间目标清理、空间碎片清理、太空攻防等为目的的空间目标捕获技术成为了空间机器人领域新的发展方向。而获取目标的准确位置信息是实现对其进行检测、逼近、交会对接及维修等操作的前提。因此，采用空间目标三维重建技术来获取目标三维信息显得尤为重要。
[0003]针对空间目标三维重建，传统方法一般使用直线特征进行空间目标三维重建，重建生成的稀疏点云能够提供的三维信息非常局限。此外，空间目标存在结构对称、纹理重复的特点，传统方法在拍摄角度间隔较大的2帧图像匹配时，错误匹配点数量多，从而导致重建错误。多视图三维重建是通过输入不同视角下拍摄到的图片序列，经过自标定、特征跟踪、稀疏重建、稠密重建、表面重建的图像处理管线，最终生成精细三维模型的过程。对于计算资源有限、实时观测目标的空间平台而言，多视图三维重建的实时性低，达不到即时重建的需求。随着深度相机的发展，基于RGB
‑
D图像的空间目标实时三维重建成为一种可能。但，传统的基于RGB
‑
D图像实时稠密三维重建方法，在小范围场景中重建效果较好，面临大范围空间场景，其局限性有三维网格限制了重建场景的尺度、严重依赖于场景中几何特征的丰富程度、无法实现闭环优化等。

技术实现思路

[0004]本专利技术的目的是提供一种空间目标即时稠密重建方法，基于面元重建与变形图优化，通过位姿初始化、位姿跟踪、闭环检测等步骤，即时重建出稠密的空间目标精细化三维模型。通过本专利技术能够为后续空间目标捕获提供更多的三维信息。
[0005]为了达到上述目的，本专利技术提供一种空间目标即时稠密重建方法，包含：
[0006]S1、通过深度相机获取空间目标的RGB
‑
D图像，将所述RGB
‑
D图像的深度图转化为对应的点云，得到点云中各点的三维坐标与法向量，利用迭代最近点算法匹配相邻深度图三维点云的初始化位姿，并使用面元表示空间目标的稠密模型；
[0007]S2、以几何误差/光度一致性为约束条件，将当前帧RGB
‑
D图像的深度图/彩色图与所述稠密模型预测的先前帧RGB
‑
D图像的深度图/彩色图进行配准，估计当前时刻的相机姿态；
[0008]S3、对当前帧进行编码，比对当前帧与数据库中存储的关键帧的编码值，判断空间目标的翻滚运动是否存在闭环；若存在闭环，将当前帧向关键帧配准，应用变形图优化稠密模型消除累积误差。
[0009]可选的，步骤S1包含：
[0010]S1.1、令深度相机在设定时间内采集连续的深度图数据流D
i
、彩色图数据流C
i
；利用深度相机的内参数K，将深度图转化为对应的三维点云Z
i
；i∈[1,n]。
[0011]S1.2、基于迭代最近点算法，匹配相邻深度图三维点云的初始化位姿；
[0012]令Z
i
、Z
i
‑1为与相邻深度图D
i
、D
i
‑1对应的三维点云，设T是位姿初始化矩阵，T的初始值为单位矩阵：
[0013][0014]其中，P
t
与P
t
‑1表示与Z
i
、Z
i
‑1对应的三维点云初始化位姿；R
t
是3
×
3旋转矩阵，t
t
是3
×
1平移向量；T和扰动量相关联：
[0015][0016]是待优化参数，为将李代数中的一个成员映射到李群中的一个成员的矩阵指数函数；
[0017]S1.3、使用面元表示空间目标的稠密模型；所述面元为覆盖在空间目标表面的圆片，所有面元的集合构成空间目标的稠密模型M。
[0018]可选的，步骤S2包含：
[0019]S2.1、定义图像空间域、像素点的齐次表示形式与彩色图像的强度；
[0020]定义图像空间域深度像素d:彩色像素c:定义一个像素点u∈Ω的3D反投影为p(u,D)＝K
‑1υd(u)，D表示深度图；d(u)表示像素点u的微分；υ为像素点u的齐次表示形式；一个3D点p＝[x,y,z]T
，的透射投影为u＝π(Kp)，其中表示去齐次操作，其中x,y,z分别表示三维点云的x轴、y轴与z轴坐标；彩色图像C的像素c(u)＝[c1,c2,c3]T
的强度定义为I(u,C)＝c(u)
T
b，其中b＝[0.114,0.299,0.587]T
，c1,c2,c3表示像素的3个通道值；
[0021]S2.2、以几何误差为约束条件，将当前帧的深度图与所述稠密模型预测的先前帧的深度图进行配准，估计当前时刻的相机姿态；
[0022]令当前帧深度图为通过稠密模型预测的前一帧深度图为将与进行配准，该配准的几何误差代价函数为：
[0023][0024]其中，是深度图的第k个顶点的反投影，v
k
和n
k
是深度图的第k个顶点在t
‑
1时刻对应的顶点和法线；
[0025]S23、以光度一致性为约束条件，将当前帧的彩色图与所述稠密模型预测的先前帧的彩色图进行配准，估计当前时刻的相机姿态；
[0026]令当前帧的彩色图为稠密模型预测的前一帧为将与进行配准，该配准的光度一致性误差代价函数为：
[0027][0028]表示像素点u在深度图的反投影；表示像素点u在彩色图的强
度。
[0029]可选的，步骤S2还包含：
[0030]S24、设计自适应变化的权重因子，根据深度图和彩色图配准时有效匹配对的比重进行加权，实现位姿联合跟踪；
[0031]所述自适应变化的权重因子为：
[0032][0033]其中w
rgb
表示权重，T
rgbc
表示彩色图配准时像素的匹配数目，T
icpc
表示点云配准时的匹配数目；
[0034]调整深度图和彩色图配准的动态加权执行位姿跟踪，该跟踪的代价函数为：
[0035]可选的，步骤S3包含：
[0036]S31、令x为空间目标当前帧RGB
‑
D图像I的一个像素点，像素点x的红、绿、蓝、深度通道的值分别记为I
R
(x)，I
G
(x)，I
B
(x)，I
D
(x)；将F＝{f
i
}，i∈{R,G,B,D}定义为一个随机编码条件：
[0037][0038]τ
i...

【技术保护点】

【技术特征摘要】
1.一种空间目标即时稠密重建方法，其特征在于，包含：S1、通过深度相机获取空间目标的RGB
‑
D图像，将所述RGB
‑
D图像的深度图转化为对应的点云图，得到点云图中各点的三维坐标与法向量，利用迭代最近点算法匹配相邻点云图来初始化位姿，并使用面元表示空间目标的稠密模型；S2、以几何误差/光度一致性为约束条件，将当前帧RGB
‑
D图像的深度图/彩色图与所述稠密模型预测的先前帧RGB
‑
D图像的深度图/彩色图进行配准，估计当前时刻的相机姿态；S3、对当前帧进行编码，比对当前帧与数据库中存储的关键帧的编码值，判断空间目标的翻滚运动是否存在闭环；若存在闭环，将当前帧向最相似的关键帧配准，应用变形图优化稠密模型消除累积误差。2.如权利要求1所述的空间目标即时稠密重建方法，其特征在于，步骤S1包含：S1.1、令深度相机在设定时间内采集连续的深度图数据流D
i
、彩色图数据流C
i
；利用深度相机的内参数K，将深度图转化为对应的三维点云Z
i
；i∈[1,n]；S1.2、基于迭代最近点算法，匹配相邻三维点云图来初始化位姿；令Z
i
、Z
i
‑1为与相邻深度图D
i
、D
i
‑1对应的三维点云，设T是位姿初始化矩阵，T的初始值为单位矩阵：P
t
＝TP
t
‑1，其中，P
t
与P
t
‑1表示与Z
i
、Z
i
‑1对应的初始化位姿；R
t
是3
×
3旋转矩阵，t
t
是3
×
1平移向量；T和扰动量相关联：相关联：是待优化参数，为将李代数中的一个成员映射到李群中的一个成员的矩阵指数函数；S1.3、使用面元表示空间目标的稠密模型；所述面元为覆盖在空间目标表面的圆片，所有面元的集合构成空间目标的稠密模型M。3.如权利要求2所述的空间目标即时稠密重建方法，其特征在于，步骤S2包含：S2.1、定义图像空间域、像素点的齐次表示形式与彩色图像的强度；定义图像空间域深度像素彩色像素定义一个像素点u∈Ω的3D反投影为p(u,D)＝K
‑1υd(u)，D表示深度图；d(u)表示像素点u的微分；υ为像素点u的齐次表示形式；一个3D点p＝[x,y,z]
T
，的透射投影为u＝π(Kp)，其中表示去齐次操作，其中x,y,z分别表示三维点云的x轴、y轴与z轴坐标；彩色图像C的像素c(u)＝[c1,c2,c3]
T
的强度定义为I(u,C)＝c(u)
T
b，其中b＝[0.114,0.299,0.587]
T
，c1,c2,c3表示像素的3个通道值；S2.2、以几何误差为约束条件，将当前帧的深度图与所述稠密模型预测的先前帧的深度图进行配准，估计当前时刻的相机姿态；令当前帧深度图为通过稠密模型预测的前一帧深度图为将与进行配准，该配准的几何误差代价函数为：
其中，是深度图的第k个顶点的反投影，v
k
和n
k
是深度图的第k个顶点在t
‑
1时刻对应的顶点和法线；S23、以光度一致性为约束条件，将当前帧的彩色图与所述稠密模型预测的先前帧的彩色图进行配准，估计当前时刻的相机姿态；令当前帧的彩色图为稠密模型预测的前一帧为将与进行配准，该配准的光度一致性误差代价函数为：其中表示像素点u在深度图的反投影；表示像素点u在彩色图的强度。4.如权利要求3所述的空间目标即时稠密重建方法，其特征在于，步骤S2还包含：S24、设计自适应变化的权重因子，根据深度图和彩色图配准时有效匹配对的比重进行加权，实现空间目标位姿联合跟踪；所述自适应变化的权重因子为：其中w
rgb
表示权重，T
rgbc
表示彩色图配准时像素的匹配数目，T
icpc
表示点云配准时的匹配数目；调整深度图和彩色图配准的动态加权执行位姿跟踪，该跟踪的代价函数为：5.如权利要求1所述的空间目标即时稠密重建方法，其特征在于，步骤S3包含：S31、令x为空间目标当前帧RGB
‑
D图像I的一个像素点，像素点x的红、绿、蓝、深度通道的值分别记为I
R
(x)，I
G
(x)，I
B
(x)，I
D
(x)；将F＝{f
i
}，i∈{R,G,B,D}定义为一个随机编码条件：τ
i
...

【专利技术属性】
技术研发人员：牟金震，盛延平，李爽，孙俊，曹姝清，彭杨，武海雷，
申请(专利权)人：上海航天控制技术研究所，
类型：发明
国别省市：