一种空间非合作目标近距离实时位姿跟踪方法技术

本发明专利技术公开了一种空间非合作目标近距离实时位姿跟踪方法，步骤如下：首先，对初始帧深度图提取椭圆和直线，从中挑选符合规则的同心圆特征和直线特征并解算相对位姿。然后在关键帧中跟踪同心圆特征和直线特征，并利用多个关键帧数据进行优化以消去测量误差获得精度更高的相对位姿。接着，采用ICP算法跟踪当前帧和距离最近的关键帧之间的相对位姿变化。最后，融合最近关键帧的相对位姿和当前帧相对于最近关键帧的相对位姿的变化，获得实时的位姿跟踪结果。踪结果。踪结果。

【技术实现步骤摘要】
一种空间非合作目标近距离实时位姿跟踪方法


[0001]本专利技术属于人工智能（智能导航制导与控制技术）领域，具体涉及一种空间非合作目标近距离实时位姿跟踪方法。

技术介绍

[0002]目前，越来越多的空间失效飞行器挤占着有限的轨道资源并且威胁到了空间任务的安全。因此，能够实现对非合作目标抓取、维修和其他服务的自主在轨服务技术成为了当下空间技术发展的核心领域之一。在自主在轨服务任务中，自主获取非合作目标高精度相对位姿信息是能否成功执行在轨任务的前提条件之一。尤其是在抓捕前的近距离阶段，对算法的实时性也提出了较高的要求。在目前的非合作目标相对导航研究中，根据采用的传感器类型，可以分为基于被动传感器：单目相机，立体视觉和基于主动传感器：激光雷达，ToF相机两类。在基于被动传感器的方法中，通常会使用点、线和圆三类特征来实现相对位姿的测量。点特征的方法被定义为透视n点问题 (PnP)，利用图像中多个特征点对应的几何约束来求解位姿。线特征比点特征更加鲁棒，通常采用透视n线方法求解。然而，图像中存在大量的点、线特征，在利用特征测量位置和姿态之前，必须要从大量特征中挑选出正确的特征。圆特征是鲁棒性最强的特征，即使在强噪声环境下也有很好的跟踪效果。圆特征在卫星中也是普遍存在的，并且数量不多，不需要复杂的挑选过程。但是圆特征存在二义性并且单纯依靠圆特征无法恢复运动中的滚转角。主动传感器相对于被动传感器具有可以直接获得目标深度信息的优势。然而从无序的点云中提取特征是困难的，并且针对点云的操作计算上很费时，尤其是距离目标很近时，获得的点云通常比较稠密。

技术实现思路

[0003]针对于上述现有技术的不足，本专利技术的目的在于提供一种空间非合作目标近距离实时位姿跟踪方法，以解决现有技术在空间非合作目标观测中，基于被动传感器的方法往往需要复杂的位姿解算算法，而基于主动传感器的方法则在实时性上存在巨大劣势的问题。
[0004]本专利技术基于ToF相机获取的深度图，在初始帧深度图中提取椭圆和直线，利用同心圆约束挑选符合要求的同心圆特征，利用直线长度和位置约束挑选符合要求的直线特征。以同心圆离卫星中心最远的一个圆的圆心为中心，以同心圆的法线方向和直线三维点和相机原点确定的平面的法线方向确定一个坐标系的三个轴，即可解算初始的相对位姿。同心圆特征和直线特征在关键帧之间被跟踪，并利用多个关键帧数据进行优化以消去测量误差获得精度更高的相对位姿。深度图被用来辅助稀疏点云。稀疏后的点云用ICP求解当前帧与距离最近的关键帧之间的相对位姿变化。带优化的关键帧位姿估计结果和通过ICP获得的相对位姿变化跟踪结果被融合以获得高精度的近距离实时位姿跟踪结果。
[0005]为达到上述目的，本专利技术采用的技术方案如下：一种空间非合作目标近距离实时位姿跟踪方法，所述跟踪方法步骤如下：
ꢀ
S1，从第1帧开始隔设定时间添加一个关键帧，通过对初始关键帧深度图提取空间非合作目标表明的椭圆和直线特征，挑选出符合设定规则的同心圆特征和直线特征，解算无优化的空间非合作目标和相机之间的相对位姿； S2，在关键帧中跟踪步骤S1中挑选出的同心圆特征和直线特征，利用多个关键帧数据进行优化以消去测量误差获得精度更高的带优化的相对位姿； S3，融合所述步骤S2中的带优化的相对位姿和采用ICP算法跟踪获得的当前帧与最近关键帧之间的相对位姿变化，获得实时的相对位姿跟踪结果。
[0006]进一步的，所述步骤S1具体包括： S11，在初始帧深度图中采用基于边缘连接方法的椭圆检测算法AAMED提取深度图中的椭圆；在提取的椭圆中剔除满足如下要求的椭圆： 1)椭圆的周长小于100个像素，2)半长轴与半短轴的比例大于设定数值；将深度图中所有明显的椭圆都提取出来；之后，将得到的明显的椭圆上的点通过相机投影模型和深度图的缩放，生成空间圆的三维点；获得空间圆的三维点后，通过最小二乘问题求解空间圆所在平面的法向量；通过空间圆所在平面的法向量得到该空间圆的圆心，拟合出所有空间圆； S12，基于LSD算法来提取一条主特征直线以及三条辅助特征直线； S13，将主特征直线的三维点与相机光心构成一个平面，由最小二乘问题求得该平面的法向量，记为；将同心圆中离卫星主体最远的圆的圆心记为，法向量记为；即为无优化的空间非合作目标的位置，设定无优化的空间非合作目标的姿态求取为： 。
[0007]进一步的，所述基于LSD算法来提取一条主特征直线以及四条特征直线具体为：LSD算法从深度图像中提取出若干特征线，从中选择四条直线特征作为跟踪的特征，一条为主特征直线，配合同心圆特征确定目标坐标系；另外三条为辅助特征直线，所述辅助特征直线用来在无法观测到主特征直线时，根据直线之间的相对关系确定主特征直线的状态，确定目标坐标系；确定主特征直线的标准如下： 1)直线不在图像边缘，2)直线距离同心圆圆心的距离大于最大圆的半径且小于图像宽度的一半，3）符合上述条件中最长的一条直线；确定三条辅助特征直线的标准如下：其中一条是满足与主特征直线相平行且距离圆心的距离与主特征直线相同但是方向相反的直线中最长的一条直线；其他两条是分别满足垂直于主特征直线且距离圆心的距离与主特征直线相同但方向相反的所有直线中最长的两条。
[0008]进一步的，同心圆的挑选遵从如下准则：将所述空间圆的所有圆心都在一条与它们的支撑面垂直的公共线上的空间圆称为同心圆；将同心圆中所有圆的圆心和半径作为同心圆特征保存。
[0009]进一步的，所述步骤S2具体包括：
ꢀ
S21，在所述步骤S1中挑选的同心圆特征以及四条特征直线，以同心圆中离卫星主体最远的那个圆的圆心和四条直线中点位置这五个点的三维坐标为媒介，根据ICP算法跟踪的关键帧之间的相对位姿的变化估计以上五个点在下一个关键帧中的投影坐标；对于关键帧深度图中的椭圆特征来说，将椭圆中心距离投影过来的圆心大于阈值的椭圆直接去除；在剩下的椭圆中检查是否满足同心圆的约束，如果不满足同心圆的约束，将不满足约束的椭圆去除后即可获得关键帧中的同心圆特征；如果同心圆中没有当前空间非合作目标的位置，则根据保存的同心圆中圆心的位置关系估计当前空间非合作目标的位置；如果同心圆中出现了比当前空间非合作目标的位置距离卫星中心更远的圆心位置，则将下一帧作为关键帧继续观测；若下一帧依然观测到了比当前空间非合作目标的位置距离卫星中心更远的圆心位置，则修改空间非合作目标的位置为新观测到的圆心；如果距离投影过来的特征直线的中点小于阈值的距离上有直线，则利用该直线和投影之前的特征直线的普吕克坐标计算两条直线之间的相对距离和夹角以判断该直线是否为投影之前的特征直线在当前帧对应的特征直线；如果最终四条特征直线都没有找到当前帧相对应的特征直线，则用关键帧深度图中提取到的所有直线与世界坐标系中的四条特征直线做对比，直到找到一条当前帧对应的特征直线为止；如果投影点不在像素平面上，则认为该特征不在相机视场中；如果圆心投影不在像素平面上，则认为该次观测失败，开始下一次观测； S22、结合多个关键帧数据进行非线性优化，设定所有待优化变量x为： ； 其中是位本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种空间非合作目标近距离实时位姿跟踪方法，其特征在于，所述跟踪方法步骤如下：S1，从第1帧开始隔设定时间添加一个关键帧，通过对初始关键帧深度图提取空间非合作目标表明的椭圆和直线特征，挑选出符合设定规则的同心圆特征和直线特征，解算无优化的空间非合作目标和相机之间的相对位姿；S2，在关键帧中跟踪步骤S1中挑选出的同心圆特征和直线特征，利用多个关键帧数据进行优化以消去测量误差获得精度更高的带优化的相对位姿；S3，融合所述步骤S2中的带优化的相对位姿和采用ICP算法跟踪获得的当前帧与最近关键帧之间的相对位姿变化，获得实时的相对位姿跟踪结果。2.根据权利要求1所述的空间非合作目标近距离实时位姿跟踪方法，其特征在于，所述步骤S1具体包括：S11，在初始帧深度图中采用基于边缘连接方法的椭圆检测算法AAMED提取深度图中的椭圆；在提取的椭圆中剔除满足如下要求的椭圆：1)椭圆的周长小于100个像素，2)半长轴与半短轴的比例大于设定数值；将深度图中所有明显的椭圆都提取出来；之后，将得到的明显的椭圆上的点通过相机投影模型和深度图的缩放，生成空间圆的三维点；获得空间圆的三维点后，通过最小二乘问题求解空间圆所在平面的法向量；通过空间圆所在平面的法向量得到该空间圆的圆心，拟合出所有空间圆；S12，基于LSD算法来提取一条主特征直线以及三条辅助特征直线；S13，将主特征直线的三维点与相机光心构成一个平面，由最小二乘问题求得该平面的法向量，记为；将同心圆中离卫星主体最远的圆的圆心记为，法向量记为；即为无优化的空间非合作目标的位置，设定无优化的空间非合作目标的姿态求取为：。3.根据权利要求2所述的空间非合作目标近距离实时位姿跟踪方法，其特征在于，所述基于LSD算法来提取一条主特征直线以及四条特征直线具体为：LSD算法从深度图像中提取出若干特征线，从中选择四条直线特征作为跟踪的特征，一条为主特征直线，配合同心圆特征确定目标坐标系；另外三条为辅助特征直线，所述辅助特征直线用来在无法观测到主特征直线时，根据直线之间的相对关系确定主特征直线的状态，确定目标坐标系；确定主特征直线的标准如下：1)直线不在图像边缘，2)直线距离同心圆圆心的距离大于最大圆的半径且小于图像宽度的一半，3）符合上述条件中最长的一条直线；确定三条辅助特征直线的标准如下：其中一条是满足与主特征直线相平行且距离圆心的距离与主特征直线相同但是方向相反的直线中最长的一条直线；其他两条是分别满足垂直于主特征直线且距离圆心的距离与主特征直线相同但方向相反的所有直线中最长的两条。4.根据权利要求2所述的空间非合作目标近距离实时位姿跟踪方法，其特征在于，同心
圆的挑选遵从如下准则：将所述空间圆的所有圆心都在一条与它们的支撑面垂直的公共线上的空间圆称为同心圆；将同心圆中所有圆的圆心和半径作为同心圆特征保存。5.根据权利要求4所述的空间非合作目标近距离实时位姿跟踪方法，其特征在于，所述步骤S2具体包括：S21，在所述步骤S1中挑选的同心圆特征以及四条特征直线，以同心圆中离卫星主体最远的那个圆的圆心和四条直线中点位置这五个点的三维坐标为媒介，根据ICP算法跟踪的关键帧之间的相对位姿的变化估计以上...

【专利技术属性】
技术研发人员：江海天，胡茄乾，李爽，杨彬，黄旭星，刘旭，牟金震，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：