【技术实现步骤摘要】
本专利技术涉及非合作目标三维空间位姿跟踪，特别地，涉及一种非合作目标的三维空间位姿估计方法及系统、电子设备、计算机可读取的存储介质。
技术介绍
1、计算机视觉是指利用计算机和视觉系统从图像中提取外界环境的相关信息，并进行处理与加工，用于实际检测、测量和控制，机器视觉技术具有处理速度快、感知信息量大、功能全面、成本较低等优点，在工业领域已得到广泛的应用，而非合作目标三维空间位姿跟踪是当前计算机视觉领域的难点之一。目前，针对非合作目标的位姿跟踪常使用立体视觉的方法，但是该方法仅适用于近距离、小尺度下非合作目标的相对位姿跟踪与测量。另外，现有的基于单目-深度融合的视觉系统可直接获取目标的深度信息，在目标三维模型已知时，可以通过迭代优化、深度学习等手段确定目标的位姿信息，但是，对于三维模型未知的目标，无法对目标的三维空间位姿进行实时跟踪。
技术实现思路
1、本专利技术提供了一种非合作目标的三维空间位姿估计方法及系统、电子设备、计算机可读取的存储介质，可以在目标三维模型未知的情况下对目标的三维空间位姿进行实时跟踪。
2、根据本专利技术的一个方面，提供一种非合作目标的三维空间位姿估计方法，包括以下内容：
3、采集当前时刻非合作目标的彩色图像和深度图像，并获取彩色图像与深度图像之间的映射关系，其中，彩色图像是二维图像；
4、对彩色图像进行目标分割，得到当前时刻目标区域的彩色图像和光度图像，并结合彩色图像与深度图像之间的映射关系以及当前时刻非合作目标的深度图像得
5、对当前时刻目标区域的彩色图像进行视觉特征提取，得到当前时刻目标区域的视觉特征集合，其中，视觉特征集合包括多个视觉特征点的特征描述子、二维图像坐标和三维坐标；
6、获取前一时刻的图像帧信息和关键帧集合，其中，前一时刻的图像帧信息包括前一时刻目标区域的彩色图像、光度图像和深度图像，前一时刻目标区域的视觉特征集合，前一时刻相机与目标之间的相位位姿关系，前一时刻图像帧与其它图像帧之间的共可视权重，以及前一时刻目标区域的视觉特征点与目标模型点集之间的关联关系；
7、基于前一时刻的图像帧信息和关键帧集合，以及当前时刻目标区域的深度图像、彩色图像、光度图像和视觉特征集合，对当前时刻的图像帧信息进行估计，得到当前时刻相机与目标之间的相对位姿关系，从而得到当前时刻非合作目标的三维空间位姿。
8、进一步地，所述基于前一时刻的图像帧信息和关键帧集合，以及当前时刻目标区域的深度图像、彩色图像、光度图像和视觉特征集合，对当前时刻的图像帧信息进行估计，得到当前时刻相机与目标之间的相对位姿关系的过程包括以下内容：
9、将当前时刻目标区域的视觉特征集合与前一时刻目标区域的视觉特征集合进行视觉特征点匹配，得到匹配特征点对；
10、基于匹配特征点对、前一时刻目标区域的视觉特征点与目标模型点集之间的关联关系，得到当前时刻目标区域的视觉特征点与目标模型点集之间的关联关系；
11、基于当前时刻目标区域的视觉特征点与目标模型点集之间的关联关系，从关键帧集合查找出与当前帧相关的所有关联关键帧；
12、将当前帧的初始位姿赋值为前一时刻图像帧的位姿，并计算得到当前帧与所有关联关键帧之间的共可视权重，并从中筛选出最大的多个关联关键帧；
13、构建第一复合损失函数，并采用非线性优化方法基于前一时刻的图像帧信息和筛选出的多个关联关键帧的图像帧信息进行迭代估计，得到当前时刻相机与目标之间的相对位姿关系。
14、进一步地，所述第一复合损失函数的表达式为：
15、e＝wspareespare+wphotoephoto+wgeoegeo
16、
17、
18、
19、其中，e表示第一复合损失，espare、ephoto、egeo分别表示稀疏损失、光度损失、几何损失，wspare表示稀疏损失的权重，wphoto表示光度损失的权重，wgeo表示几何损失的权重，n表示筛选出的关联关键帧的数量，c(c,j)表示当前帧和第j帧的匹配特征点对集合，(k,m)表示从c(c,j)中任意选取的一组匹配特征点对，k表示当前帧中的第k个特征点，m表示第j帧中的第m个特征点，ρ()表示定义损失函数，tc表示当前帧的相机坐标系与目标坐标系之间的相对位姿变换关系，pc,k表示当前帧中第k个特征点的三维位置，tj表示第j帧图像的相机坐标系与目标坐标系之间的相对位姿变换关系，pj,m表示第j帧图像中第m个特征点的三维位置，pc表示当前帧目标区域的光度图像，|pc|表示光度图像目标区域像素点数目，π()表示透视投影操作，用于将三维点投影到二维图像上，pj表示第j帧图像目标区域的光度图像，|dc|表示深度图像目标区域像素点数目，nc,k表示当前帧第k个特征点的法向量，表示透视投影操作的逆操作，用于通过查询像素位置上的深度值来恢复相机坐标系中的三维位置。
20、进一步地，基于下式计算图像帧之间的共可视权重：
21、
22、其中，wij表示第i帧图像和第j帧图像之间的共可视权重，ηi表示第i帧图像的相机坐标系与目标坐标系之间的相对平移，ηj表示第j帧图像的相机坐标系与目标坐标系之间的相对平移，表示第i帧图像光心与目标的连线和第j帧图像光心与目标的连线之间夹角的余弦值，mij表示第i帧图像和第j帧图像匹配的特征点数量，ni表示第i帧图像的特征点总数，cos(ζrj)表示第i帧图像和第j帧图像的相机坐标系之间的相对旋转关系大小。
23、进一步地，在估计得到当前时刻的图像帧信息之后还包括以下内容：
24、根据当前帧与其它图像帧之间的共可视权重评估当前帧是否满足关键帧要求，若满足则将当前帧加入关键帧集合，并对添加的新关键帧进行局部迭代优化，以更新目标模型点集和所有关键帧的位姿信息。
25、进一步地，所述根据当前帧与其它图像帧之间的共可视权重评估当前帧是否满足关键帧要求，若满足则将当前帧加入关键帧集合，并对添加的新关键帧进行局部迭代优化，以更新目标模型点集和所有关键帧的位姿信息的过程包括以下内容：
26、判断当前帧与前一时刻图像帧和所有关联关键帧之间的权重是否均小于预设阈值，若是则将当前帧加入关键帧集合；
27、将当前帧的视觉特征集合与目标模型点集中模型点的视觉特征进行特征点匹配，得到当前帧的视觉特征集合与目标模型点集之间的关联关系，并结合模型点的关键帧索引确定当前帧与所有关键帧之间的关联关系，更新当前帧与所有关键帧之间的共可视权重；
28、根据当前帧与所有关键帧之间的共可视权重的排序，选择权重最大的k-1个关键帧作为新的关联关键帧，设定迭代优化关键帧总数为k，构建第二复合损失函数，并采用非线性优化方法进行局部迭代优化，以更新目标模型点集和所有关键帧的位姿信息。
29、进一步地，还包括以下内容：
30、当关键帧集合本文档来自技高网...
【技术保护点】
1.一种非合作目标的三维空间位姿估计方法，其特征在于，包括以下内容：
2.如权利要求1所述的非合作目标的三维空间位姿估计方法，其特征在于，所述基于前一时刻的图像帧信息和关键帧集合，以及当前时刻目标区域的深度图像、彩色图像、光度图像和视觉特征集合，对当前时刻的图像帧信息进行估计，得到当前时刻相机与目标之间的相对位姿关系的过程包括以下内容：
3.如权利要求2所述的非合作目标的三维空间位姿估计方法，其特征在于，所述第一复合损失函数的表达式为：
4.如权利要求1所述的非合作目标的三维空间位姿估计方法，其特征在于，基于下式计算图像帧之间的共可视权重：
5.如权利要求2所述的非合作目标的三维空间位姿估计方法，其特征在于，在估计得到当前时刻的图像帧信息之后还包括以下内容：
6.如权利要求5所述的非合作目标的三维空间位姿估计方法，其特征在于，所述根据当前帧与其它图像帧之间的共可视权重评估当前帧是否满足关键帧要求，若满足则将当前帧加入关键帧集合，并对添加的新关键帧进行局部迭代优化，以更新目标模型点集和所有关键帧的位姿信息的过程包括以下内容
7.如权利要求5所述的非合作目标的三维空间位姿估计方法，其特征在于，还包括以下内容：
8.一种非合作目标的三维空间位姿估计系统，采用如权利要求1～7任一项所述的方法，其特征在于，包括：
9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，用于执行如权利要求1～7任一项所述的方法的步骤。
10.一种计算机可读取的存储介质，用于存储进行非合作目标的三维空间位姿估计的计算机程序，其特征在于，所述计算机程序在计算机上运行时执行如权利要求1～7任一项所述的方法的步骤。
...【技术特征摘要】
1.一种非合作目标的三维空间位姿估计方法，其特征在于，包括以下内容：
2.如权利要求1所述的非合作目标的三维空间位姿估计方法，其特征在于，所述基于前一时刻的图像帧信息和关键帧集合，以及当前时刻目标区域的深度图像、彩色图像、光度图像和视觉特征集合，对当前时刻的图像帧信息进行估计，得到当前时刻相机与目标之间的相对位姿关系的过程包括以下内容：
3.如权利要求2所述的非合作目标的三维空间位姿估计方法，其特征在于，所述第一复合损失函数的表达式为：
4.如权利要求1所述的非合作目标的三维空间位姿估计方法，其特征在于，基于下式计算图像帧之间的共可视权重：
5.如权利要求2所述的非合作目标的三维空间位姿估计方法，其特征在于，在估计得到当前时刻的图像帧信息之后还包括以下内容：
6.如权利要求5所述的非合作目标的三维空间位姿估计方法，其特征在于...
【专利技术属性】
技术研发人员：熊丹，黄奕勇，韩伟，刘红卫，杨延杰，张翔，王兴，
申请(专利权)人：中国人民解放军军事科学院国防科技创新研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。