一种基于标志器的非合作目标位姿测量方法技术

本发明专利技术公开了一种基于标志器的非合作目标位姿测量方法，首先通过对不同的标志器进行识别，解算标志器位姿，得到各标志器坐标系与相机坐标系之间的相对位姿；进行特征点三维坐标恢复，对标志器进行定位，解算各标志器坐标系与目标器坐标系间的位姿参数；精确估算出追踪航天器与目标航天器之间的相对位姿；通过引入预先设计的标志器可以更精确地测量位姿信息，解决非合作目标位姿测量准确度低的技术问题，同时克服了交会对接近距离阶段，追踪航天器无法获取完整目标航天器特定部件图像以识别定位的缺点。

A marker based method for position and pose measurement of non cooperative targets

The invention discloses a non-cooperative target pose measurement method based on a marker. Firstly, by identifying different markers, the position and pose of the marker are calculated, the relative position and pose between the marker coordinate system and the camera coordinate system are obtained, the three-dimensional coordinate of the feature points is restored, the marker is positioned, and the markers are solved. Position and attitude parameters between the coordinate system and the target coordinate system; accurately estimate the relative position and attitude between the tracking spacecraft and the target spacecraft; by introducing a pre-designed marker, position and attitude information can be measured more accurately, solving the technical problem of low accuracy of non-cooperative target position and attitude measurement, and overcoming the rendezvous proximity distance. Out of phase, the tracking spacecraft can not obtain the image of the specific parts of the target spacecraft to identify the shortcomings of positioning.

【技术实现步骤摘要】
一种基于标志器的非合作目标位姿测量方法
本专利技术属于空间交会与对接技术中的视觉测量领域，具体涉及一种基于标志器的非合作目标位姿测量方法。
技术介绍
空间交会与对接技术是载人航天领域的三大基本技术之一，是实现航天器装配、回收、补给、维修、航天员交换及营救等在轨服务的首要条件。在交会对接最终逼近阶段，一般通过视觉测量提供目标航天器的相对位姿。目前，空间交会对接任务中普遍采用的都是基于合作目标的视觉测量技术，应用相对成熟。然而，空间绝大多数在轨航天器均属于非合作目标，其中包括故障或失效卫星、太空垃圾以及非己方航天器等，这就涉及到针对非合作目标的视觉测量关键技术。非合作目标位姿测量的研究方向之一是以非合作目标的形状特征如三角架、星箭对接环、发动机喷嘴、矩形太阳能帆板、长方体目标基座等为测量对象，建立合适的参考坐标系，实现非合作目标的位姿解算。但其面临的挑战是如何从三维特征库中建立起与二维图像特征之间的特征点对应关系，并在此基础上设计目标位姿鲁棒估计方法。
技术实现思路
本专利技术提出一种基于标志器的非合作目标位姿测量方法，实现目标的精确位姿测量，解决非合作目标位姿测量准确度低的技术问题。本专利技术采用如下技术方案，一种基于标志器的非合作目标位姿测量方法，采用二进制平方标记作为标志器，在交会对接逼近阶段向目标航天器抛射多个标志器，基于单目视觉测量原理对不同的标志器进行识别与定位，解算相机坐标系与标志器坐标系之间的相对位姿；同时通过识别非合作目标表面的星箭对接环，利用多幅图像的相机位姿与特征点信息确定标志器在目标器表面的相对位置，从而在对接的近距离阶段通过定位标志器即可解算目标器坐标系与相机坐标系之间的相对位姿，本专利技术提出了一种基于标志器的非合作目标位姿测量方法，包括以下步骤：(1)建立相机坐标系、图像坐标系和目标器坐标系；(2)离线标定，获取相机内参和畸变系数；(3)对图像进行预处理，得到二值图像；(4)标志器识别：首先在二值图像中进行轮廓检测，根据约束条件选出候选标志器；随后进行编码提取，对候选标志器的四个顶点进行逆时针排序，通过透视变换获得四边形区域的正面视图，基于最大类间方差阈值法OTSU将四边形区域划分为只包含黑白像素的均匀网格，通过识别四边形区域内部的海明编码确定标志器的序号以及初始顶点的位置；(5)标志器位姿解算：构建标志器坐标系，利用高效N点透视相机位姿估计算法EPNP解算各标志器坐标系与相机坐标系之间的相对位姿；(6)椭圆识别：首先进行弧段检测，提取整幅图像的边缘点信息，将边缘点分为梯度大于零和梯度小于零两组集合，即递增组和递减组，然后将边缘点合并为弧段，构造包围盒，去除不满足设定条件的弧段；随后进行弧段选择，将得到的弧段划分到四个象限，基于共圆锥曲线六点特征量CNC准则判定弧段是否属于同一椭圆，并基于象限约束和坐标约束获得有效的三弧段组合；再进行参数计算，基于椭圆上平行弦中点的连线过椭圆中心的几何定理，利用三弧段组合得到穿过椭圆中心的四条直线，取所有交点的代数均值作为椭圆中心；对椭圆参数空间进行降维处理，基于投票原则计算出椭圆的长短半轴和偏转角参数；最后进行后处理，去除三弧段中满足椭圆方程的边缘点占比小于设定值或三弧段长度和与椭圆长短半轴和之比小于设定值的候选椭圆；通过聚类算法将属于同一椭圆的多个检测结果进行合并；选取椭圆识别结果中半径最小的同心椭圆作为最终检测结果，即星箭对接环内环对应的椭圆；(7)特征点三维坐标恢复：根据椭圆拟合的参数，在图像中构建感兴趣区域ROI，并在ROI区域内部利用累计概率霍夫变换进行直线检测，提取出星箭对接环内部相互垂直的两条直线轮廓；计算两条直线与椭圆边界的交点，将椭圆中心及四个交点作为特征点；利用标志器坐标系与相机坐标系间的位姿参数，基于最小二乘迭代的三角测量算法恢复五个特征点在各标志器坐标系下的三维坐标；(8)标志器定位：根据三角测量恢复出的特征点三维坐标推算出各特征点在目标器坐标系下的三维坐标；基于最近点迭代ICP算法解算各标志器坐标系与目标器坐标系间的位姿参数；(9)目标器位姿解算：将相机坐标系到标志器坐标系的变换矩阵和标志器坐标系到目标器坐标系的变换矩阵连乘，得到相机坐标系与目标器坐标系间的位姿参数。专利技术达到的有益效果：本专利技术提出一种基于标志器的非合作目标位姿测量方法，实现目标位姿的精确测量，解决非合作目标位姿测量准确度低的技术问题；通过对不同的标志器进行识别与定位，同时基于单目视觉测量原理确定标志器在目标航天器表面的相对位置，精确估算出相机坐标系与目标器坐标系之间的相对位姿；通过引入预先设计的标志器可以更精确地测量位姿信息，同时克服了交会对接近距离阶段，追踪航天器无法获取完整目标航天器特定部件图像以识别定位的缺点。附图说明本专利技术从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为本专利技术的基于标志器的非合作目标位姿测量方法的流程图；图2为本专利技术实施例中采用的基于二进制平方的标志器示意图；图3为本专利技术实施例中对属于第一、三象限的弧段构建包围盒的示意图；图4为本专利技术实施例中将弧段划分到四个象限的示意图；图5为本专利技术实施例中构造共圆锥曲线六点特征量CNC示意图；图6为本专利技术实施例中基于象限约束和坐标约束筛选有效三弧段组示意图；图7为本专利技术实施例中椭圆参数方程示意图；图8为本专利技术实施例中确定椭圆中心的几何特性示意图；图9为本专利技术实施例中利用三弧段组确定椭圆中心示意图；图10为本专利技术实施例中椭圆筛选流程图；图11为本专利技术实施例中三角测量原理示意图；图12为本专利技术实施例中追踪航天器与目标航天器间六自由度位姿测量值与真实值的比较结果图。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利技术，而不能解释为对本专利技术的限制。本专利技术提出一种基于标志器的非合作目标位姿测量方法。基于标志器的非合作目标位姿测量方法的流程图如图1所示，该方法包括以下步骤：步骤1：建立相机坐标系、图像坐标系和目标器坐标系，基于相机透视投影模型，以相机光心作为相机坐标系原点，X轴、Y轴分别平行于图像坐标系的u轴、v轴，光轴方向作为Z轴，构建相机坐标系；以星箭对接环中心作为目标器坐标系原点，对接环表面法向量方向作为Z轴，X轴、Y轴分别平行于太阳能帆板的长边和短边，建立目标器坐标系；在本方案中由于相机是固连在追踪航天器上的，因此以相机坐标系替代追踪器坐标系。步骤2：利用张正友的棋盘格标定法对单目相机进行离线标定，获取相机的内参数，即CCD单目相机在相机坐标系X轴和Y轴的归一化焦距fx和fy、CCD相机的主点像素坐标(u0,v0)、径向畸变系数k1和k2以及切向畸变系数p1和p2。步骤3：图像预处理，得到二值图像，步骤如下：步骤3-1：高斯滤波平滑，作用为抑制高频噪声，滤波核满足二维高斯分布：其中，(x,y)为像素点坐标，σ为高斯核的标准差；步骤3-2：图像灰度化，求出每个像素点R,G,B三个分量的平均值，并分别赋给该像素点，得到灰度图；步骤3-3：局部自适应阈值化，根据每个像素的邻域块内的像素值分布来确定该像素位置上的二值化阈值，将灰度图转化为二值图本文档来自技高网...

【技术保护点】
1.一种基于标志器的非合作目标位姿测量方法，其特征在于，包括以下步骤：(1)建立相机坐标系、图像坐标系和目标器坐标系；(2)离线标定，获取相机内参和畸变系数；(3)对图像进行预处理，得到二值图像；(4)标志器识别：首先在二值图像中进行轮廓检测，根据约束条件选出候选标志器；随后进行编码提取，对候选标志器的四个顶点进行逆时针排序，通过透视变换获得四边形区域的正面视图，基于最大类间方差阈值法OTSU将四边形区域划分为只包含黑白像素的均匀网格，通过识别四边形区域内部的海明编码确定标志器的序号以及初始顶点的位置；(5)标志器位姿解算：构建标志器坐标系，利用高效N点透视相机位姿估计算法EPNP解算各标志器坐标系与相机坐标系之间的相对位姿；(6)椭圆识别：首先进行弧段检测，提取整幅图像的边缘点信息，将边缘点分为梯度大于零和梯度小于零两组集合，即递增组和递减组，然后将边缘点合并为弧段，构造包围盒，去除不满足设定条件的弧段；随后进行弧段选择，将得到的弧段划分到四个象限，基于共圆锥曲线六点特征量CNC准则判定弧段是否属于同一椭圆，并基于象限约束和坐标约束获得有效的三弧段组合；接着对三弧段组合进行参数计算，基于椭圆上平行弦中点的连线过椭圆中心的几何定理，利用三弧段组合得到穿过椭圆中心的四条直线，取所有交点的代数均值作为椭圆中心；对椭圆参数空间进行降维处理，基于投票原则计算出椭圆的长短半轴和偏转角参数；最后进行后处理，去除三弧段中满足椭圆方程的边缘点占比小于设定值或三弧段长度和与椭圆长短半轴和之比小于设定值的候选椭圆；通过聚类算法将属于同一椭圆的多个检测结果进行合并；选取椭圆识别结果中半径最小的同心椭圆作为最终检测结果，即星箭对接环内环对应的椭圆；(7)特征点三维坐标恢复：根据椭圆拟合的参数，在图像中构建感兴趣区域ROI，并在ROI区域内部利用累计概率霍夫变换进行直线检测，提取出星箭对接环内部相互垂直的两条直线轮廓；计算两条直线与椭圆边界的交点，将椭圆中心及四个交点作为特征点；利用标志器坐标系与相机坐标系间的位姿参数，基于最小二乘迭代的三角测量算法恢复五个特征点在各标志器坐标系下的三维坐标；(8)标志器定位：根据三角测量恢复出的特征点三维坐标推算出各特征点在目标器坐标系下的三维坐标；基于最近点迭代ICP算法解算各标志器坐标系与目标器坐标系间的位姿参数；(9)目标器位姿解算：将相机坐标系到标志器坐标系的变换矩阵和标志器坐标系到目标器坐标系的变换矩阵连乘，得到相机坐标系与目标器坐标系间的位姿参数。...

【技术特征摘要】
1.一种基于标志器的非合作目标位姿测量方法，其特征在于，包括以下步骤：(1)建立相机坐标系、图像坐标系和目标器坐标系；(2)离线标定，获取相机内参和畸变系数；(3)对图像进行预处理，得到二值图像；(4)标志器识别：首先在二值图像中进行轮廓检测，根据约束条件选出候选标志器；随后进行编码提取，对候选标志器的四个顶点进行逆时针排序，通过透视变换获得四边形区域的正面视图，基于最大类间方差阈值法OTSU将四边形区域划分为只包含黑白像素的均匀网格，通过识别四边形区域内部的海明编码确定标志器的序号以及初始顶点的位置；(5)标志器位姿解算：构建标志器坐标系，利用高效N点透视相机位姿估计算法EPNP解算各标志器坐标系与相机坐标系之间的相对位姿；(6)椭圆识别：首先进行弧段检测，提取整幅图像的边缘点信息，将边缘点分为梯度大于零和梯度小于零两组集合，即递增组和递减组，然后将边缘点合并为弧段，构造包围盒，去除不满足设定条件的弧段；随后进行弧段选择，将得到的弧段划分到四个象限，基于共圆锥曲线六点特征量CNC准则判定弧段是否属于同一椭圆，并基于象限约束和坐标约束获得有效的三弧段组合；接着对三弧段组合进行参数计算，基于椭圆上平行弦中点的连线过椭圆中心的几何定理，利用三弧段组合得到穿过椭圆中心的四条直线，取所有交点的代数均值作为椭圆中心；对椭圆参数空间进行降维处理，基于投票原则计算出椭圆的长短半轴和偏转角参数；最后进行后处理，去除三弧段中满足椭圆方程的边缘点占比小于设定值或三弧段长度和与椭圆长短半轴和之比小于设定值的候选椭圆；通过聚类算法将属于同一椭圆的多个检测结果进行合并；选取椭圆识别结果中半径最小的同心椭圆作为最终检测结果，即星箭对接环内环对应的椭圆；(7)特征点三维坐标恢复：根据椭圆拟合的参数，在图像中构建感兴趣区域ROI，并在ROI区域内部利用累计概率霍夫变换进行直线检测，提取出星箭对接环内部相互垂直的两条直线轮廓；计算两条直线与椭圆边界的交点，将椭圆中心及四个交点作为特征点；利用标志器坐标系与相机坐标系间的位姿参数，基于最小二乘迭代的三角测量算法恢复五个特征点在各标志器坐标系下的三维坐标；(8)标志器定位：根据三角测量恢复出的特征点三维坐标推算出各特征点在目标器坐标系下的三维坐标；基于最近点迭代ICP算法解算各标志器坐标系与目标器坐标系间的位姿参数；(9)目标器位姿解算：将相机坐标系到标志器坐标系的变换矩阵和标志器坐标系到目标器坐标系的变换矩阵连乘，得到相机坐标系与目标器坐标系间的位姿参数。2.根据权利要求1所述的一种基于标志器的非合作目标位姿测量方法，其特征在于，在步骤(1)中基于相机透视投影模型，以相机光心作为相机坐标系原点，X轴、Y轴分别平行于图像坐标系的u轴、v轴，光轴方向作为Z轴，构建相机坐标系；以星箭对接环中心作为目标器坐标系原点，对接环表面法向量方向作为Z轴，X轴、Y轴分别平行于太阳能帆板的长边和短边，建立目标器坐标系。3.根据权利要求1所述的一种基于标志器的非合作目标位姿测量方法，其特征在于，步骤(2)中利用张正友的棋盘格标定法对单目相机进行离线标定，获取相机的内参数，即CCD单目相机在相机坐标系X轴和Y轴的归一化焦距fx和fy、CCD相机的主点像素坐标(u0,v0)、径向畸变系数k1和k2以及切向畸变系数p1和p2。4.根据权利要求1所述的一种基于标志器的非合作目标位姿测量方法，其特征在于，步骤(3)中图像预处理的步骤如下：31)高斯滤波平滑，滤波核满足二维高斯分布：其中，(x,y)为像素坐标，σ为高斯核的标准差；32)图像灰度化，求出每个像素点的R分量、G分量和B分量的平均值赋给该像素点，得到灰度图；33)局部自适应阈值化，根据每个像素的邻域块内的像素值分布确定该像素位置上的二值化阈值，将灰度图转化为二值图像。5.根据权利要求1所述的一种基于标志器的非合作目标位姿测量方法，其特征在于，步骤(4)中标志器识别的步骤如下：41)轮廓检测：基于Suzuki和Abe算法获得轮廓集合；42)多边形逼近：对轮廓集合中每一条轮廓运用Douglas-Peucker算法，获得多边形轮廓及其顶点信息；43)多边形约束：通过设置约束条件筛选出候选标志器，其中约束条件包括多边形的角点数量是否为四、是否为凸多边形、四边形的边长是否满足设定值、轮廓离图像边界距离是否满足设定值以及四边形集合中四顶点之间距离和是否满足设定值；44)对候选标志器顶点按逆时针排序：对于四个顶点零、顶点一、顶点二和顶点三，根据顶点零、顶点一和顶点零、顶点二构成的向量计算有向面积，如果有向面积为负数，即顶点为顺时针排序，交换顶点一和顶点三的位置，使四边形的四个顶点按逆时针排序；45)计算变换矩阵去除透视投影，获得四边形区域的正面视图；46)对正面视图进行最大类间方差OTSU阈值化：其中，[0,L-1]为图像的灰度级范围，t为灰度阈值，t*为最佳灰度阈值，为不同灰度级的类间方差，Argmax(·)表示使目标函数取最大值时的变量值；47)将阈值化后的区域划分为均匀网格，统计每个方格内非零像素值个数，若方格内非零像素个数超过方格内像素个数的一半，则该方格为白色，否则为黑色；48)按行遍历所有轮廓方格，若轮廓方格中存在白色方格，则舍弃该轮廓所属的候选标志器；49)识别内部编码区域：构造与标志器内部网格大小一致的矩阵，遍历所有网格，将黑色方格对应为数值0，白色方格对应为数值1，依次赋值给矩阵的相应元素，n×n的网格对应于n×n的0-1矩阵；将矩阵看作由n个n维行向量构成，每一个行向量由数据位和校验位组成，将特定标志器的每一行向量与候选标志器的对应行向量做异或运算，统计计算结果中值为1的个数之和作为海明距离；利用平衡二叉树搜索，找出候选标志器与字典，即特定标志器集合中海明距离最小的标志器作为匹配结果，得到候选标志器的序号；410)判断候选标志器的旋转状态：将标志器分为初始状态、顺时针旋转90°、顺时针旋转180°和顺时针旋转270°四种状态，分别计算各状态下的标志器与字典中该序号的标志器间的海明距离，将海明距离为0的状态作为正确旋转状态；以正确旋转状态下标志器左上角的顶点作为顶点零，按逆时针方向确定顶点一、顶点二和顶点三；411)通过亚像素提取算法对顶点位置进一步细化。6.根据权利要求1所述的基于标志器的非合作目标位姿测量方法，其特征在于，步骤(5)中标志器位姿解算的步骤如下：51)对于每一个标志器，在正确旋转状态下，以标志器中心作为标志器坐标系原点Om，以顶点零到顶点三的向量方向作为Xm轴方向，顶点一到顶点零的向量方向作为Ym轴方向，Zm轴方向由右手定则确立，构建标志器坐标系Om-XmYmZm；52)标志器的实际尺寸为s×s，确定正确旋转状态下的标志器顶点零到顶点三在标志器坐标系下的空间坐标：(-s/2,s/2,0)、(-s/2,-s/2,0)、(s/2,-s/2,0)、(s/2,s/2,0)；53)利用高效N点透视相机位姿估计EPNP算法求解相机坐标系到标志器坐标系的旋转矩阵Rcm和平移向量tcm。7.根据权利要求1所述的基于标志器的非合作目标位姿测量方法，其特征在于，步骤(6)中椭圆识别的步骤如下：61)通过Canny边缘检测算子提取图像边缘点，确定每个边缘点的位置坐标(xi,yi)，利用Sobel算子计算每个边缘点的梯度τi，得到边缘点信息ei＝(xi,yi,τi),其中，i＝1,2,...,n,τi＝dyi/dxi，n为边缘点数量；62)根据边缘点的梯度方向不同，将边缘点分为两组，即由第二象限弧段组ArcII和第四象限弧段组ArcIV构成的递增组、由第一象限弧段组ArcI和第三象限的弧段组ArcIII构成的递减组：其中，τi表示第i个边缘点像素的梯度，ei表示第i个边缘点，ArcI、ArcII、ArcIII和ArcIV分别表示属于第一象限、第二象限、第三象限和第四象限的弧段组，∪表示并集运算；63)对边缘点的八连通区域进行检测，将边缘点合并为弧段；64)对每一条弧段构建包围盒：起始点和末尾点分别为e1和et的弧段,弧段长度为t，顶点(e1(x),e1(y))、(et(x),e1(y))、(et(x),et(y))和(e1(x),et(y))构成包含弧段在内的包围盒，e1(x)、e1(y)分别表示边缘点e1的横坐标和纵坐标，et(x)、et(y)分别表示边缘点et的横坐标和纵坐标，设定最短弧长Thlength，若弧段长度t<Thlength，则舍弃该弧段；65)基于共线三点特征量CNL准则来去除直线噪声：根据弧段的起始点e1、中间点ei和末尾点et，利用下式计算CNL值：其中，|·|表示计算行列式；该行列式的几何解释为三角形Δe1eiet的面积，使用面积与弧段长度之比判断e1、ei、et三点是否共线，t表示弧段长度，Th0为给定阈值，即若CNL/t<Th0，则判定该弧段为直线段，舍弃该弧段；66)将弧段划分到四个象限：根据弧段上下的像素数量不同，对递增组和递减组的弧段进行再划分：对于递减组ArcI∪ArcIII的弧段，δ表示每一弧段的包围盒中弧段上方像素...

【专利技术属性】
技术研发人员：高浩，夏星宇，胡海东，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏,32