The invention relates to a method for estimating the rotation axis of a space rotating non-cooperative target based on visual SLAM, and relates to a method for estimating the rotation axis of a space rotating non-cooperative target. The aim of the present invention is to solve the problem of poor estimation accuracy of the existing method, limited calculation conditions, and not taking into account the interference of other fragments in the photographs taken by the camera, so as to cause large error in rotating non-cooperative target axis estimation. The process is as follows: 1. Get the trained YOLO target detection model; 2. Establish k-crossed digital dictionary; 3. Estimate the rotation matrix and translation matrix of each frame; 4. Image processing of each frame collected by RGBD camera until two loops are detected or the specified time or number of frames are reached; 5. The RGBD camera stops collecting images; 5. Fitting the images. The normal line of the space plane is the slope of the non-cooperative target rotation axis, and the center of the space arc is the point through which the non-cooperative target rotation axis passes. The invention is applied to the field of orbit service.
【技术实现步骤摘要】
基于视觉SLAM估计空间旋转非合作目标转轴的方法
本专利技术涉及估计空间旋转非合作目标转轴的方法。本技术应用于航天在轨服务领域。
技术介绍
目前，世界各国发射了各式各样的航天飞行器，如卫星、航天飞机、空间站以及深空探测器等用来探索和开发太空。在全球每年发射的100多颗卫星里，会有2-3颗未正常入轨，而正确入轨的卫星中，又有5颗左右在寿命初期即失效，失效的卫星还会产生大量的碎片和太空垃圾。因此，维修或清除空间中的故障或废弃的卫星具有巨大的社会经济效益和良好的应用前景。与空间站、三轴稳定卫星等运动状态已知或能提供运动信息和结构信息的合作目标不同，故障或废弃卫星在空气摄动力的作用下随着能量耗散可绕本体最大惯量轴旋转，其三维形状、尺寸大小未知，位置姿态、转轴、转动惯量不确定，且无法提供用于辅助测量的人工标记，这样的卫星称为空间旋转非合作目标。与空间三轴稳定的非合作目标不同，对旋转非合作目标进行在轨操作时必须要估计出目标的转轴位置，这给空间机器人的在轨服务带来巨大挑战。例如“哥伦比亚”号航天飞机曾试图对一颗处于自旋状态的非合作目标进行捕获，但未成功。随着多传感器技术应用于机...
【技术保护点】
1.基于视觉SLAM估计空间旋转非合作目标转轴的方法，其特征在于：所述方法具体过程为：步骤一、利用ImageNet数据库对YOLO目标检测模型做预训练；将前期获得的非合作目标图片输入预训练好的YOLO目标检测模型进行训练，得到训练好的YOLO目标检测模型；步骤二、对前期获得的非合作目标图片信息提取ORB特征点，利用K均值算法进行聚类建立k叉数字典；步骤三、设三个坐标系，分别是C坐标系、C0坐标系、B坐标系；C坐标系为相机坐标系；B坐标系为非合作目标本体坐标系，且过非合作目标质心；C0坐标系与B坐标系运动同步，且相机采集到第一帧置信值大于0.95的图像时，C0坐标系与C坐标系...
【技术特征摘要】
1.基于视觉SLAM估计空间旋转非合作目标转轴的方法，其特征在于：所述方法具体过程为：步骤一、利用ImageNet数据库对YOLO目标检测模型做预训练；将前期获得的非合作目标图片输入预训练好的YOLO目标检测模型进行训练，得到训练好的YOLO目标检测模型；步骤二、对前期获得的非合作目标图片信息提取ORB特征点，利用K均值算法进行聚类建立k叉数字典；步骤三、设三个坐标系，分别是C坐标系、C0坐标系、B坐标系；C坐标系为相机坐标系；B坐标系为非合作目标本体坐标系，且过非合作目标质心；C0坐标系与B坐标系运动同步，且相机采集到第一帧置信值大于0.95的图像时，C0坐标系与C坐标系重合；各坐标系的实际运动情况为：以地面为参考系C坐标系静止；B坐标系以恒定角速度自旋；C0坐标系的运动与B坐标系转动同步，随时间移动，C0坐标系原点的轨迹呈圆弧；利用相对运动原理，将各坐标系的实际运动情况转换成SLAM算法适用的场景：B坐标系与C0坐标系静止，C坐标系绕B坐标系转动；估计出每帧C坐标系相对于C0坐标系的旋转矩阵Rk和平移矩阵tk；具体过程为：步骤三一、RGBD相机采集彩色图像和深度图像，将RGBD相机采集的彩色图像输入训练好的YOLO目标检测模型进行实时目标识别与检测，若检测到某帧彩色图像的confidence值大于0.95，则停止YOLO模型检测，并记录YOLO输出的此帧彩色图像的x′，y′，w′，h值，将x′，y′，w′，h值构成的区域记作ROI区域；所述confidence为置信度，x′，y′为目标所在图像像素区域的中心坐标值，w′为目标所在图像像素区域的宽，h为目标所在图像像素区域的高；步骤三二、若RGBD相机采集到的彩色图像是confidence值大于0.95后的第i帧图像，i＝1；提取彩色图像的confidence值大于0.95后的第i帧图像ROI区域中的ORB特征点，以C0坐标系为世界坐标系，根据深度图像的信息将ORB特征点转换为世界坐标系下的三维地图点，放入局部地图中，并将彩色图像的confidence值大于0.95后的第一帧设为关键帧；所述第i帧图像为彩色图像的confidence值大于0.95后的第i帧图像；关键帧的选取原则：距上一关键帧插入已经超过20帧，或者当前帧的ORB特征点与地图点成功匹配上了至少50个点；步骤三三、若RGBD相机采集到的彩色图像是confidence值大于0.95后的第i帧图像，i≠1；提取彩色图像的confidence值大于0.95后的第i帧图像ROI区域中的ORB特征点；首先，局部地图中的地图点与彩色图像的confidence值大于0.95后的第i帧图像的ORB特征点进行匹配，并更新局部地图：1)给定一个阈值，当匹配上的点大于阈值，删除局部地图中不在当前帧相机视野内的地图点；2)当匹配上的点小于等于阈值时，将当前帧的所有的ORB特征点转换成地图点，放入到局部地图中；3)对于关键帧，要将关键帧中所有的ORB特征点转换为地图点存入局部地图；然后，根据匹配好的地图点与第i帧图像的ORB特征点，采用3D-2D:PnP方法，计算出第i帧图像的Ri和ti，并将第1至第i帧的Rk和tk传入步骤三四的图优化中进行后端优化；步骤三四、建立因子图，用g2o对因子图进行后端优化，即对第1至第i帧图像的C坐标系相对于C0坐标系的旋转矩阵Rk、平移矩阵tk和局部地图上的地图点进行优化，得到优化后的旋转矩阵Rk、平移矩阵tk和局部地图上的地图点，k＝1,2,…,i；步骤三五、若检测到的彩色图像的confidence值大于0.95后的第i帧为被检测帧，则基于词袋模型进行回环检测，判断第i帧是否能检测出回环，若是，再次优化第1至第i帧图像的C坐标系相对于C0坐标系的旋转矩阵Rk、平移矩阵tk和局部地图上的地图点；若否，则执行步骤四；若第i帧不是被检测帧，则执行步骤四；步骤四、对YOLO目标检测模型输出的彩色图像的confidence值大于0.95后RGBD相机采集的每帧图像，均执行一次步骤三二至步骤三五，直至检测出两次回环或达到指定时间或帧数，RGBD相机停止采集图像；步骤五、C坐标系相对C0坐标系的运动轨迹为圆弧，设C0坐标系的原点为p(0,0,0)，根据步骤四中估计出的每帧C坐标系相对于C0坐标系的平移矩阵tk，设每帧C坐标系的原点在C0坐标系下为tcc0，tcc0＝p+tk；彩色图像的confidence值大于0.95后的n帧图像C坐标系在C0坐标系下的原点三维坐标拟合成空间平面和空间圆弧；所述n帧为RGBD相机停止采集图像前彩色图像的confidence值大于0.95后的所有帧；拟合成的空间平面的法线是非合作目标转轴的斜率，空间圆弧的圆心是非合作目标转轴经过的点。2.根据权利要求1所述基于视觉SLAM估计空间旋转非合作目标转轴的方法，其特征在于：所述步骤一中利用ImageNet数据库对YOLO目标检测模型做预训练；将前期获得的非合作目标图片输入预训练好的YOLO目标检测模型进行训练，得到训练好的YOLO目标检测模型；具体过程为：YOLO目标检测模型是一个卷积神经网络，它包括24个卷积层、4个池化层和2个全连接层，分别是：1个卷积核尺寸为7*7，个数为64的卷积层；1个2*2的池化层；1个卷积核尺寸为3*3，个数为192的卷积层；1个2*2的池化层；1个卷积核尺寸为1*1，个数为128的卷积层；1个卷积核尺寸为3*3，个数为256的卷积层；1个卷积核尺寸为1*1，个数为256的卷积层；1个卷积核尺寸为3*3，个数为512的卷积层；1个2*2的池化层；4个卷积核尺寸为1*1，个数为256的卷积层；4个卷积核尺寸为3*3，个数为512的卷积层；1个卷积核尺寸为1*1，个数为512的卷积层；1个卷积核尺寸为3*3，个数为1024的卷积层；1个2*2的池化层；2个卷积核尺寸为1*1，个数为512的卷积层；2个卷积核尺寸为3*3，个数为1024的卷积层；2个卷积核尺寸为3*3，个数为1024的卷积层；2个卷积核尺寸为3*3，个数为1024的卷积层；2个全连接层；利用ImageNet数据库的数据对YOLO目标检测模型做预训练，得到YOLO目标检测模型各层的初始权值，然后将前期获得的非合作目标图片输入到YOLO目标检测模型，不断进行迭代训练调整YOLO目标检测模型权值，直到YOLO目标检测模型的损失函数值小于给定阈值0.2，得到此时YOLO目标检测模型每一层的权值，根据此时YOLO目标检测模型每一层的权值得到训练好的YOLO目标检测模型。3.根据权利要求2所述基于视觉SLAM估计空间旋转非合作目标转轴的方法，其特征在于：所述前期获得的非合作目标图片的尺寸为448×448，图片数量大于800张，且已做好标签。4.根据权利要求3所述基于视觉SLAM估计空间旋转非合作目标转轴的方法，其特征在于：所述步骤三四中建立因子图，用g2o对因子图进行后端优化，即对第1至第i帧图像的C坐标系相对于C0坐标系的旋转矩阵Rk、平移矩阵tk和局部地图上的地图点进行优化，得到优化后的旋转矩阵Rk、平移矩阵tk和局部地图上的地图点，k＝1,2,…,i；具体过程为：第k帧图像的变换矩阵为Tk；其中：Rk是第k帧图像对应的...
【专利技术属性】
技术研发人员：王柳，郭继峰，白成超，郑红星，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：黑龙江,23
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。