一种航天员在轨支持按需轻量场景重建方法及系统技术方案

本发明专利技术涉及一种航天员在轨支持按需轻量场景重建方法及系统，包括：采集目标场景的RGB图像和深度图像；利用目标场景的RGB图像和深度图像，获取目标场景的RGB图像的位姿和目标场景的RGB图像中ORB特征点的三维坐标；以目标场景的RGB图像为预先建立的目标检测网络的输入，输出检测结果，并利用检测结果和目标场景的RGB图像的位姿，生成稠密mesh；检测结果为目标部件在目标场景的RGB图像中的像素位置bounding box；利用目标场景的RGB图像中ORB特征点的三维坐标，生成稀疏mesh；根据稠密mesh和稀疏mesh进行按需轻量三维场景重建。本发明专利技术提供的技术方案，通过将稠密mesh和稀疏mesh结合进行三维场景重建，降低了对设备计算性能的要求，减少了数据的存储，有利于天地快速数据传输。传输。传输。

【技术实现步骤摘要】
一种航天员在轨支持按需轻量场景重建方法及系统


[0001]本专利技术属于航天
，具体涉及一种航天员在轨支持按需轻量场景重建方法及系统。

技术介绍

[0002]航天员在轨远程支持任务中需要实现作业场景的天地协同，三维重建技术可以将场景以立体方式展现，使地面专家与航天员处于同一视角下。现有三维重建技术对整个场景的所有目标进行重建，包括一些不具有信息价值的背景结构，导致重建结构冗余、算法实时性不好。
[0003]三维重建即根据二维图像恢复空间的三维结构，其技术一般包括相机位姿计算和空间场景表示两个部分。现有的三维重建算法在重建整个空间，无法区分场景中目标结构的主次，前景、背景、重点目标和非重点目标对于算法都是相同的，这类算法需要较大的算力支持，重建了很多冗余结构，对天地数据传输造成较大负担。现有的三维重建中的位姿多采用并行计算，其计算过程和建图步骤高度耦合，这种方式理论相对简单，却需要先进的GPU来实施，在小型电脑上很难满足。现有的三维重建中无法以任务为牵引、以增强人的作业能力为目的进行按需重建，部分算法只能在重建结果的基础上采用语义分割或目标识别对重建模型进行标注，无法提前将这种注意力应用在重建过程中。

技术实现思路

[0004]为至少在一定程度上克服相关技术中存在的问题，本申请提供一种航天员在轨支持按需轻量场景重建方法及系统。
[0005]根据本申请实施例的第一方面，提供一种航天员在轨支持按需轻量场景重建方法，所述方法包括：
[0006]采集目标场景的RGB图像和深度图像；
[0007]利用所述目标场景的RGB图像和深度图像，获取所述目标场景的RGB图像的位姿和所述目标场景的RGB图像中ORB特征点的三维坐标；
[0008]以所述目标场景的RGB图像为预先建立的目标检测网络的输入，输出检测结果，并利用所述检测结果和所述目标场景的RGB图像的位姿，生成稠密mesh；所述检测结果为目标部件在所述目标场景的RGB图像中的像素位置bounding box；
[0009]利用所述目标场景的RGB图像中ORB特征点的三维坐标，生成稀疏mesh；
[0010]根据所述稠密mesh和所述稀疏mesh进行按需轻量三维场景重建。
[0011]优选的，所述采集目标场景的RGB图像和深度图像，包括：
[0012]利用视觉传感器采集目标场景的RGB图像和深度图像。
[0013]优选的，所述预先建立的目标检测网络的建立过程，包括：
[0014]采集所有航天员在轨支持场景的RGB图像；
[0015]对所有航天员在轨支持场景的RGB图像中的部件进行标注，得到所述部件在RGB图
像中的像素位置bounding box(x,y,w,h)，其中，x和y分别为所述bounding box的中心点在x轴和y轴的坐标值，w和h分别为所述bounding box的宽和高；
[0016]利用所有航天员在轨支持场景的RGB图像和所有航天员在轨支持场景的RGB图像中各部件在RGB图像中的像素位置bounding box，构建数据集；
[0017]利用所述数据集对YOLO v5网络进行训练，得到所述预先建立的目标检测网络。
[0018]优选的，所述利用所述数据集对YOLO v5网络进行训练，得到所述预先建立的目标检测网络，包括：
[0019]将所述数据集分为训练集和验证集；
[0020]以所述训练集中所有航天员在轨支持场景的RGB图像为所述YOLO v5网络的输入层训练样本，以所述训练集中所有航天员在轨支持场景的RGB图像中各部件在RGB图像中的像素位置bounding box为所述YOLO v5网络的输出层训练样本进行训练，得到训练后的YOLO v5网络；
[0021]利用所述验证集对所述训练后的YOLO v5网络进行验证，若验证结果的准确率达到准确率阈值，则所述训练后的YOLO v5网络为所述预先建立的目标检测网络；若验证结果的准确率未达到准确率阈值，则调整YOLO v5网络的参数，重新训练YOLO v5网络，直至验证结果的准确率达到准确率阈值。
[0022]优选的，所述利用所述目标场景的RGB图像和深度图像，获取所述目标场景的RGB图像的位姿和所述目标场景的RGB图像中ORB特征点的三维坐标，包括：
[0023]提取所述目标场景的RGB图像的ORB特征点，并获取所述ORB特征点在所述目标场景的深度图像中的深度值；
[0024]基于所述目标场景的RGB图像的ORB特征点和所述ORB特征点在所述目标场景的深度图像中的深度值，利用orb
‑
slam2算法获取所述目标场景的RGB图像的位姿和所述目标场景的RGB图像中ORB特征点的三维坐标。
[0025]优选的，所述利用所述检测结果和所述目标场景的RGB图像的位姿，生成稠密mesh，包括：
[0026]基于所述目标部件在所述目标场景的RGB图像中的像素位置bounding box中各像素点对应的深度值和所述目标场景的RGB图像的位姿，利用marching cube算法生成稠密mesh。
[0027]优选的，所述基于所述目标部件在所述目标场景的RGB图像中的像素位置bounding box中各像素点对应的深度值和所述目标场景的RGB图像的位姿，利用marching cube算法生成稠密mesh，包括：
[0028]根据所述目标场景的RGB图像的位姿和目标部件在所述目标场景的RGB图像中的像素位置bounding box中各像素点对应的深度值，利用加权平均算法获取所述bounding box中各像素点对应的TSDF值；
[0029]利用marching cube算法，提取所述bounding box中像素点对应的TSDF值为0的等值面，并利用所述bounding box中像素点对应的TSDF值为0的等值面生成稠密mesh。
[0030]优选的，所述利用所述目标场景的RGB图像中ORB特征点的三维坐标，生成稀疏mesh，包括：
[0031]将所述目标场景的RGB图像中ORB特征点的三维坐标进行连接，生成稀疏mesh。
[0032]根据本申请实施例的第二方面，提供一种航天员在轨支持按需轻量场景重建系统，所述系统包括：
[0033]采集模块，用于采集目标场景的RGB图像和深度图像；
[0034]获取模块，用于利用所述目标场景的RGB图像和深度图像，获取所述目标场景的RGB图像的位姿和所述目标场景的RGB图像中ORB特征点的三维坐标；
[0035]第一生成模块，用于以所述目标场景的RGB图像为预先建立的目标检测网络的输入，输出检测结果，并利用所述检测结果和所述目标场景的RGB图像的位姿，生成稠密mesh；所述检测结果为目标部件在所述目标场景的RGB图像中的像素位置bounding box；
[0036]第二生成模块，用于利用所述目标场景的RGB图像中ORB特征点的三本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种航天员在轨支持按需轻量场景重建方法，其特征在于，所述方法包括：采集目标场景的RGB图像和深度图像；利用所述目标场景的RGB图像和深度图像，获取所述目标场景的RGB图像的位姿和所述目标场景的RGB图像中ORB特征点的三维坐标；以所述目标场景的RGB图像为预先建立的目标检测网络的输入，输出检测结果，并利用所述检测结果和所述目标场景的RGB图像的位姿，生成稠密mesh；所述检测结果为目标部件在所述目标场景的RGB图像中的像素位置bounding box；利用所述目标场景的RGB图像中ORB特征点的三维坐标，生成稀疏mesh；根据所述稠密mesh和所述稀疏mesh进行按需轻量三维场景重建。2.根据权利要求1所述的方法，其特征在于，所述采集目标场景的RGB图像和深度图像，包括：利用视觉传感器采集目标场景的RGB图像和深度图像。3.根据权利要求1所述的方法，其特征在于，所述预先建立的目标检测网络的建立过程，包括：采集所有航天员在轨支持场景的RGB图像；对所有航天员在轨支持场景的RGB图像中的部件进行标注，得到所述部件在RGB图像中的像素位置bounding box(x,y,w,h)，其中，x和y分别为所述bounding box的中心点在x轴和y轴的坐标值，w和h分别为所述bounding box的宽和高；利用所有航天员在轨支持场景的RGB图像和所有航天员在轨支持场景的RGB图像中各部件在RGB图像中的像素位置bounding box，构建数据集；利用所述数据集对YOLO v5网络进行训练，得到所述预先建立的目标检测网络。4.根据权利要求3所述的方法，其特征在于，所述利用所述数据集对YOLO v5网络进行训练，得到所述预先建立的目标检测网络，包括：将所述数据集分为训练集和验证集；以所述训练集中所有航天员在轨支持场景的RGB图像为所述YOLO v5网络的输入层训练样本，以所述训练集中所有航天员在轨支持场景的RGB图像中各部件在RGB图像中的像素位置bounding box为所述YOLO v5网络的输出层训练样本进行训练，得到训练后的YOLO v5网络；利用所述验证集对所述训练后的YOLO v5网络进行验证，若验证结果的准确率达到准确率阈值，则所述训练后的YOLO v5网络为所述预先建立的目标检测网络；若验证结果的准确率未达到准确率阈值，则调整YOLO v5网络的参数，重新训练YOLO v5网络，直至验证结果的准确率达到准确率阈值。5.根据权利要求1所述的方法，其特征在于，所述利用所述目标场景的RGB图像和深度图像，获取所述目标场景的RGB图像的位姿和所述目标场景的RGB图像中ORB特征点的三维坐标，包括：提取所述目标场景的RGB图像的ORB特征点，并获取所述ORB特征点在所述目标场景的深度图像中的深度值；基于所述目标场景的RGB图像的ORB特征点和所述ORB特征...

【专利技术属性】
技术研发人员：孙庆伟，晁建刚，陈炜，林万洪，何宁，许振瑛，
申请(专利权)人：中国人民解放军战略支援部队航天工程大学，
类型：发明
国别省市：