空间机器人超近距离目标位姿快速获取方法技术

本发明专利技术涉及一种空间机器人超近距离目标位姿快速获取方法，包括：构建目标检测与实例分割数据集；建立模板点云模型；利用深度学习网络对所述目标检测与实例分割数据集进行训练和测试，获得目标检测与实例分割模型；确定空间机器人作业的超近距离，利用所述目标检测与实例分割模型在所述超近距离进行目标检测与实例分割，获得目标点云模型；利用点云配准算法对所述模板点云模型和所述目标点云模型进行配准，得到目标的位姿信息。本发明专利技术可以使空间机器人高精度地获取体积较小的目标工具的位姿信息。的位姿信息。的位姿信息。

【技术实现步骤摘要】
空间机器人超近距离目标位姿快速获取方法


[0001]本专利技术涉及智能检测与位姿估计
，尤其涉及一种空间机器人超近距离目标位姿快速获取方法。

技术介绍

[0002]空间机器人基本可以分为遥操作机器人和自主机器人两种，可以用于代替、帮助人类在太空中执行自主操作、科学实验、空间探测等任务。其中，自主机器人需要在特殊环境中自主运动，在进行操作时，需要能够精准获取目标的位姿并准确操作。
[0003]随着宇航技术的逐步发展，人类在太空的活动越来越多，同时位于太空的卫星数量增长，若出现问题时直接丢弃掉，这会损失极大的经济价值。所以，在问题可控的状态下，需要尽量对出问题的卫星或者其它航天器进行维修。而在维修任务中，航天器处于强宇宙辐射的环境下，操作任务用时长，且需要细致操作，使用人力完成任务不现实，因此使用自主机器人是最好的选择。
[0004]在维修任务中，首先需要选取合适的维修工具，并精准抓取维修工具，完成维修任务。在抓取维修工具的过程中，需要获取维修工具的高精度位姿信息，才能进一步进行抓取操作。对于空间机器人而言，维修工具(例如钳子、扳手)的体积都较小，其位姿获取的精度不高，则可能出现抓取时获得位置不佳的抓取点，进一步导致抓取维修工具时抓取不牢固，从而导致整个维修任务的失败。
[0005]因此，如何高精度的获取体积较小的维修工具目标的位姿成为本领域亟待解决的技术问题。

技术实现思路

[0006]为了解决上述技术问题，本专利技术提供了一种空间机器人超近距离目标位姿快速获取方法，可以使空间机器人高精度地获取体积较小的目标工具的位姿信息。
[0007]为实现上述专利技术目的，本专利技术的技术方案是：
[0008]本专利技术提供一种空间机器人超近距离目标位姿快速获取方法，包括：
[0009]构建目标检测与实例分割数据集；
[0010]建立模板点云模型；
[0011]利用深度学习网络对所述目标检测与实例分割数据集进行训练和测试，获得目标检测与实例分割模型；
[0012]确定空间机器人作业的超近距离，利用所述目标检测与实例分割模型在所述超近距离进行目标检测与实例分割，获得目标点云模型；
[0013]利用点云配准算法对所述模板点云模型和所述目标点云模型进行配准，得到目标的位姿信息。
[0014]根据本专利技术的一个方面，所述构建目标检测与实例分割数据集，包括：
[0015]确定空间机器人需要使用的目标类别，并构建目标检测与实例分割数据集；
[0016]使用标注软件labelme对所述目标检测与实例分割数据集中的数据添加标签，将所有标注文件统一转化为coco数据集格式；
[0017]根据空间机器人作业的光线条件和噪声特点，对所述目标检测与实例分割数据集进行数据增强。
[0018]根据本专利技术的一个方面，所述建立模板点云模型，包括：
[0019]如果所述目标有固定的三维模型，利用PCL库将三维模型文件转换为均匀稠密点云；
[0020]如果所述目标没有固定的三维模型，采集所述目标多个角度的点云并分割，利用meshlab软件的点云配准模块将采集的各个角度的目标点云进行拼接，得到完整的模板点云模型。
[0021]根据本专利技术的一个方面，对于没有固定三维模型的目标，采用相机在所述超近距离采集所述目标的点云；
[0022]所述均匀稠密点云的点云数量大于等于所述相机在超近距离采集的所述目标的点云数量。
[0023]根据本专利技术的一个方面，利用深度学习网络对所述目标检测与实例分割数据集进行训练和测试，获得目标检测与实例分割模型，包括：
[0024]将所述目标检测与实例分割数据集按照比例分为训练集和测试集；
[0025]利用深度学习网络对所述训练集进行训练，并获得对所述测试集的测试结果，如果所述测试结果的均值平均精度在90％以上，则保留该测试结果，否则对所述目标检测与实例分割数据集继续进行补充、增强和训练测试。
[0026]根据本专利技术的一个方面，所述深度学习网络采用掩膜—区域卷积神经网络。
[0027]根据本专利技术的一个方面，所述确定空间机器人作业的超近距离，利用所述目标检测与实例分割模型在所述超近距离进行目标检测与实例分割，包括：
[0028]采用RGB
‑
D相机获得包含目标彩色信息和深度信息的彩色图像；
[0029]根据所述RGB
‑
D相机的工作范围和所述目标的尺寸确定空间机器人作业的超近距离；
[0030]利用所述目标检测与实例分割模型实时对所述彩色图像进行检测与分割，得到目标类别名称、识别概率和目标掩膜。
[0031]根据本专利技术的一个方面，所述获得目标点云模型，包括：
[0032]根据所述RGB
‑
D相机的彩色与深度的空间坐标系和分辨率，将所述目标的原始彩色信息和原始深度信息进行映射对齐，得到配准的彩色信息和深度信息的对应关系；
[0033]利用所述目标掩膜和所述彩色信息和深度信息的对应关系得到所述目标对应的深度信息；
[0034]将得到的目标深度信息存储为.ply格式，并作为实时得到的目标点云，获得目标点云模型。
[0035]根据本专利技术的一个方面，根据所述RGB
‑
D相机的工作范围和所述目标的尺寸确定空间机器人作业的超近距离时，所述目标保持位于所述RGB
‑
D相机的视野中央并被完整包含，选择满足所述RGB
‑
D相机工作范围的最小值作为超近距离。
[0036]根据本专利技术的一个方面，所述利用点云配准算法对所述模板点云模型和所述目标
点云模型进行配准，得到目标的位姿信息，包括：
[0037]将所述模板点云模型的坐标系统一至相机坐标系，输入所述模板点云模型和待匹配的所述目标点云模型，利用FPFH特征描述子查找匹配点对；
[0038]利用空间距离不变性抵消点云的旋转平移量，根据点集关系筛选匹配点对；
[0039]利用截断方法去除部分误匹配的点对，得到鲁棒的粗配准结果；
[0040]基于所述粗配准结果查找最临近点，建立距离误差目标函数；
[0041]优化所述距离误差目标函数，并不断迭代，直至优化至点云的精确配准位置，得到所述目标点云模型相对所述模板点云模型的转移矩阵；
[0042]根据所述转移矩阵将相机坐标系转换至空间机器人的世界坐标系，得到目标的位姿信息。
[0043]本专利技术与现有技术相比，具有如下优点：
[0044]根据本专利技术的方案，该方法解决了空间机器人在抓取工具时的精确定位问题，可以使其高精度地获取体积较小的目标工具的位姿信息，从而可以执行空间维修任务的大量精细操作。这不仅减轻了宇航员的负担，还有助于发展空间机器人自主全流程的完成整个维修任务的能力。
附图说明
[0045]为了更清楚地说明本专利技术实施方式或现有技术中的技术方案，下面将对实施方式中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种空间机器人超近距离目标位姿快速获取方法，包括：构建目标检测与实例分割数据集；建立模板点云模型；利用深度学习网络对所述目标检测与实例分割数据集进行训练和测试，获得目标检测与实例分割模型；确定空间机器人作业的超近距离，利用所述目标检测与实例分割模型在所述超近距离进行目标检测与实例分割，获得目标点云模型；利用点云配准算法对所述模板点云模型和所述目标点云模型进行配准，得到目标的位姿信息。2.根据权利要求1所述的方法，其特征在于，所述构建目标检测与实例分割数据集，包括：确定空间机器人需要使用的目标类别，并构建目标检测与实例分割数据集；使用标注软件labelme对所述目标检测与实例分割数据集中的数据添加标签，将所有标注文件统一转化为coco数据集格式；根据空间机器人作业的光线条件和噪声特点，对所述目标检测与实例分割数据集进行数据增强。3.根据权利要求1所述的方法，其特征在于，所述建立模板点云模型，包括：如果所述目标有固定的三维模型，利用PCL库将三维模型文件转换为均匀稠密点云；如果所述目标没有固定的三维模型，采集所述目标多个角度的点云并分割，利用meshlab软件的点云配准模块将采集的各个角度的目标点云进行拼接，得到完整的模板点云模型。4.根据权利要求3所述的方法，其特征在于，对于没有固定三维模型的目标，采用相机在所述超近距离采集所述目标的点云；所述均匀稠密点云的点云数量大于等于所述相机在超近距离采集的所述目标的点云数量。5.根据权利要求1所述的方法，其特征在于，利用深度学习网络对所述目标检测与实例分割数据集进行训练和测试，获得目标检测与实例分割模型，包括：将所述目标检测与实例分割数据集按照比例分为训练集和测试集；利用深度学习网络对所述训练集进行训练，并获得对所述测试集的测试结果，如果所述测试结果的均值平均精度在90％以上，则保留该测试结果，否则对所述目标检测与实例分割数据集继续进行补充、增强和训练测试。6.根据权利要求1或5所述的方法，其特征在于，所述深度学习网络采用掩膜—区域卷积神经网络。7.根据权利要求1所述的方法，其特征在于，所述确定空间机器人...

【专利技术属性】
技术研发人员：黄剑斌，庞羽佳，张子萱，王春彦，李志，黄良伟，蒙波，韩旭，刘立颖，
申请(专利权)人：中国空间技术研究院，
类型：发明
国别省市：