【技术实现步骤摘要】
本专利技术涉及空间机器人协同感知，具体涉及一种基于视触融合的空间机器人对目标航天器重建方法与系统。
技术介绍
1、空间技术的进步催生了对高精度航天器操作与维护的需求。空间机器人作为自动化与智能化空间操控的关键技术，对于无人和载人航天任务均具有重要意义。空间机械臂的自主操作能力基础是目标识别技术，这对实现智能维修操作至关重要。对目标航天器进行定位和三维重建，以此估计其位姿信息和三维几何信息具有重要意义。在空间环境中，非合作目标的失稳自旋状态常引致目标图像的大尺度变化，而传统的定位方法主要依赖视觉传感。在深空或其他复杂空间环境中，这些视觉传感器的性能易受强烈光照或视线遮挡的严重干扰，测量精度显著降低，甚至可能完全失效。
2、视觉与触觉传感是机器人感知的主要模式，最近几年多模态融合技术迅速发展。不同模态信息之间存在着信息的互补，在各种任务中利用不同模态信息相互融合，可能会取得比单独利用某个模态信息更好的效果，尤其是在空间环境中对非合作目标进行定位时。此技术在视觉信息因自旋失控、强光干扰或遮挡而不足或不精确时，利用触觉数据补充关键信息，如航天器待操作部位的精确位置和几何形态。这种多模态融合为全面捕捉典型操作部位的特征提供了新的可能，弥补了单一视觉系统的不足。
3、综上，针对空间机器人的在轨维护操作任务，提供一种基于视触融合的空间机器人目标定位及重建方法实为必要，用以处理复杂空间环境下的目标定位和识别问题。
技术实现思路
1、针对上述提到的技术问题，本申请的实施例的目
2、本专利技术的技术方案如下。
3、第一方面，一种基于视触融合的空间机器人对目标航天器重建方法，包括以下步骤：
4、s1，获取深度相机采集到的目标航天器的三维视觉点云数据，并进行预处理；
5、s2，对预处理后的点云数据使用icp算法进行帧间配准，获得相机位姿与目标位姿的相对关系，对配准后的点云进行拼接并筛选关键帧，通过回环检测完成全局点云闭合，得到目标航天器的全局视觉点云及位姿初估计；
6、s3，获取装有触觉传感器的机械臂对目标航天器进行区域触摸采集得到的触觉图像，基于局部区域的触觉图像确定接触区域在触觉传感器坐标系中的位姿；
7、s4，将触觉图像转化为触觉点云，再将触觉点云从机械臂基坐标系转化到相机坐标系下，与视觉点云进行融合拼接获得视触融合点云；
8、s5，使用数据集训练pointnet++网络；将视触融合点云输入到训练好的pointnet++网络，分割提取得到目标航天器典型待操作部位的点云；
9、s6，利用泊松重建算法对视触融合点云进行三维重建，得到目标航天器的几何构型。
10、优选的，所述预处理包括：
11、滤波去噪，通过设定空间阈值来实现，去除采集的三维点云数据pi无关的背景点云，仅保留在特定空间区域内的点云数据，得到pk；
12、点云下采样，通过在点云pk中构建三维体素格网来实现，每个体素格内的所有点都用其点集的重心来近似表示，从而生成了更加精简的点云数据集，即预处理后的三维点云pl。
13、优选的，所述s2，具体包括；
14、将相邻两帧点云pli和plj的齐次变换矩阵表示为：
15、
16、其中，为旋转矩阵；为平移向量；ti∈se(3)分别表示第i帧目标航天器的相对位姿，tj∈se(3)表示第j帧目标航天器的相对位姿；利用icp点云配准算法求解，从而获取目标的相对姿态信息；
17、在点云配准后，采用基于slam的局部建图技术，筛选关键帧以施加姿态约束，然后实施位姿图优化过程，以优化并修正关键帧的姿态，利用回环检测消除累计误差，得到目标航天器全局的视觉点云pcamera1和初步位姿估计ti。
18、优选的，所述触觉传感器安装于机械臂末端，为柔性触觉阵列传感器，包括多个阵列排布的传感单元。
19、优选的，所述s3，具体包括：
20、移动机械臂并控制末端触碰目标航天器局部区域的表面，产生接触区域及触觉图像，记录下此时机械臂关节传感器读数θrobot(θ1，θ2，θ3，θ4，θ5，θ6)；
21、将所述触觉图像中每个像素点的值进行归一化，并表示为灰度图像；
22、设定阈值来分离所述灰度图像的接触区域和非接触区域，将所述灰度图像中像素点的值高于或等于阈值的区域判定为接触区域，将所述灰度图像中像素点的值低于阈值的区域判定为非接触区域，并将非接触区域的像素点的值归零，接着对触觉图像进行腐蚀膨胀处理和双线性插值，得到预处理后的触觉图像；
23、记录下此触觉传感器接触区域的每个像素点中心在传感器坐标系下的空间坐标ρ(x，y，z)∈r3及法向量n(nx，ny，nz)∈r3，以确定该接触区域在触觉传感器坐标系中的位姿。
24、优选的，所述s4中，将触觉点云从机械臂基坐标系转化到相机坐标系下，与视觉点云进行融合拼接并修正位姿，具体包括：
25、s41，将目标接触区域产生的接触点在传感器坐标系下的位置和法向量转换到机器人基坐标系下：
26、p＝trobot(θrobot)·ρ
27、n＝trobot(θrobot)·n
28、其中，p表示接触点到机器人基坐标系下的坐标位置；n表示接触点到机器人基坐标系下的法向量信息；trobot表示机械臂末端到基坐标系的变换矩阵；θrobot表示机械臂关节传感器读数；ρ表示触觉传感器接触区域的每个像素点中心在传感器坐标系下的空间坐标；n表示触觉传感器接触区域的每个像素点中心在传感器坐标系下的法向量；
29、s42，在单次机械臂触觉探索过程中，接触区域获得单个接触点的信息表述为pointi＝[pi，ni]t，pi表示第i次探索时接触点到机器人基坐标系下的坐标信息；ni表示第次探索时接触点在机器人基坐标系下的法向量信息；在多次探索过程中，若接触点坐标相同则不记录，最终经过完整触觉探索流程，得到i个触觉点云集probot；结合手眼标定结果，触觉点云probot从机械臂基坐标系转化到相机坐标系下得到pcamera2；
30、s43，将触觉点云pcamera2作为正态分布变换ndt算法中的参考点云，将视觉点云pcamera1作为目标点云，用于校正由纯视觉初步定位方法引入的位姿误差；
31、s44，对触觉点云中的每一个点通过基于kdtree的最邻近搜索法在视觉点云中找到n个最邻近点，将这些最邻近点集合为新的点云集，作为视触融合点云pcombine。
32、优选的，所述步骤s5中，pointnet++网络首先通其特征提取模块对输入的视触融合点云数据进行预处理，递归地应用点集抽象，从而在不同尺度上捕获局部到全局的点云特征；局部本文档来自技高网...
【技术保护点】
1.一种基于视触融合的空间机器人对目标航天器重建方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于视触融合的空间机器人对目标航天器重建方法，其特征在于，所述预处理包括：
3.根据权利要求1所述的基于视触融合的空间机器人对目标航天器重建方法，其特征在于，所述S2，具体包括；
4.根据权利要求l所述的基于视触融合的空间机器人对目标航天器重建方法，其特征在于，所述触觉传感器安装于机械臂末端，为柔性触觉阵列传感器，包括多个阵列排布的传感单元。
5.根据权利要求1所述的基于视触融合的空间机器人对目标航天器重建方法，其特征在于，所述S3，具体包括：
6.根据权利要求1所述的基于视触融合的空间机器人对目标航天器重建方法，其特征在于，所述S4中，将触觉点云从机械臂基坐标系转化到相机坐标系下，与视觉点云进行融合拼接并修正位姿，具体包括：
7.根据权利要求1所述的基于视触融合的空间机器人对目标航天器重建方法，其特征在于，所述步骤S5中，PointNet++网络首先通其特征提取模块对输入的视触融合点云数据进行预处理，递
8.根据权利要求1所述的基于视触融合的空间机器人对目标航天器重建方法，其特征在于，所述S6，具体包括：
9.一种基于视触融合的空间机器人重建系统，其特征在于，包括：
...【技术特征摘要】
1.一种基于视触融合的空间机器人对目标航天器重建方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于视触融合的空间机器人对目标航天器重建方法，其特征在于，所述预处理包括：
3.根据权利要求1所述的基于视触融合的空间机器人对目标航天器重建方法，其特征在于，所述s2，具体包括；
4.根据权利要求l所述的基于视触融合的空间机器人对目标航天器重建方法，其特征在于，所述触觉传感器安装于机械臂末端，为柔性触觉阵列传感器，包括多个阵列排布的传感单元。
5.根据权利要求1所述的基于视触融合的空间机器人对目标航天器重建方法，其特征在于，所述s3，具体包括：
6.根据权利要求1所述的基于视触融合的空间机器人对目标航...
【专利技术属性】
技术研发人员：谢瑜，陈艺伟，林浩勋，罗涛，张金惠，周伟，
申请(专利权)人：厦门大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。