【技术实现步骤摘要】
本专利技术涉及3d视觉与机器人的一种机器人作业目标6d位姿跟踪方法，特别涉及一种基于时序点云融合的机器人作业目标6d位姿跟踪方法。
技术介绍
1、机器人作为现代工业体系中重要的智能生产作业单元，通常需要对周围的作业场景进行动态感知，特别是需要对场景中作业目标的6d位姿进行连续跟踪，以完整理解作业目标所处的空间位置并做出相应的动作决策，进而满足机器人对于连续作业任务的动态响应需求。
2、得益于各类深度传感器(包括rgb-d相机、激光雷达等)与深度学习技术的快速发展，3d视觉方法在目标位姿识别领域展现出了有价值的应用前景。3d视觉在2d视觉的基础上提供了更丰富的空间几何信息，有利于实现更准确的空间6d位姿识别。然而，这些方法主要关注于在单帧观察数据中进行位姿估计，由于没有考虑时间和空间的一致连续性，连续多帧观察中得到的位姿跟踪结果可能是不稳定的，这会严重影响机器人作业的执行效果。
3、充分利用观察序列中的时序信息来实现位姿跟踪是解决该问题的关键。然而，三维点云不同于具有规则像素排列的二维图像，由于点云数据的不规则性与无序性，时序观察点云间缺乏显式的对齐关系，难以进行有效的信息交互与特征融合，进而降低了位姿跟踪结果的准确性。
技术实现思路
1、为了解决
技术介绍
中存在的问题，本专利技术提出了一种基于时序点云融合的机器人作业目标6d位姿跟踪方法，该方法利用深度学习技术实现了点云视频序列中的机器人作业目标6d位姿跟踪，有效提高了位姿跟踪的准确性和稳定性。
2
3、s1：通过rgb-d相机连续采集并获取机器人作业场景的原始点云视频序列；
4、s2：对原始点云视频序列进行点云分割后，得到仅包含机器人作业目标的观察点云视频序列，确定初始帧时序观察点云；
5、s3：提取当前帧和其前一帧的时序观察点云中各点云对应的特征以及利用反向预测方法构建当前相邻两帧时序观察点云的密集点云对；
6、s4：基于密集点云对，对当前帧和其前一帧的时序观察点云中各点云对应的特征进行逐点融合，得到融合点云特征，进而预测获得当前相邻两帧间的相对变换位姿；
7、s5：重复s3-s4，计算获得仅包含机器人作业目标的观察点云视频序列中剩余相邻两帧时序观察点云间的相对变换位姿，从而实现作业目标的6d位姿跟踪。
8、所述s2中，对于原始点云视频序列中的每帧原始点云，利用点云分割算法预测每帧原始点云中所有点的语义类别，再仅保留属于机器人作业目标的点，获得当前帧的时序观察点云。
9、所述s3具体为：
10、s31：采用交叉注意力机制对当前帧时序观察点云pt和其前一帧时序观察点云pt-1进行特征编码，得到当前帧时序观察点云pt的点云特征ft和其前一帧时序观察点云pt-1的点云特征ft-1；
11、s32：根据当前帧时序观察点云pt的点云特征ft预测获得当前帧时序观察点云pt中各点的偏移量xi，基于各点的偏移量xi再对当前帧时序观察点云pt进行坐标转换，获得坐标转换后的时序观察点云
12、s33：将坐标转换后的时序观察点云中的各点与其前一帧时序观察点云pt-1进行配对，获得当前相邻两帧时序观察点云的密集点云对。
13、所述s32中，将当前帧时序观察点云pt的点云特征ft送入多层感知机后预测得到当前帧时序观察点云pt中各点的偏移量xi，其中，多层感知机中用于监督偏移量xi预测的损失函数的公式如下：
14、
15、
16、其中，n表示当前帧时序观察点云中点的数量，||2表示二范数，表示偏移量xi的理想真值，表示前一帧时序观察点云pt-1与当前帧时序观察点云pt间的理想相对变换位姿，tpi表示当前帧时序观察点云pt中的点i。
17、所述s33中，对于坐标转换后的时序观察点云中的每个点在其前一帧时序观察点云pt-1中找到与其距离最近的点t-1pj，由点tpi和点t-1pj组成一个点云对。
18、所述s4中，对于当前帧时序观察点云中的每个点，基于密集点云对将当前帧时序观察点云中点tpi的特征与其前一帧的时序观察点云中点t-1pj的特征进行拼接，获得融合点特征φfi，将所有融合点特征组成的集合作为融合点云特征φf。
19、所述s4中，从当前帧的融合点云特征中回归预测出若干个相对变换位姿，并计算各相对变换位姿的置信度，将置信度最高的相对变换位姿作为当前相邻两帧间的相对变换位姿。
20、所述s5中，第k帧中作业目标的6d位姿mk包括三个平移分量和三个旋转分量，第k帧中作业目标的6d位姿mk的计算公式如下：
21、mk＝mk-1·δm
22、其中，mk-1表示第k-1帧中作业目标的6d位姿，δm表示第k帧与第k-1帧间的相对变换位姿。
23、本专利技术的有益效果在于：
24、(1)本专利技术从点云视频序列中实现了机器人作业目标的连续位姿跟踪，通过利用三维点云数据中所包含的丰富几何信息，解决了现有二维图像视觉方法跟踪精度差的问题；
25、(2)本专利技术通过建立时序观察点云间的密集对应关系，并以此为基础对时序观察点云进行逐点特征融合，解决了由三维点云数据的不规则性而导致的时序关联信息交互困难的问题，进而提高了动态场景中机器人作业目标位姿连续跟踪的准确性与稳定性；
26、(3)本专利技术提供的位姿跟踪方法可以直接部署到各类下游机器人应用中，有效提高了机器人系统面对实际作业任务的灵活性与智能度。
27、综合上述而言，本专利技术提供的机器人作业目标位姿跟踪方法，在三维点云空间中进行连续位姿推断，并针对三维点云数据的不规则性与无序性，充分利用观察点云数据间的时序关联信息并进行有效的特征融合，实现了准确而稳定的6d位姿跟踪，具有较好的工程实用价值。
本文档来自技高网...【技术保护点】
1.一种基于时序点云融合的机器人作业目标6D位姿跟踪方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于时序点云融合的机器人作业目标6D位姿跟踪方法，其特征在于，所述S2中，对于原始点云视频序列中的每帧原始点云，利用点云分割算法预测每帧原始点云中所有点的语义类别，再仅保留属于机器人作业目标的点，获得当前帧的时序观察点云。
3.根据权利要求1所述的一种基于时序点云融合的机器人作业目标6D位姿跟踪方法，其特征在于，所述S3具体为：
4.根据权利要求3所述的一种基于时序点云融合的机器人作业目标6D位姿跟踪方法，其特征在于，所述S32中，将当前帧时序观察点云Pt的点云特征Ft送入多层感知机后预测得到当前帧时序观察点云Pt中各点的偏移量xi，其中，多层感知机中用于监督偏移量xi预测的损失函数的公式如下：
5.根据权利要求3所述的一种基于时序点云融合的机器人作业目标6D位姿跟踪方法，其特征在于，所述S33中，对于坐标转换后的时序观察点云中的每个点在其前一帧时序观察点云Pt-1中找到与其距离最近的点t-1pj，由点tpi和点t-1p
6.根据权利要求1所述的一种基于时序点云融合的机器人作业目标6D位姿跟踪方法，其特征在于，所述S4中，对于当前帧时序观察点云中的每个点，基于密集点云对将当前帧时序观察点云中点tpi的特征与其前一帧的时序观察点云中点t-1pj的特征进行拼接，获得融合点特征φfi，将所有融合点特征组成的集合作为融合点云特征φF。
7.根据权利要求1所述的一种基于时序点云融合的机器人作业目标6D位姿跟踪方法，其特征在于，所述S4中，从当前帧的融合点云特征中回归预测出若干个相对变换位姿，并计算各相对变换位姿的置信度，将置信度最高的相对变换位姿作为当前相邻两帧间的相对变换位姿。
8.根据权利要求1所述的一种基于时序点云融合的机器人作业目标6D位姿跟踪方法，其特征在于，所述S5中，第k帧中作业目标的6D位姿Mk包括三个平移分量和三个旋转分量，第k帧中作业目标的6D位姿Mk的计算公式如下：
...【技术特征摘要】
1.一种基于时序点云融合的机器人作业目标6d位姿跟踪方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于时序点云融合的机器人作业目标6d位姿跟踪方法，其特征在于，所述s2中，对于原始点云视频序列中的每帧原始点云，利用点云分割算法预测每帧原始点云中所有点的语义类别，再仅保留属于机器人作业目标的点，获得当前帧的时序观察点云。
3.根据权利要求1所述的一种基于时序点云融合的机器人作业目标6d位姿跟踪方法，其特征在于，所述s3具体为：
4.根据权利要求3所述的一种基于时序点云融合的机器人作业目标6d位姿跟踪方法，其特征在于，所述s32中，将当前帧时序观察点云pt的点云特征ft送入多层感知机后预测得到当前帧时序观察点云pt中各点的偏移量xi，其中，多层感知机中用于监督偏移量xi预测的损失函数的公式如下：
5.根据权利要求3所述的一种基于时序点云融合的机器人作业目标6d位姿跟踪方法，其特征在于，所述s33中，对于坐标转换后的时序观察点云中的每个点在...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。