基于光电触觉传感器的目标主动探测方法及系统技术方案

本发明专利技术涉及机器人主动探测技术领域，提出一种基于光电触觉传感器的目标主动探测方法及系统，该方法包括下列步骤：模拟光电触觉传感器与物体模型的接触信息图像以生成触觉信息数据集，其中所述触觉信息数据集包括触觉信息及其对应的物体位姿；由第一光电触觉传感器与物体接触以生成第一接触信息图像，其中所述第一接触信息图像包括第一触觉信息；由特征提取模块根据所述第一触觉信息和所述触觉信息数据集生成所述物体与所述第一光电触觉传感器接触处的表面形状点云；重复所述第一光电触觉传感器和所述特征提取模块执行的动作以生成所述物体的局部稠密点云；以及由物体姿态估计模块根据所述局部稠密点云进行点云重建以生成所述物体的6D姿态信息。生成所述物体的6D姿态信息。生成所述物体的6D姿态信息。

【技术实现步骤摘要】
基于光电触觉传感器的目标主动探测方法及系统


[0001]本专利技术总的来说涉及机器人主动探测
具体而言，本专利技术涉及一种基于光电触觉传感器的目标主动探测方法及系统

技术介绍

[0002]机器人目标主动探测的目的是检测出场景中可实施交互的物体信息，其中包括探测物体的位置和形状特征，以此指导机器人的控制来完成下游任务，例如完成对杂乱堆叠场景下的物体进行依次抓取的任务。
[0003]作为机器人重要的感知和交互手段，目标主动探测通常基于相机捕捉的视觉信息，并结合目标检测和定位算法的结果进行对于目标物体的交互。在有视觉遮挡的情况下，现有的主动探测方法包括基于视觉信息修复算法进行遮挡目标主动探测、基于声音信息来进行遮挡目标主动探测以及基于触觉传感器信息进行遮挡目标主动探测。
[0004]基于视觉信息修复算法进行遮挡目标主动探测的方法一般用于所需交互物体部分遮挡的情况，其中通过采用对象的3D模型来训练深度网络以进行对象分类和姿势估计。然而该方法依赖于先验对象模型，无法解决未建模物体的探索问题，虽然可以构造图像修复编码器来修复物体被遮本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于光电触觉传感器的目标主动探测方法，其特征在于，包括下列步骤：模拟光电触觉传感器与物体模型的接触信息图像以生成触觉信息数据集，其中所述触觉信息数据集包括触觉信息及其对应的物体位姿；由第一光电触觉传感器与物体接触以生成第一接触信息图像，其中所述第一接触信息图像包括第一触觉信息；由特征提取模块根据所述第一触觉信息和所述触觉信息数据集生成所述物体与所述第一光电触觉传感器接触处的表面形状点云；生成所述物体的多个所述表面形状点云以生成所述物体的局部稠密点云；以及由物体姿态估计模块根据所述局部稠密点云进行点云重建以生成所述物体的6D姿态信息。2.根据权利要求1所述的基于光电触觉传感器的目标主动探测方法，其特征在于，所述第一触觉信息包括RGB信息，由特征提取模块根据所述第一触觉信息和所述触觉信息数据集生成所述物体与所述第一光电触觉传感器接触处的表面形状点云包括下列步骤：根据所述RGB信息生成所述第一光电触觉传感器的表面形变信息；根据所述第一触觉信息和所述触觉信息数据集确定所述物体的位姿；以及根据所述表面形变信息以及所述位姿生成所述物体与所述第一光电触觉传感器接触处的表面形状点云。3.根据权利要求1所述的基于光电触觉传感器的目标主动探测方法，其特征在于，还包括：对所述触觉信息数据集进行数据预处理以生成训练数据集以及测试数据集；以及通过所述训练数据集以及所述测试数据集对所述特征提取模块以及所述物体姿态估计模块进行训练和测试。4.根据权利要求1所述的基于光电触觉传感器的目标主动探测方法，其特征在于，还包括：根据所述6D姿态信息指导机械臂与所述物体进行下游交互任务。5.根据权利要求1所述的基于光电触觉传感器的目标主动探测方法，其特征在于，在...

【专利技术属性】
技术研发人员：李学龙，王栋，谢恺怡，
申请(专利权)人：上海人工智能创新中心，
类型：发明
国别省市：