【技术实现步骤摘要】
本专利技术涉及机器人，尤其涉及一种基于注意力机制和低秩张量融合的机器人抓取预测方法、系统、终端及计算机可读存储介质。
技术介绍
1、机器抓取任务是机器人应用中的重要组成部分，其成功执行依赖于对环境的准确感知和对物体特征的精细提取。基于触觉的应用取得了显著进展，但遗憾的是这些研究并未充分关注提取触觉模态特征。由于缺乏对这些特征的有效提取，系统可能难以有效捕捉关键的触觉信息，从而可能导致在环境或任务中遗漏重要的特征。另外，由于缺乏有效的模态融合方法，系统可能未能充分利用多个触觉传感器提供的信息。这种局面可能限制了系统对周围环境进行全面理解的能力，从而影响其在复杂环境中的适应性和鲁棒性。
2、随着自动化在各个领域的广泛应用，机器人不仅需要执行任务，还需要能够准确地抓取、操纵物体。这推动了对稳定抓取的研究，使机器人能够在不同场景中预测并实现稳定的抓取动作。机器人可以通过视觉感知技术获取环境信息，然后利用先进的学习算法预测物体的位置、形状和质地，为稳定抓取提供准确的输入。这种技术进步为机器人赋予了更高的感知能力和智能决策能力。机器人预测稳定抓取的意义在于提高机器人的操作精度和成功率。它不仅使机器人能够在复杂环境中执行任务，还增加了机器人在处理不同形状、大小和质地物体时的适应性。在工业生产、仓储管理和服务领域，这项技术有助于提高自动化系统的效率，减少错误和损坏，提升整体工作流程的可靠性。
3、例如，现有技术中基于时序触觉数据处理的物体抓取方法，首先通过物体的位置信息确定最优抓取区域，随后，在机械手运行到最优抓取区域时
4、例如一种改进滑动检测的方法，通过在视触觉传感器与目标对象接触时，利用设置的双目相机实时采集多帧连续的视触觉检测图像。通过边缘特征提取算法处理这些图像，得到各帧的边缘点区域，并根据这些区域的重合度、灰度参数连续度以及深度参数连续度，生成滑动检测结果。这种方法提高了滑动检测的精度和鲁棒性，避免了仅依赖触觉数据的单一问题。
5、例如一种基于多源信息融合的机器人抓取方法，该方法首先获取待抓取物体的rgb图像、光流图像和深度图像，并对它们进行特征提取得到相应的特征。然后，通过多源信息融合模块将rgb特征、光流特征和深度特征进行融合，得到待抓取物体的融合特征。接下来，将融合特征输入物体姿态预测模块进行分类和抓取位置预测。根据预测的抓取位置信息，执行物体的抓取动作。通过触觉传感器感知触觉信息，判断抓取是否成功。
6、以上几种方式虽然从不同的角度使用不同的方法提出了能预测抓取是否成功的方案，但是从模态特征提取能力方面，这些研究并未充分关注提取触觉模态特征。由于缺乏对这些特征的有效提取，系统可能难以有效捕捉关键的触觉信息，从而可能导致在环境或任务中遗漏重要的特征。从模态融合方面，由于缺乏有效的模态融合方法，系统可能未能充分利用多个触觉传感器提供的信息。这种局面可能限制了系统对周围环境进行全面理解的能力，从而影响其在复杂环境中的适应性和鲁棒性。
7、因此，现有技术还有待于改进和发展。
技术实现思路
1、本专利技术的主要目的在于提供一种基于注意力机制和低秩张量融合的机器人抓取预测方法、系统、终端及计算机可读存储介质，旨在解决现有技术中对机器人抓取物体是否成功进行预测时缺乏对有效特征的提取，以及对触觉传感器提供的信息未进行有效的模态融合，导致对机器人抓取物体是否成功进行预测的准确性不高的问题。
2、为实现上述目的，本专利技术提供一种基于注意力机制和低秩张量融合的机器人抓取预测方法，所述基于注意力机制和低秩张量融合的机器人抓取预测方法包括如下步骤：
3、获取机器人抓取多个不同物体的抓取图像数据集，将所述抓取图像数据集进行预处理后划分为训练集和测试集；
4、利用所述训练集和所述测试集对基于注意力机制和低秩张量融合模型进行训练和测试，得到训练好的基于注意力机制和低秩张量融合模型，所述基于注意力机制和低秩张量融合模型包括基于注意力机制模型网络、触觉特征融合模块和分类器；
5、获取机器人抓取目标物体的触觉图片，将所述触觉图片输入到训练好的基于注意力机制和低秩张量融合模型，输出所述目标物体是否抓取成功的预测结果。
6、可选地，所述的基于注意力机制和低秩张量融合的机器人抓取预测方法，其中，所述获取机器人抓取多个不同物体的抓取图像数据集，将所述抓取图像数据集进行预处理后划分为训练集和测试集，具体包括：
7、获取机器人通过机械臂、平行夹持器、两个光电触觉传感器和两个深度相机传感器采集多个物体的抓取图像数据集；
8、对所述抓取图像数据集进行预处理，所述预处理包括随机水平翻转、随机裁剪和归一化处理，将经过预处理的所述抓取图像数据集按比例进行划分，得到训练集和测试集。
9、可选地，所述的基于注意力机制和低秩张量融合的机器人抓取预测方法，其中，所述抓取图像数据集的采集过程包括：
10、在ta时刻，获取物体处于抓取前的初始状态图；
11、在tb时刻，获取抓取物体接触状态、测量夹爪完成指的闭合且物体仍在地面上的接触状态图；
12、在tc时刻，获取抓取物体成功在空中停留预设时间的抓取状态图；
13、其中，将tc时刻物体是否能够成功抓取作为实验的标签信息。
14、可选地，所述的基于注意力机制和低秩张量融合的机器人抓取预测方法，其中，所述利用所述训练集和所述测试集对基于注意力机制和低秩张量融合模型进行训练和测试，得到训练好的基于注意力机制和低秩张量融合模型，具体包括：
15、所述基于注意力机制模型网络对所述测试集中的触觉图片进行特征提取，并经过全局平均池化获得一维特征向量，将所述一维特征向量输入到所述触觉特征融合模块；
16、所述触觉特征融合模块将所述一维特征向量中的左边触觉传感器的特征和右边触觉传感器的特征进行低秩张量多模态融合得到融合特征，将所述融合特征输入到所述分类器；
17、所述分类器对所述融合特征进行分类处理，输出物体最终是否抓取成功的预测结果；
18、当所述测试集中的所有触觉图片全部完成预测后，将所述测试集输入到所述基于注意力机制和低秩张量融合模型进行测试，若测试结果满足预设要求，则得到训练好的基于注意力机制和低秩张量融合模型。
19、可选地，所述的基于注意力机制和低秩张量融合的机器人抓取预测方法，其中，所述基于注意力机制模型网络包括4个注意力残差块，每个所述注意力残差块包括一个卷积层和注意力模块；
20、所述测试集中的触觉图片输入到所述基于注意力机制模型网络，经过4个注意力残差块进行特征提取，并经过全局平均池化获得本文档来自技高网...
【技术保护点】
1.一种基于注意力机制和低秩张量融合的机器人抓取预测方法，其特征在于，所述基于注意力机制和低秩张量融合的机器人抓取预测方法包括：
2.根据权利要求1所述的基于注意力机制和低秩张量融合的机器人抓取预测方法，其特征在于，所述获取机器人抓取多个不同物体的抓取图像数据集，将所述抓取图像数据集进行预处理后划分为训练集和测试集，具体包括：
3.根据权利要求2所述的基于注意力机制和低秩张量融合的机器人抓取预测方法，其特征在于，所述抓取图像数据集的采集过程包括：
4.根据权利要求1所述的基于注意力机制和低秩张量融合的机器人抓取预测方法，其特征在于，所述利用所述训练集和所述测试集对基于注意力机制和低秩张量融合模型进行训练和测试，得到训练好的基于注意力机制和低秩张量融合模型，具体包括：
5.根据权利要求4所述的基于注意力机制和低秩张量融合的机器人抓取预测方法，其特征在于，所述基于注意力机制模型网络包括4个注意力残差块，每个所述注意力残差块包括一个卷积层和注意力模块；
6.根据权利要求4所述的基于注意力机制和低秩张量融合的机器人抓取预测方法，
7.根据权利要求6所述的基于注意力机制和低秩张量融合的机器人抓取预测方法，其特征在于，所述分类器包括第一全连接层和第二全连接层；
8.一种基于注意力机制和低秩张量融合的机器人抓取预测系统，其特征在于，所述基于注意力机制和低秩张量融合的机器人抓取预测系统包括：
9.一种终端，其特征在于，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于注意力机制和低秩张量融合的机器人抓取预测程序，所述基于注意力机制和低秩张量融合的机器人抓取预测程序被所述处理器执行时实现如权利要求1-7任一项所述的基于注意力机制和低秩张量融合的机器人抓取预测方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有基于注意力机制和低秩张量融合的机器人抓取预测程序，所述基于注意力机制和低秩张量融合的机器人抓取预测程序被处理器执行时实现如权利要求1-7任一项所述的基于注意力机制和低秩张量融合的机器人抓取预测方法的步骤。
...【技术特征摘要】
1.一种基于注意力机制和低秩张量融合的机器人抓取预测方法，其特征在于，所述基于注意力机制和低秩张量融合的机器人抓取预测方法包括：
2.根据权利要求1所述的基于注意力机制和低秩张量融合的机器人抓取预测方法，其特征在于，所述获取机器人抓取多个不同物体的抓取图像数据集，将所述抓取图像数据集进行预处理后划分为训练集和测试集，具体包括：
3.根据权利要求2所述的基于注意力机制和低秩张量融合的机器人抓取预测方法，其特征在于，所述抓取图像数据集的采集过程包括：
4.根据权利要求1所述的基于注意力机制和低秩张量融合的机器人抓取预测方法，其特征在于，所述利用所述训练集和所述测试集对基于注意力机制和低秩张量融合模型进行训练和测试，得到训练好的基于注意力机制和低秩张量融合模型，具体包括：
5.根据权利要求4所述的基于注意力机制和低秩张量融合的机器人抓取预测方法，其特征在于，所述基于注意力机制模型网络包括4个注意力残差块，每个所述注意力残差块包括一个卷积层和注意力模块；
6.根据权利要求4所述的基于注意力机制和低秩张量融合的机器人抓取预...
【专利技术属性】
技术研发人员：易正琨，吴鹏，王菁楠，刘嘉树，曹博展，吴新宇，
申请(专利权)人：深圳先进技术研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。