一种基于多注意力机制的机器人视觉示教学习模型及方法技术

本发明专利技术涉及一种基于多注意力机制的机器人视觉示教学习模型及方法，该模型包括：图像特征预处理模块：包括若干级联的卷积层，用于提取图像的底层特征；卷积头模块：包括多个级联的卷积头，用于提取得到不同层次的特征图；域自适应模块：对不同层次的特征图进行计算构造多注意力内部损失，所述的多注意力内部损失用于自适应更新模型的策略参数；机器人动作预测模块：对不同层次的特征图进行残差连接后预测输出机器人动作。与现有技术相比，本发明专利技术通过提取不同层次的神经网络信息来学习机器人视觉任务，可以有效地增强模型的认知识别能力和任务适应能力。和任务适应能力。和任务适应能力。

【技术实现步骤摘要】
一种基于多注意力机制的机器人视觉示教学习模型及方法


[0001]本专利技术涉及智能机器人
，尤其是涉及一种基于多注意力机制的机器人视觉示教学习方法。

技术介绍

[0002]随着人工智能技术的快速发展，如何让机器人更加智能化成为了众人关注的重点。尤其是如何结合人工智能技术，让机器人在工业流水线生产中发挥出重要作用，具有重大现实研究意义。然而，目前多数市面上的机器人产品主要偏向于传统编程，具有较低的智能化水平，缺乏快速适应新任务和灵活变通的能力。具体来说，传统工业机器人在每次的流水线生产过程中，都需要麻烦的工业标定和编程，任务可迁移性差。而在实际的生产应用中，因为业务变更而导致的生产线变化问题是常有的事情。在每次的生产线重置中，都需要大量的重新编程工作和精准标定的工作，导致需要花费大量不必要的人力物力。因此，如何通过有效视觉示教来减少这些麻烦的过程，是目前业界十分关注的难题。
[0003]针对这个难题，一种比较可能的方法则是基于元学习的视觉示教：受到人类能够以视觉学习的方式掌握新技能的启发，让机器人具备人类一样的学习能力是十分值得探索本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多注意力机制的机器人视觉示教学习模型，其特征在于，该模型包括：图像特征预处理模块：包括若干级联的卷积层，用于提取图像的底层特征；卷积头模块：包括多个级联的卷积头，用于提取得到不同层次的特征图；域自适应模块：对不同层次的特征图进行计算构造多注意力内部损失，所述的多注意力内部损失用于自适应更新模型的策略参数；机器人动作预测模块：对不同层次的特征图进行残差连接后预测输出机器人动作。2.根据权利要求1所述的一种基于多注意力机制的机器人视觉示教学习模型，其特征在于，所述的域自适应模块包括：空间归一化单元：使用空间归一化来处理特征图的位置信息，生成若干个特征点；全连接层：将特征点进行全连接处理；一维时间卷积：连接全连接层的输出端，所述的一维时间卷积输出相应层次特征图的注意力内部损失。3.一种基于多注意力机制的机器人视觉示教学习方法，其特征在于，该方法包括：构建权利要求1所述的机器人视觉示教学习模型；模型训练，包括：将人类演示视频输入至模型输入端，图像特征预处理模块获取底层特征，卷积头模块提取得到不同层次的特征图；域自适应模块分别对每一层次的特征图进行处理计算得到不同层次的注意力头损失，基于不同层次的注意力头损失构建对应的多注意力内部损失；根据多注意力内部损失更新模型的策略参数；将机器人演示视频输入至模型输入端，依次经过卷积头模块、域自适应模块和机器人动作预测模块处理后输出机器人预测动作；基于机器人预测动作和机器人演示视频对应的实际动作计算机器人动作损失；基于机器人动作损失再次更新模型的策略参数。4.根据权利要求3所述的一种基于多注意力机制的机器人视觉示教学习方法，其特征在于，该方法还包括模型的应用，包括：将用于示教的人类演示视频输入至训练好的机器人视觉示教学习模型，图像特征预处理模块获取底层特征，卷积头模块提取得到不同层次的特征图；域自适应模块分别对每一层次的特征图进行处理计算得到不同层次的注意力头损失，基于不同层次的注意力头损失构建对应的多注意力内部损失；根据多注意力内部损失更新模型的策略参数；将当前环境下的机器人照片输入至模型输入端，依次经过卷积头模块、域自适应模块和机器人动作预测模块处理后输出机器人预测动作；基于机器人预测动作控制机器人动作。5.根据权利要求3或4所述的一种基于多注意力机制的机器人视觉示教学习方法，其特征在于，多注意力内部损失表示为：其中，V
human
为输入至模型的人类演示视频，f<...

【专利技术属性】
技术研发人员：李伟，胡梓烨，郭伟坤，朱继伟，候梓越，魏秉晟，刘翼，
申请(专利权)人：复旦大学，
类型：发明
国别省市：