【技术实现步骤摘要】
本专利技术涉及机器人学习，尤其涉及一种基于多模态自适应融合的机器人技能连续学习方法及系统。
技术介绍
1、本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
2、随着科技的日益发展，机器人在各个领域的应用逐渐普及，成为了人类生活中的重要帮手。在一些相对简单的重复性任务中，机器人甚至已经完全替代人类，实现了真正的无人化作业。然而，随着使用需求不断升级，机器人所面临的任务在数量、复杂度和柔性程度等方面均呈现飞速增长的趋势。这一趋势对机器人的性能，尤其是在动态场景中进行技能学习的高效性和泛化性，提出了更加急迫和苛刻的要求。由于操作对象、场景约束等均呈现出多样性和变化性，机器人面临复杂场景感知难度大的挑战。目前，融合多模态信息可以提升机器人感知的准确性，但如何实现多模态信息的有机整合与利用仍然当前的研究难点。此外，当前机器人技能学习方法任务泛化性仍然较弱。究其原因，是因为经过学习训练后机器人系统程序相对固化，因此一旦系统部署后，机器人系统就无法对新的、随机的各类状况做出及时反应，最终导致机器人技能模型在新任
【技术保护点】
1.基于多模态自适应融合的机器人技能连续学习方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于多模态自适应融合的机器人技能连续学习方法，其特征在于，多种模态数据包括RGB图像、Depth图像和力反馈数据。
3.如权利要求2所述的基于多模态自适应融合的机器人技能连续学习方法，其特征在于，利用深度学习将多种模态数据特征进行自适应融合的具体步骤包括：
4.如权利要求3所述的基于多模态自适应融合的机器人技能连续学习方法，其特征在于，分别采用合适的特征编码模块对多种模态数据分别进行特征提取，具体的，采用两路并行的Vision Tra...
【技术特征摘要】
1.基于多模态自适应融合的机器人技能连续学习方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于多模态自适应融合的机器人技能连续学习方法，其特征在于，多种模态数据包括rgb图像、depth图像和力反馈数据。
3.如权利要求2所述的基于多模态自适应融合的机器人技能连续学习方法，其特征在于，利用深度学习将多种模态数据特征进行自适应融合的具体步骤包括：
4.如权利要求3所述的基于多模态自适应融合的机器人技能连续学习方法，其特征在于，分别采用合适的特征编码模块对多种模态数据分别进行特征提取，具体的，采用两路并行的vision transformer主干网络分别对rgb图像和depth图像进行特征提取，构建mlp网络对力传感器数据进行编码。
5.如权利要求3所述的基于多模态自适应融合的机器人技能连续学习方法，其特征在于，将提取的特征进行加权融合的过程中，使用多模态注意力机制来动态自适应...
【专利技术属性】
技术研发人员：杨硕，张伟，宋然，李大猷，赵晨琨，李腾，巨浩，
申请(专利权)人：山东大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。