一种跨模态识别机器人指令的方法及系统技术方案

本申请提供了一种跨模态识别机器人指令的方法与系统，包括：将获取的各模态数据作为训练集输入至神经网络中，经过训练确立机器人指令识别模型；将待识别的各模态数据输入至所述机器人指令识别模型中，输出机器人指令。本发明专利技术提供的方法及系统，可以基于跨模态准确地识别出机器人指令，训练模型所需的训练集数据量小，在输入中缺失任一模态或任一模态数据不平衡的情况下，本方法与系统仍能正常识别出机器人指令，人工标记的工作量小，实用性较强。

【技术实现步骤摘要】
一种跨模态识别机器人指令的方法及系统
本专利技术涉及信息
，尤其涉及一种跨模态识别机器人指令的方法及系统。
技术介绍
随着机器人技术的不断发展，智能机器人逐渐被运用至人们的日常生活中。机器人需要根据从视频或语音不同跨模态中识别出的指令执行相应的动作。现有的跨模态识别方法主要为以下三种：一是基于跨模态特征融合进行指令识别的方法；二是跨模态在特定少数指令上的指令识别的方法；三是基于跨模态局部特征的融合识别指令的方法。基于跨模态特征融合进行指令识别的方法需要同时拥有庞大视频和音频数据集，并且如果任意一种模态的数据较少或者缺失，都将导致系统无法使用。跨模态在特定少数指令上的指令识别的方法虽然需求的数据量较少，但是在真实使用场景中的人机交互性并不好，而且稳定性较差。基于跨模态局部特征的融合识别指令虽然在一些场景下能取得较好成绩，但是他们所需要的人工标记工作量巨大，不太可能在现实场景中使用。
技术实现思路
基于此，本专利技术提供一种跨模态识别机器人指令的方法及系统，即使缺失任一模态，或者在数据不平衡的条件下也可以实现机器人本文档来自技高网...

【技术保护点】
1.一种跨模态识别机器人指令的方法，其特征在于，包括：/nS1、将获取的各模态数据作为训练集输入至神经网络中，经过训练确立机器人指令识别模型；/nS2、将待识别的各模态数据输入至所述机器人指令识别模型中，输出机器人指令。/n

【技术特征摘要】
1.一种跨模态识别机器人指令的方法，其特征在于，包括：
S1、将获取的各模态数据作为训练集输入至神经网络中，经过训练确立机器人指令识别模型；
S2、将待识别的各模态数据输入至所述机器人指令识别模型中，输出机器人指令。


2.根据权利要求1所述的一种跨模态识别机器人指令的方法，其特征在于，所述步骤S1中的机器人指令识别模型具体包括：
各模态低级特征提取模型、各模态指令特征提取模型、各模态特征选择模型、特征融合模型。


3.根据权利要求1所述的一种跨模态识别机器人指令的方法，其特征在于，所述步骤S1包括：
S11、将获取的各模态数据输入至对应的各模态低级特征提取模型中，提取所述各模态数据对应的各模态低级特征，输出所述各模态低级特征；
S12、将所述各模态低级特征输入至对应的各模态指令特征提取模型中，提取所述各模态低级特征对应的各模态指令特征，并将所述各模态指令特征转化为相同维度，输出所述各模态指令特征；
S13、将所述各模态指令特征输入至对应的各模态特征选择模型中，对所述各模态指令特征进行拟合选择，输出各模态拟合选择后的指令特征；
S14、将所述各模态拟合选择后的指令特征输入至特征融合模型中，对所述各模态拟合选择后的指令特征进行特征融合，输出高级指令特征；
S15、将所述高级指令特征输入至识别分类模型中，对所述高级指令特征进行识别分类，并将识别分类结果转译成机器人指令；
S16、获取已标记的真实机器人指令，将所述机器人指令与所述已标记的真实机器人指令输入至判决模型中，计算所述机器人指令与所述已标记的真实机器人指令对应的损失函数，将所述损失函数反馈至各模态低级特征提取模型、各模态指令特征提取模型、选择模型；
S17、利用所述损失函数调整各模态低级特征提取模型、各模态指令特征提取模型、选择模型的参数，更新各模态低级特征提取模型、各模态指令特征提取模型、选择模型。


4.根据权利要求3所述的一种跨模态识别机器人指令的方法，其特征在于，所述步骤S11中输入至神经网络中的各模态数据在不同模态之间的数据为一一对应的关系，若缺失其中一个模态的数据，则将该模态置为无。


5.根据权利要求1所述的一种跨模态识别机器人指令的方法，其特征在于，所述步骤S2中输入至机器人指令识别模型的待识别的各模态数据，在不同模态之间的数据为一一对应的关系，若缺失其中一个模态的数据，则将该模态置为无。


6.根据权利要求3所述的一种跨模态识别机器人指令的方法，其特征在于，所述步骤S13中的对所述...

【专利技术属性】
技术研发人员：刘文印，王思涵，陈俊洪，林大润，朱展模，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：广东;44