基于动态强化指令攻击模块的视觉语言导航系统及方法技术方案

本发明专利技术公开了一种基于动态强化指令攻击模块的视觉语言导航系统及方法，所述系统包括：动态强化指令攻击器，计算出输入指令的候选替代词，给出相应目标词的攻击分数之后产生扰动的指令；基于编码器解码器结构的视觉语言导航器根据输入的指令和图像信息完成导航任务；优化学习模块利用对抗强化学习的方式迭代优化导航器和攻击器，用自监督的方式提高导航器的多模态学习能力。本发明专利技术地有益效果是提高了导航器在环境中导航的鲁棒性。了导航器在环境中导航的鲁棒性。了导航器在环境中导航的鲁棒性。

【技术实现步骤摘要】
基于动态强化指令攻击模块的视觉语言导航系统及方法


[0001]本专利技术涉及视觉语言导航领域，特别是涉及一种基于动态强化指令攻击模块的视觉语言导航系统及方法。

技术介绍

[0002]基于自然语言的视觉导航任务，在现实世界的机器人应用中显示出巨大的潜力，并吸引了越来越多的兴趣。为了实现成功的导航，导航器需要根据动态视觉观察从长指令中提取关键信息，例如视觉对象、特定房间或导航方向，以便在每个时间指导导航。然而，由于自然语言的复杂性和语义模糊性，导航人员很难通过有限的人工注释指令路径数据的训练来有效地学习跨模态对齐和从指令中捕获精确的语义意图。
[0003]以往的工作主要采用数据增强策略来解决导航任务中的数据稀缺问题。Ronghang Hu等人提出了一个Speaker
‑
Follower框架，在随机采样路径中生成扩充指令。然而，产生大量的整个指令是高成本的，可能不能强调最具指导性的信息。其他有些工作更多地关注于创建具有挑战性的扩充路径和不同的视觉场景，而通过直接用Speaker
‑
Follower模型生成扩本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于动态强化指令攻击模块的视觉语言导航系统，其特征在于，包括：动态强化指令攻击器(10)、视觉语言导航模块(11)和优化学习模块(12)；所述动态强化指令攻击器(10)，在起点的时候，攻击器获取一段文本，该文本是对轨迹一步步进行描述的指令。在每个时刻t，通过考虑当前指令中的单词重要性和不同候选词的替换影响，动态强化指令攻击器(10)计算动作预测概率，也称为攻击分数，根据最大概率，对指令中的目标词进行相应的替换，最后输出攻击后的指令，即具有扰动信息的指令。所述视觉语言导航模块(11)，基于编码器解码器结构的导航器，在不同的时刻t会接收到动态强化指令攻击器(10)输出的具有扰动信息的指令和当前时刻的全景图像输入，根据这些信息，完成导航。所述优化学习模块(12)，采用对抗强化学习方式和自监督学习方式对动态强化指令攻击器(10)和视觉语言导航模块(11)进行优化。2.如权利要求1所述的基于动态强化指令攻击模块的视觉语言导航系统，其特征在于，所述动态强化指令攻击器(10)包括候选替代词产生模块(100)、攻击分数预测模块(101)和扰动产生模块(102)；所述候选替代词产生模块(100)，对于每个指令，首先通过每个指令与指令词汇表之间进行字符串匹配来构造每个指令的目标词集。指令词汇表包含指示视觉对象或位置的单词，这些单词从数据集的给定指令词汇表中收集得到；通过在同一指令中选择剩余的目标词，为每个目标词构造候选替代词集。所述攻击分数预测模块(101)，在每个时刻t，对目标词进行计算，然后生成相应的攻击分数。所述攻击分数预测模块(101)，在每个时刻t会和当前位置的全景图像输入进行计算得到，随导航的进程动态更新。所述扰动产生模块(102)，根据攻击分数预测模块(101)计算出来的攻击分数，对指令中的目标词进行相应的替换，然后生成具有扰动信息的指令。3.如权利要求1所述的基于动态强化指令攻击模块的视觉语言导航系统，其特征在于，所述优化学习模块(12)包括对抗强化学习模块(120)和自监督学习模块(121)；所述对抗强化学习模块(120)，利用对抗的强化学习方式，分别迭代优化动态强化指令攻击器(10)和视觉语言导航模块(11)。所述自监督学习模块(121)，利用自监督学习的方式，重新预测出实际攻击的目标词，提高视觉语言导航模块(11)的跨模态的信息理解能力。4.一种应用权利要求1所述系统的视觉语言导航方法，其特征在于，包括如下步骤：步骤S1，动态强化指令攻击器(10)接收对轨迹一步步进行描述的指令，候选词...

【专利技术属性】
技术研发人员：梁小丹，龙衍鑫，林冰倩，宋伟，朱世强，
申请(专利权)人：中山大学，
类型：发明
国别省市：