【技术实现步骤摘要】
本公开涉及使用人工智能的问答，并且特别地涉及用于利用常识知识具体实施的多模式人工智能问答和对话的系统和方法。
技术介绍
1、对所有形式的人工智能来说，泛化到看不见的环境仍然是一个挑战。这对具体实施的移动操纵代理(例如，包括被配置成使用各种机器学习模型的人工智能引擎的机器人)尤其如此，所述代理可以包括具有必须与环境交互(例如，导航环境、操纵对象、与其他代理通信等)以理解该环境的上下文、关于该环境进行推理并从该环境进行学习的物理实施例的实体。当代理经验的大量经验(例如，在模型训练或策略优化期间)已仅由几个地理空间场景、有限的一组对象或非常简单的对话和/或问答交互组成时，模型倾向于过拟合到这些训练分布。
2、通常，当机器学习模型可以成功地将性能最大化(例如，只要机器学习模型仍然在这个训练域内)时，机器学习模型在被放置在新的地理空间场景中时(例如，在机器学习模型必须与机器学习模型不知道与之相关联的特性/属性所针对的新对象交互或对所述新对象定位时，和/或在向机器学习模型呈现有噪声指令或具有新语法结构的问题时)可能变得困惑。这样的代理通常不能够仅仅使用经验和模式匹配策略就泛化到这些看不见的上下文。
技术实现思路
1、公开的实施例的一个方面包括一种用于使用人工智能的多模式问答的方法。所述方法包括在第一机器学习模型处：接收输入对话，所述输入对话包括对应于至少一个问题的文本串；使用至少一个功能图从所述文本串提取至少一个关键词；基于输入状态表示和所述至少一个关键词来生成至少一个动作预测；向
2、公开的实施例的另一方面包括一种用于使用人工智能的多模式问答的系统。所述系统包括处理器和存储器。所述存储器包括指令，当由处理器执行时，所述指令使所述处理器使用第一机器学习模型来：接收输入对话，所述输入对话包括对应于至少一个问题的文本串；使用至少一个功能图来从所述文本串提取至少一个关键词；基于输入状态表示和所述至少一个关键词来生成至少一个动作预测；向第二机器学习模型提供与所述至少一个问题相关联的一个或多个子问题；基于响应于所述一个或多个子问题而接收的一个或多个答案来生成至少一个子目标；基于所述至少一个子目标来遍历与所述第一机器学习模型相关联的环境；接收与所述环境相关联的一个或多个图像；以及使用所述一个或多个图像来预测所述至少一个问题的答案。
3、公开的实施例的另一方面包括自主装置。所述自主装置包括处理器和存储器。所述存储器包括指令，当由处理器执行时，所述指令使所述处理器利用使用第一训练数据初始训练的第一机器学习模型来：接收输入对话，所述输入对话包括对应于至少一个问题的文本串；使用将与一个或多个图像输入相关联的一个或多个图与对应区域和对象标签相关的至少一个功能图来从所述文本串提取至少一个关键词；基于输入状态表示和所述至少一个关键词来生成至少一个动作预测；向第二机器学习模型提供与所述至少一个问题相关联的一个或多个子问题；基于响应于所述一个或多个子问题而接收的一个或多个答案来生成至少一个子目标；基于所述至少一个子目标来遍历与所述第一机器学习模型相关联的环境；接收与所述环境相关联的一个或多个图像；使用所述一个或多个图像来预测所述至少一个问题的答案；响应于在输出机构处提供所述至少一个问题的答案来接收与所述至少一个问题的答案相关联的反馈；以及使用第二训练数据来训练所述第一机器学习模型，所述第二训练数据基于所述第一训练数据和至少与所述至少一个问题的答案相关联的反馈。
本文档来自技高网...【技术保护点】
1.一种用于使用人工智能的多模式问答的方法，所述方法包括在第一机器学习模型处：
2.根据权利要求1所述的方法，其中所述至少一个功能图对应于神经功能近似器。
3.根据权利要求1所述的方法，其中所述至少一个功能图将与一个或多个图像输入相关联的一个或多个图与对应的区域和对象标签相关。
4.根据权利要求3所述的方法，其中所述一个或多个图像输入包括红绿蓝输入、深度信息输入和语义分割输入中的一个或多个。
5.根据权利要求1所述的方法，其中基于所述至少一个子目标遍历与所述第一机器学习模型相关联的环境还基于至少一个下游情景奖励。
6.根据权利要求1所述的方法，其中所述输出机构包括视觉输出机构和音频输出机构中的至少一个，并且其中所述至少一个输入机构包括扩音器和键盘中的至少一个。
7.根据权利要求1所述的方法，还包括在相关联的存储器中至少存储所述文本串、所述至少一个问题的答案和所述至少一个子目标。
8.根据权利要求1所述的方法，还包括响应于在所述输出机构处提供所述至少一个问题的答案而接收反馈。
9.根据权
10.根据权利要求1所述的方法，其中所述第一机器学习模型与至少部分自主的机器人相关联。
11.一种用于使用人工智能的多模式问答的系统，所述系统包括：
12.根据权利要求11所述的系统，其中所述至少一个功能图对应于神经功能近似器。
13.根据权利要求11所述的系统，其中所述至少一个功能图将与一个或多个图像输入相关联的一个或多个图与对应的区域和对象标签相关。
14.根据权利要求13所述的系统，其中所述一个或多个图像输入包括红绿蓝输入、深度信息输入和语义分割输入中的一个或多个。
15.根据权利要求11所述的系统，其中基于所述至少一个子目标遍历与所述第一机器学习模型相关联的环境还基于至少一个下游情景奖励。
16.根据权利要求11所述的系统，其中所述指令还使所述处理器在相关联的存储器中至少存储所述文本串、所述至少一个问题的答案和所述至少一个子目标。
17.根据权利要求11所述的系统，其中所述指令还使所述处理器响应于在输出机构处提供所述至少一个问题的答案而接收反馈。
18.根据权利要求17所述的系统，其中所述指令还使所述处理器基于所述反馈来训练所述第一机器学习模型。
19.根据权利要求11所述的系统，其中所述第一机器学习模型与至少部分自主的机器人相关联。
20.一种自主装置，包括：
...【技术特征摘要】
1.一种用于使用人工智能的多模式问答的方法，所述方法包括在第一机器学习模型处：
2.根据权利要求1所述的方法，其中所述至少一个功能图对应于神经功能近似器。
3.根据权利要求1所述的方法，其中所述至少一个功能图将与一个或多个图像输入相关联的一个或多个图与对应的区域和对象标签相关。
4.根据权利要求3所述的方法，其中所述一个或多个图像输入包括红绿蓝输入、深度信息输入和语义分割输入中的一个或多个。
5.根据权利要求1所述的方法，其中基于所述至少一个子目标遍历与所述第一机器学习模型相关联的环境还基于至少一个下游情景奖励。
6.根据权利要求1所述的方法，其中所述输出机构包括视觉输出机构和音频输出机构中的至少一个，并且其中所述至少一个输入机构包括扩音器和键盘中的至少一个。
7.根据权利要求1所述的方法，还包括在相关联的存储器中至少存储所述文本串、所述至少一个问题的答案和所述至少一个子目标。
8.根据权利要求1所述的方法，还包括响应于在所述输出机构处提供所述至少一个问题的答案而接收反馈。
9.根据权利要求8所述的方法，还包括基于所述反馈来训练所述第一机器学习模型。
10.根据权利要求1所述的方法，其中所述第一机器学习模型与至少部分...
【专利技术属性】
技术研发人员：J·弗朗西斯，A·奥尔特拉马里，
申请(专利权)人：罗伯特·博世有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。