【技术实现步骤摘要】
本专利技术涉及人工智能，尤其涉及一种基于场景模糊感知与推理的问答方法、装置、设备及存储介质。
技术介绍
1、随着智能机器人技术的快速发展，机器人在复杂环境中的感知与认知能力逐渐成为研究的重点。目前，机器人感知技术主要包括：一是基于人为设定规则的方法，主要针对特定任务进行环境信息提取；二是基于强化学习的深度学习方法，通过奖励机制优化了机器人在执行特定任务时的环境适应性；三是基于大语言模型的感知方法，通过大语言模型的强大推理能力，使得机器人具备任务和环境的泛化性。
2、然而，现有的规则和深度学习方法难以应对开放环境和多变任务，而大语言模型虽然具备一定的环境泛化性和任务泛化性，但其过于依赖大模型自身的推理能力，而缺少对环境的认知水平，在执行任务时大模型很容易产生与所处场景无关的感知路径，导致感知效率低下。
技术实现思路
1、为解决以上技术问题，本专利技术提供了一种基于场景模糊感知与推理的问答方法、装置、设备及存储介质，增强了机器人在执行感知任务时的推理与联想能力，实现了更高效准确的场景感知，适用于开放环境复杂任务。
2、本专利技术实施例提供了一种基于场景模糊感知与推理的问答方法，包括：
3、获取场景的若干图片帧，并对所述图片帧进行模糊感知，得到所述图片帧的关键元素；所述关键元素包括目标对象的外观属性与空间位置；
4、基于预设的推理联想知识库，对所述关键元素进行推理与联想，得到所述图片帧的派生元素；所述派生元素包括目标对象的功用属性，以及与该
5、根据若干所述图片帧的所述关键元素和所述派生元素，得到动态场景认知；
6、获取与场景相关的问题，对所述问题进行解析，得到结构化的问题表达；
7、基于所述动态场景认知与所述结构化的问题表达，采用大语言模型生成所述问题的回答；
8、判断所述回答是否满足问题需求；若是，则输出当前回答；若否，则根据所述问题与所述动态场景认知，确定所述问题的最优感知路径，并基于所述最优感知路径更新动态场景认知与所述问题的回答，直至更新后的回答满足问题需求，输出当前回答。
9、作为上述方案的改进，所述预设的推理联想知识库的构建方法包括：
10、获取通用场景知识；
11、基于所述通用场景知识，采用大语言模型进行推理与联想，分别构建推理知识库与联想知识库；所述推理知识库包括场景中各对象的功用属性；所述联想知识库包括场景中的强关联对象集合与弱关联对象集合；
12、将所述推理知识库与所述联想知识库聚合，得到推理联想知识库。
13、作为上述方案的改进，所述获取场景的若干图片帧，并对所述图片帧进行模糊感知，得到所述图片帧的关键元素，包括：
14、获取智能体在场景中移动时观测到的若干图片帧；
15、采用多模态视觉语言模型，提取所述图片帧的语义信息；
16、基于所述语义信息，得到所述图片帧的关键元素。
17、作为上述方案的改进，所述根据若干所述图片帧的所述关键元素和所述派生元素，得到动态场景认知，包括：
18、对于每一所述图片帧，根据该图片帧的关键元素与派生元素，得到该图片帧的场景知识子图；
19、根据所述图片帧中的关键元素，对齐不同所述图片帧中的目标对象，以对若干所述图片帧的场景知识子图进行时空聚合，得到层级化的动态场景认知。
20、作为上述方案的改进，所述对所述问题进行解析，得到结构化的问题表达，包括：
21、基于大语言模型，对所述问题进行意图解析，得到所述问题对应的语义特征，所述语义特征包括：本质性、基本需求、潜在需求以及深层含义；
22、根据所述问题对应的语义特征，生成结构化的问题表达。
23、作为上述方案的改进，所述判断所述回答是否满足问题需求，包括：
24、根据所述问题与所述回答，计算所述回答的解决度得分；
25、若所述解决度得分小于预设阈值，则判定所述回答不满足问题需求；
26、若所述解决度得分不小于预设阈值，则判定所述回答满足问题需求。
27、作为上述方案的改进，所述根据所述问题与所述动态场景认知，确定所述问题的最优感知路径，并基于所述最优感知路径更新动态场景认知与所述问题的回答，包括：
28、根据所述问题与所述动态场景认知，采用大语言模型生成所述问题的最优感知路径；所述最优感知路径包括时间维度、空间维度与语义维度的数据；
29、获取智能体根据所述最优感知路径移动时观测到的若干图片帧，并确定每一图片帧中的关键元素与派生元素，以得到每一图片帧的场景知识子图；
30、根据所述关键元素，对所述最优感知路径对应的若干图片帧的场景知识子图进行时空聚合，得到所述最优感知路径对应的场景认知；
31、将所述最优感知路径对应的场景认知更新到所述动态场景认知中，得到更新后的动态场景认知；
32、基于所述问题表达与所述更新后的动态场景认知，确定所述问题的回答。
33、本专利技术实施例还提供了一种基于场景模糊感知与推理的问答装置，包括：
34、模糊感知模块，用于获取场景的若干图片帧，并对所述图片帧进行模糊感知，得到所述图片帧的关键元素；所述关键元素包括目标对象的外观属性与空间位置；
35、推理联想模块，用于基于预设的推理联想知识库，对所述关键元素进行推理与联想，得到所述图片帧的派生元素；所述派生元素包括目标对象的功用属性，以及与该目标对象有关联的对象；
36、动态场景认知模块，用于根据若干所述图片帧的所述关键元素和所述派生元素，得到动态场景认知；
37、问题解析模块，用于获取与场景相关的问题，对所述问题进行解析，得到结构化的问题表达；
38、回答生成模块，用于基于所述动态场景认知与所述结构化的问题表达，采用大语言模型生成所述问题的回答；
39、场景认知更新模块，用于判断所述回答是否满足问题需求；若是，则输出当前回答；若否，则根据所述问题与所述动态场景认知，确定所述问题的最优感知路径，并基于所述最优感知路径更新动态场景认知与所述问题的回答，直至更新后的回答满足问题需求，输出当前回答。
40、本专利技术实施例还提供了一种计算机设备，包括处理器和存储器，所述存储器中存储有计算机程序，且所述计算机程序被配置为由所述处理器执行，所述处理器执行所述计算机程序时实现上述任一项所述的基于场景模糊感知与推理的问答方法。
41、本专利技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述任一项所述的基于场景模糊感知与推理的问答方法。
42、相对于现有技术，本专利技术实施例提供的一种基于场景模糊感知与推理的问答方法、装置、设备及存储介质的有益效果在于：通过对图片帧本文档来自技高网...
【技术保护点】
1.一种基于场景模糊感知与推理的问答方法，其特征在于，包括：
2.如权利要求1所述的基于场景模糊感知与推理的问答方法，其特征在于，所述预设的推理联想知识库的构建方法包括：
3.如权利要求1所述的基于场景模糊感知与推理的问答方法，其特征在于，所述获取场景的若干图片帧，并对所述图片帧进行模糊感知，得到所述图片帧的关键元素，包括：
4.如权利要求3所述的基于场景模糊感知与推理的问答方法，其特征在于，所述根据若干所述图片帧的所述关键元素和所述派生元素，得到动态场景认知，包括：
5.如权利要求1所述的基于场景模糊感知与推理的问答方法，其特征在于，所述对所述问题进行解析，得到结构化的问题表达，包括：
6.如权利要求1所述的基于场景模糊感知与推理的问答方法，其特征在于，所述判断所述回答是否满足问题需求，包括：
7.如权利要求1所述的基于场景模糊感知与推理的问答方法，其特征在于，所述根据所述问题与所述动态场景认知，确定所述问题的最优感知路径，并基于所述最优感知路径更新动态场景认知与所述问题的回答，包括：
8.一种
9.一种计算机设备，其特征在于，包括处理器和存储器，所述存储器中存储有计算机程序，且所述计算机程序被配置为由所述处理器执行，所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的基于场景模糊感知与推理的问答方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，其中，所述计算机可读存储介质所在设备执行所述计算机程序时，实现如权利要求1至7中任意一项所述的基于场景模糊感知与推理的问答方法。
...【技术特征摘要】
1.一种基于场景模糊感知与推理的问答方法，其特征在于，包括：
2.如权利要求1所述的基于场景模糊感知与推理的问答方法，其特征在于，所述预设的推理联想知识库的构建方法包括：
3.如权利要求1所述的基于场景模糊感知与推理的问答方法，其特征在于，所述获取场景的若干图片帧，并对所述图片帧进行模糊感知，得到所述图片帧的关键元素，包括：
4.如权利要求3所述的基于场景模糊感知与推理的问答方法，其特征在于，所述根据若干所述图片帧的所述关键元素和所述派生元素，得到动态场景认知，包括：
5.如权利要求1所述的基于场景模糊感知与推理的问答方法，其特征在于，所述对所述问题进行解析，得到结构化的问题表达，包括：
6.如权利要求1所述的基于场景模糊感知与推理的问答方法，其特征在于，所述判断所述回答是否满足问题需...
【专利技术属性】
技术研发人员：谢雪梅，刘秀坤，刘佳宜，
申请(专利权)人：西安电子科技大学广州研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。