一种多模态意图逆向主动融合的人机协同方法和系统技术方案

本发明专利技术提出了一种多模态意图逆向主动融合的人机协同方法和系统，该方法包括获取用户的模态信息；模态信息包括语音、手势和体态信息；基于模态信息进行意图分析推理出用户的直接意图，直接意图通过推理知识库得到用户的间接意图；从间接意图中分析出可能性最大的意图作为真实意图；通过对真实意图下用户的模态信息进行信任度评价得到可执行意图；分析可执行意图，给用户和机器人分配协同任务。基于该方法，还提出了人机协同系统，本发明专利技术信任度评价方法综合了时间因素、历史因素、单模态信息熵和单模态识别可信度，对用户表达的错误意图进行规避，真正达到了陪护效果。采用了自适应机制，将用户的习惯作为系统决策的因素，提高意图提取准确率。图提取准确率。图提取准确率。

【技术实现步骤摘要】
一种多模态意图逆向主动融合的人机协同方法和系统


[0001]本专利技术属于多模态意图融合
，特别涉及一种多模态意图逆向主动融合的人机协同方法和系统。

技术介绍

[0002]服务型机器人可以为人们带来很大的便利，它们在减少人类社会对服务行业人员需求的同时，给人们带来了更高质量的生活。现在有很多机器人走进了家庭，成为家庭的好帮手。然而，现在很少有服务型机器人考虑到老年人的特点去设计，发展助老陪护机器人有很多挑战。对于一个年轻人来说，去实现自己的想法，是一件相对容易的事，但是，这项任务对于身体各项机能衰退的老年人来说可能是有困难的。例如，年轻人觉得身体不适，他可以自己取出药品按照服用剂量去服用，但是对于老年人来说，因为关节炎等疾病，伸手拿药、提暖瓶等对于他们来说都是十分费力的工作，而且随着年龄的增长，“老花眼”成了老年人的通病，他们无法看清药品的说明书，无法知道药品服用剂量，这使得老人自主生活能力下降。让机器人服务老人的生活，这就需要机器人进行环境识别，这涉及到计算机视觉问题，如目标识别、目标定位和对象姿态估计等。
[0003]另一个挑本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态意图逆向主动融合的人机协同方法，其特征在于，包括以下步骤：获取用户的模态信息；所述模态信息包括语音信息、手势信息和体态信息；基于所述模态信息进行意图分析推理出用户的直接意图，直接意图通过推理知识库得到用户的间接意图；从间接意图中分析出可能性最大的意图作为真实意图；通过对真实意图下用户的模态信息进行信任度评价得到用户的可执行意图；以及分析用户的可执行意图，给用户和机器人分配协同任务。2.根据权利要求1所述的一种多模态意图逆向主动融合的人机协同方法，其特征在于，所述从间接意图中分析出可能性最大的意图作为真实意图的方法为：将间接意图D(a)、D(b)和D(c)进行意图融合得到融合意图集合；所述融合意图结合I(abc)＝D(a)∩D(b)∩D(c)；其中，D(a)为语音信息间接意图；D(b)为手势信息间接意图；D(c)为体态信息间接意图；对融合意图集合进行意图提取；若I(abc)为空集，则重新输入要表达的意图；若I(abc)中有且仅有一个元素，则所述原始为真实意图；若I(abc)中有多个元素，则通过改进后的隐马尔科夫模型提取出可能性最大的意图作为真实意图。3.根据权利要求2所述的一种多模态意图逆向主动融合的人机协同方法，其特征在于，所述通过改进后的隐马尔科夫模型提取出可能性最大的意图作为真实意图的详细过程为：所述通过改进后的隐马尔科夫模型提取出可能性最大的意图作为真实意图的详细过程为：其中，i为第i个融合意图；F(x)为x模态信息的直接意图；x∈(a,b,c)；P
start
(I(abc)[i])为融合意图i在当前时刻下发生的概率；为在当前时间情况下，上一次的决策意图与融合意图i的转换概率；I
ij
为意图i后发生意图j的次数；为意图i后发生所有意图的总次数；为在I(a,b,c)[i]发生的条件下，用户发出F(x)的概率；Y为真实意图。4.根据权利要求3所述的一种多模态意图逆向主动融合的人机协同方法，其特征在于，所述通过对真实意图下用户的模态信息进行信任度评价得到用户的可执行意图信任度评价的计算公式为：CF
x
(Y)＝CF(Y,F(x))*max(0,CF(F(x))),x＝a,b；其中，CF(Y,F(x))的域值控制在[
‑
1,1]；c
x
(Y)为x模态下浅层意图推理出真实意图Y的次数；∑c
x
为x模态下浅层意图推理所有意图次数的总和；P
start
(Y)为真实意图Y在当前时刻下发生的概率；
CF(F(x)的域值控制在[
‑
1,1]；D(x)为x模态信息的间接意图；m为D(x)中的元素；其中，CF
x
...

【专利技术属性】
技术研发人员：冯志全，郎需婕，
申请(专利权)人：济南大学，
类型：发明
国别省市：