一种面向助老陪护的人-机器人协同交互方法技术

本发明专利技术提供了一种面向助老陪护的人‑机器人协同交互方法，本发明专利技术通过识别获得所需手势信息、认知目标和语音信息，并通过过滤处理，输出各模态的有效信息，通过基于意图理解的多模态融合算法在意图库的支持下输出意图槽，实现用户意图的准确捕获，并对意图槽和必要的识别结果一起作为输入信息，通过基于认知模型的协同任务决策算法进行处理，在知识库和规则库的支持下，输出子任务执行的决策结果，实现人‑机器人协同工作。本发明专利技术可在降低老人交互负担的前提下，提高老年人和机器人之间的任务完成的绩效，使得老年人对机器人的陪护给予较高的满意度评价。

【技术实现步骤摘要】
一种面向助老陪护的人-机器人协同交互方法
本专利技术涉及机器人
，特别是一种面向助老陪护的人-机器人协同交互方法。
技术介绍
随着全球人口老龄化趋势的发展，丧失生活自理能力的老年人越来越多，同时很多老人逐渐产生了孤独感等心理问题，给家庭和社会造成了严重的负担。在家庭上，子女们需要顾及工作以至于无法尽心尽力的照顾老人。在社会上，老年护理人员的缺乏以及服务质量不高的问题普遍存在，这时，对用于照顾和护理老年人的服务机器人的研究变的十分必要。助老陪护机器人作为服务机器人的一种，是新型的机器人种类。其理想功能最好是不仅可以在生理上帮助老人，还能为老人提供心理上的细心呵护。就目前关于服务型机器人系统的研究来看，为了实现人与机器人的交互，多数学者使用的交互方式较为单一，交互不便且不适合于老人使用。同时，多数系统的交互过程较为生硬，缺少人与机器人的配合，普遍是人的一种行为仅对应机器人的一种操作，完成操作即完成了服务。这些问题使得机器人不能兼顾对老人在生理和心理上的服务。这时，实现老人与机器人之间的协同是必不可少的环节，此处的协同是指老人与机器人为了完成一个目标而共同协作配合。然而，就现有的关于人机协同的研究来看，有些忽略协同策略只谈如何提高意图理解的准确性，有些忽略配合只研究机器人如何提供稳定的协助工作，还有些谈了配合以及人机如何分工，却忽略了分工的灵活性和人对所提供帮助的需要程度。由此可见，现有的对服务型机器人和人机协同系统的研究存在交互上和分工上的问题，在交互上大多研究使用的方式不但影响用户意图的理解，还给老人带来了负担。在分工上多数研究忽略环境的影响，僵硬的分工方式降低目标完成的绩效，也影响了老人对机器人陪护的评价。
技术实现思路
本专利技术的目的是提供一种面向助老陪护的人-机器人协同交互方法，旨在解决现有技术中人-机器人交互不便且不适合老人使用的问题，实现在降低老人交互负担的前提下，提高老年人和机器人之间任务完成的绩效。为达到上述技术目的，本专利技术提供了一种面向助老陪护的人-机器人协同交互方法，所述方法包括以下操作：S1、采集外界环境信息，识别获得手势信息、认知目标和语音信息；S2、对手势信息、认知目标和语音信息进行有效信息过滤，得到视觉信息和听觉信息；S3、通过基于投票表决策略的多模态融合算法对视觉信息和听觉信息进行多模态融合处理，在意图库的支持下，得到最接近意图库中某条意图的结果，输出意图槽；S4、通过基于认知模型的协同任务决策算法对意图槽中的意图进行处理，基于知识库和规则库，得到意图对应的任务，并分解成若干子任务，输出子任务的决策结果。优选地，所述有效信息过滤的过滤条件定义如下：条件C1表示距离阈值不小于人与所有目标物体的距离最小值；条件C2表示存在一种类别使当前手势属于其的概率不小于0.85，该手势识别结果可被作为有效信息与目标信息结合得到的视觉信息；条件C3表示当前手势相对于每一类别的概率都低于0.85，表示手势识别结果无效；条件C4用于判断语音命令是否与词库模板中的关键词匹配。优选地，所述视觉信息的输出结果为rV和pV，计算公式如下：式中，rV和pV分别为编号和相关度，rG为手势的类别编号，pG为对应的相关度，pO为与人手距离最近的目标物体的类别对应的相关度。优选地，所述当match取值为0时表示匹配失败，听觉信息的输出结果rS、pS的值都为0。优选地，所述基于投票表决策略的多模态融合算法具体流程如下：S301、计算rV、rS与的距离，得到dv、ds；S302、定义一个距离度DV、DS，计算公式如下；S303、对DV＝{DiV|i＝1,2,...,t}和DS＝{DiS|i＝1,2,...,t}按从小到大的顺序进行从0开始的排序，得到距离度编码向量DnV＝(n1V,n2V,...,ntV)、DnS＝(n1S,n2S,...,ntS)，由两个单模态的距离度编码向量组成的矩阵D如下；S304、判断输入信息的识别结果与意图库中标准结果的综合距离度Sn；S305、令R等于Sn的最小值，若R小于λ，则将q的值赋值给r，否则r赋值0；S306、计算p：S307、根据r和p的值，查询意图库，给Par、Act、Obj赋值；S308、若Act不为空或者Obj不为空，若Par不等于2，则返回Par,Act,Obj的值，否则机器人发送指令，使其向用户发出语音询问“‘Act-Obj’是否是您的意图”，等待下一个输入信息，并重新开始执行该算法。优选地，所述基于认知模型的协同任务决策算法的具体流程如下：S401、查找知识库，找到与Par、Act、Obj相对应的任务T及其子任务t1,t2,...,tk，并且得到与子任务相对应的任务对象robj1,robj2,...,robjk；S402、若Par为0，则v1为1，转至步骤S406，否则转至步骤S403；S403、若rO不为空，且robjm(m＝1,2,...,k)不为空，且rO与robjm相等，则转至步骤S4，否则将v2赋值1，并转至步骤S406；S404、若存在一个rOOi∈rOO，使rOOi与robjm相等，则转至步骤S405，否则将v3赋值1，并转至步骤S406；S405、若dOOi不大于d，则转至步骤S403，否则将v4赋值1，并转至步骤S406；S406、获得子任务ts对应的S407、计算Fs的值：S408、计算：S409、若语音询问“ts将由机器人执行，是否满意”，根据用户回答改变fs的取值；若语音询问“ts将由用户执行，是否满意”，根据用户回答改变fs的取值。
技术实现思路
中提供的效果仅仅是实施例的效果，而不是专利技术所有的全部效果，上述技术方案中的一个技术方案具有如下优点或有益效果：与现有技术相比，本专利技术通过识别获得所需手势信息、认知目标和语音信息，并通过过滤处理，输出各模态的有效信息，通过基于意图理解的多模态融合算法在意图库的支持下输出意图槽，实现用户意图的准确捕获，并对意图槽和必要的识别结果一起作为输入信息，通过基于认知模型的协同任务决策算法进行处理，在知识库和规则库的支持下，输出子任务执行的决策结果，实现人-机器人协同工作。本专利技术可在降低老人交互负担的前提下，提高老年人和机器人之间的任务完成的绩效，使得老年人对机器人的陪护给予较高的满意度评价。附图说明图1为本专利技术实施例中所提供的一种面向助老陪护的人-机器人协同交互方法流程图；图2为本专利技术实施例中所提供的人-机器人协同交互算法构架示意图。具体实施方式为了能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本专利技术进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本专利技术的不同结构。为了简化本专利技术的公开，下文中对特定例子的部件和设置进行描述本文档来自技高网...

【技术保护点】
1.一种面向助老陪护的人-机器人协同交互方法，其特征在于，所述方法包括以下操作：/nS1、采集外界环境信息，识别获得手势信息、认知目标和语音信息；/nS2、对手势信息、认知目标和语音信息进行有效信息过滤，得到视觉信息和听觉信息；/nS3、通过基于投票表决策略的多模态融合算法对视觉信息和听觉信息进行多模态融合处理，在意图库的支持下，得到最接近意图库中某条意图的结果，输出意图槽；/nS4、通过基于认知模型的协同任务决策算法对意图槽中的意图进行处理，基于知识库和规则库，得到意图对应的任务，并分解成若干子任务，输出子任务的决策结果。/n

【技术特征摘要】
1.一种面向助老陪护的人-机器人协同交互方法，其特征在于，所述方法包括以下操作：
S1、采集外界环境信息，识别获得手势信息、认知目标和语音信息；
S2、对手势信息、认知目标和语音信息进行有效信息过滤，得到视觉信息和听觉信息；
S3、通过基于投票表决策略的多模态融合算法对视觉信息和听觉信息进行多模态融合处理，在意图库的支持下，得到最接近意图库中某条意图的结果，输出意图槽；
S4、通过基于认知模型的协同任务决策算法对意图槽中的意图进行处理，基于知识库和规则库，得到意图对应的任务，并分解成若干子任务，输出子任务的决策结果。


2.根据权利要求1所述的一种面向助老陪护的人-机器人协同交互方法，其特征在于，所述有效信息过滤的过滤条件定义如下：



条件C1表示距离阈值不小于人与所有目标物体的距离最小值；条件C2表示存在一种类别使当前手势属于其的概率不小于0.85，该手势识别结果可被作为有效信息与目标信息结合得到的视觉信息；条件C3表示当前手势相对于每一类别的概率都低于0.85，表示手势识别结果无效；条件C4用于判断语音命令是否与词库模板中的关键词匹配。


3.根据权利要求2所述的一种面向助老陪护的人-机器人协同交互方法，其特征在于，所述视觉信息的输出结果为rV和pV，计算公式如下：



式中，rV和pV分别为编号和相关度，rG为手势的类别编号，pG为对应的相关度，pO为与人手距离最近的目标物体的类别对应的相关度。


4.根据权利要求2所述的一种面向助老陪护的人-机器人协同交互方法，其特征在于，所述当match取值为0时表示匹配失败，听觉信息的输出结果rS、pS的值都为0。


5.根据权利要求1所述的一种面向助老陪护的人-机器人协同交互方法，其特征在于，所述基于投票表决策略的多模态融合算法具体流程如下：
S301、计算rV、rS与的距离，得到dV、dS；



S302、定义一个距离度DV、DS，计算公式如下；



S303、对DV＝{DiV|i＝1,2,...,t}...

【专利技术属性】
技术研发人员：冯志全，孟俊宏，郭庆北，杨晓晖，徐涛，田京兰，范雪，
申请(专利权)人：济南大学，
类型：发明
国别省市：山东;37