一种面向助老陪护的人-机器人协同交互方法技术

本发明专利技术提供了一种面向助老陪护的人‑机器人协同交互方法，本发明专利技术通过识别获得所需手势信息、认知目标和语音信息，并通过过滤处理，输出各模态的有效信息，通过基于意图理解的多模态融合算法在意图库的支持下输出意图槽，实现用户意图的准确捕获，并对意图槽和必要的识别结果一起作为输入信息，通过基于认知模型的协同任务决策算法进行处理，在知识库和规则库的支持下，输出子任务执行的决策结果，实现人‑机器人协同工作。本发明专利技术可在降低老人交互负担的前提下，提高老年人和机器人之间的任务完成的绩效，使得老年人对机器人的陪护给予较高的满意度评价。

【技术实现步骤摘要】
一种面向助老陪护的人-机器人协同交互方法
本专利技术涉及机器人
，特别是一种面向助老陪护的人-机器人协同交互方法。
技术介绍
随着全球人口老龄化趋势的发展，丧失生活自理能力的老年人越来越多，同时很多老人逐渐产生了孤独感等心理问题，给家庭和社会造成了严重的负担。在家庭上，子女们需要顾及工作以至于无法尽心尽力的照顾老人。在社会上，老年护理人员的缺乏以及服务质量不高的问题普遍存在，这时，对用于照顾和护理老年人的服务机器人的研究变的十分必要。助老陪护机器人作为服务机器人的一种，是新型的机器人种类。其理想功能最好是不仅可以在生理上帮助老人，还能为老人提供心理上的细心呵护。就目前关于服务型机器人系统的研究来看，为了实现人与机器人的交互，多数学者使用的交互方式较为单一，交互不便且不适合于老人使用。同时，多数系统的交互过程较为生硬，缺少人与机器人的配合，普遍是人的一种行为仅对应机器人的一种操作，完成操作即完成了服务。这些问题使得机器人不能兼顾对老人在生理和心理上的服务。这时，实现老人与机器人之间的协同是必不可少的环节，此处的协同是指老人与机器人为本文档来自技高网...

【技术保护点】
1.一种面向助老陪护的人-机器人协同交互方法，其特征在于，所述方法包括以下操作：/nS1、采集外界环境信息，识别获得手势信息、认知目标和语音信息；/nS2、对手势信息、认知目标和语音信息进行有效信息过滤，得到视觉信息和听觉信息；/nS3、通过基于投票表决策略的多模态融合算法对视觉信息和听觉信息进行多模态融合处理，在意图库的支持下，得到最接近意图库中某条意图的结果，输出意图槽；/nS4、通过基于认知模型的协同任务决策算法对意图槽中的意图进行处理，基于知识库和规则库，得到意图对应的任务，并分解成若干子任务，输出子任务的决策结果。/n

【技术特征摘要】
1.一种面向助老陪护的人-机器人协同交互方法，其特征在于，所述方法包括以下操作：
S1、采集外界环境信息，识别获得手势信息、认知目标和语音信息；
S2、对手势信息、认知目标和语音信息进行有效信息过滤，得到视觉信息和听觉信息；
S3、通过基于投票表决策略的多模态融合算法对视觉信息和听觉信息进行多模态融合处理，在意图库的支持下，得到最接近意图库中某条意图的结果，输出意图槽；
S4、通过基于认知模型的协同任务决策算法对意图槽中的意图进行处理，基于知识库和规则库，得到意图对应的任务，并分解成若干子任务，输出子任务的决策结果。


2.根据权利要求1所述的一种面向助老陪护的人-机器人协同交互方法，其特征在于，所述有效信息过滤的过滤条件定义如下：



条件C1表示距离阈值不小于人与所有目标物体的距离最小值；条件C2表示存在一种类别使当前手势属于其的概率不小于0.85，该手势识别结果可被作为有效信息与目标信息结合得到的视觉信息；条件C3表示当前手势相对于每一类别的概率都低于0.85，表示手势识别结果无效；条件C4用于判断语音命令是否与词库模板中的关键词匹配。


3.根据权利要求2所述的一种面向助老陪护的人-机器人协同交互方法，其特征在于，所述视觉信息的输出结果为rV和pV，计算公式如下：



式中，rV和pV分别为编号和相关度，rG为手势的类别编号，pG为对应的相关度，pO为与人手距离最近的目标物体的类别对应的相关度。


4.根据权利要求2所述的一种面向助老陪护的人-机器人协同交互方法，其特征在于，所述当match取值为0时表示匹配失败，听觉信息的输出结果rS、pS的值都为0。


5.根据权利要求1所述的一种面向助老陪护的人-机器人协同交互方法，其特征在于，所述基于投票表决策略的多模态融合算法具体流程如下：
S301、计算rV、rS与的距离，得到dV、dS；



S302、定义一个距离度DV、DS，计算公式如下；



S303、对DV＝{DiV|i＝1,2,...,t}...

【专利技术属性】
技术研发人员：冯志全，孟俊宏，郭庆北，杨晓晖，徐涛，田京兰，范雪，
申请(专利权)人：济南大学，
类型：发明
国别省市：山东;37