本发明专利技术公开了一种基于手势和语音识别的机器人人机交互方法和装置，属于人机交互和机器人技术领域。所述装置包括传感器模块、手势识别模块、语音识别模块、信息融合模块、信息确认模块、机器人控制模块和应急求救模块。所述方法为，由信息融合模块对手势识别结果和语音识别结果进行融合，得到的最终融合结果发送给信息确认模块或者机器人控制模块，用于实现应急求救和机器人的动作执行。本发明专利技术将手势和语音两个通道结合起来，克服单一通道的不足，更好控制机器人。本发明专利技术可用于远程控制机器人，让机器人代替人类在空间站、危险品处理以及公共安全等领域作业，也可进行人与机器人的面对面直接交互，用于医疗、家庭服务等领域。
【技术实现步骤摘要】
本专利技术属于人机交互和机器人
，具体涉及一种基于手势识别和语音识别的机器人人机交互方法及装置。
技术介绍
我国正迈入老龄化社会，老年人需要照顾，而青壮年需要工作来维持生计，无暇照顾老人。机器人可以充当部分劳动力，如助老幼病残孕等。在此过程中，良好的人机交互起重要作用。人机交互根据不同的研究领域，通常有三种不同描述(参见参考文献[1]：ArvinAgah,Humaninteractionswithintelligentsystems:researchtaxonomy,ComputersandElectricalEngineering,27,2001,pp71-107)。从广义来说，人机交互指人类与机器间的交互(human-machineinteractions，简称HMI)；从计算机领域来说，人机交互指人类与计算机系统间的交互(human-computerinteraction，简称HCI)；从机器人领域来说，人机交互指人类与机器人间的交互(human-robotinteraction，简称HRI)。人机交互依据研究对象的不同，可分为这三种不同描述。三者互相关联，计算机和机器人都是一种特殊机器，所以，可认为HMI包含HCI和HRI；机器人的核心通常是特定的计算机系统，HRI可以使用HCI的方法，也可以独立于HCI。参见参考文献[2]：龚杰民，王献青，人机交互技术的进展与发展趋向.西安电子科技大学学报，1998,25(6):782-786；参考文献[3]：柳克俊，关于人机交互，人机和谐环境的思考.计算机应用,2005,25(10):2226-2227.人机交互经历了初级人机交互阶段、单通道人机交互阶段，现在正向两种或两种以上通道结合的方向发展初级人机交互通常使用简单的遥控器等特定设备实现人机对话，一般为单向，很少有机器人对人的反馈，通常需要人配合机器人才能完成特定任务；单通道人机交互使用单一方式交互技术，如语音、手势、触觉、眼部动作等(参见参考文献[4]：Potamianos,G.,Neti,C.,LuettJ.,etal.,Audio-VisualAutomaticSpeechRecognition:AnOverview.IssuesinVisualandAudio-VisualSpeechProcessing,2004,356-396.参考文献[5]：Pavlovic,V.I.,Sharma,R.,Huang,T.S.,VisualInterpretationofHandGesturesforHuman-ComputerInteraction:AReview.IEEETransactionsonPatternAnalysisandMachineIntelligence,1997,19(7):677-695.参考文献[6]：Benali-Khoudja,M.,Hafez,M.,Alexandre,J.M.,etal.,TactileInterfaces:AState-of-the-ArtSurvey,Citeseer,2004.参考文献[7]：Grauman,K.,Betke,M.,Lombardi,J.,etal.,CommunicationViaEyeBlinksandEyebrowRaises:Video-BasedHuman-ComputerInterfaces.UniversalAccessintheInformationSociety,2003,2(4):359-373.)，这种方式有利于自然人机交互的发展，但各个通道都有自己的优势和缺点，有一定的局限性。为了取长补短，更好利用各通道信息，两种或两种以上通道相结合成为人机交互发展的趋势。如，语音和手势作为日常交互的常用通道，但语音识别，如IBM公司的IBMViaVoice,微软的MicrosoftSpeechSDK,卡内基梅隆大学的CMUPocketSphinx等，识别率在一定程度上受说话者方言、语音、语调、周围环境等的影响；基于视觉的手势识别无需专门训练用户，也不需佩戴专用设备，具有直观、信息量大、自然友好的特点，符合自然的人机交互的要求，是多方式人机交互的核心技术之一，但容易受光照、复杂背景、部分遮挡等的影响。静态手势是常用的一种信息表达方式，且有多种表达形式，但在手势分割和识别过程中需分辨率较高的照片，当人手离摄像头较远时，采集到的人手区域照片的分辨率影响识别效果。六足腿/臂复合式移动机器人可用于空间站、核电站、剧毒生化车间作业、危险品处理以及公共安全防暴等领域，也可用于家庭、医疗服务等领域。六足腿/臂复合式移动机器人不仅可用于远程控制，还可用于与机器人面对面直接交互，如，六足腿/臂复合式移动机器人进行救援时，不仅可以远程控制机器人救援，还可在灾后现场，与机器人面对面直接交互，良好的人机交互有助于机器人更好协助用户完成救援任务。六足腿/臂复合式移动机器人还可用于医疗、家庭服务等领域，如，帮助老幼病残孕；陪儿童玩耍；帮老人、病人、残障人士、孕妇拿药，捡掉在地上的东西；当老人、病人、残障人士、孕妇摔倒，或身体健康的普通人在发生紧急情况时，如被抢劫，用手势或语音求救，系统便会以短信、彩信等方式及时通知家人，以便及时采取恰当措施。
技术实现思路
本专利技术的目的在于提供一种基于手势和语音识别的机器人人机交互方法和装置，将手势和语音两个通道结合起来，克服单一通道的不足，更好控制机器人。本专利技术可用于远程控制机器人，让机器人代替人类在空间站、核电站、剧毒生化车间作业、危险品处理、核电站、剧毒生化车间作业等领域作业，也可进行人与机器人的面对面直接交互，用于医疗、家庭服务等领域。本专利技术提供的装置上安装环境检测传感器，可监测环境，在发生火灾、CH4含量超标或CO含量超标情况下，系统以语音信息、短信、彩信等方式及时通知预定义的特定人。其中，彩信是摄像头在异常情况发生时拍摄的现场照片。本专利技术所指的人机交互是人(用户)与机器人间的交互(HRI)。本专利技术首先提供一种基于手势和语音识别的机器人人机交互方法，所述方法包括如下步骤：第一步，判断是否有交互对象，如果有交互对象，则开启交互模式，转第二步；如果没有交互对象，机器人开启检测模式；第二步，信息输入：手势识别模块和语音识别模块实时进行信息采集，如果采集到信息，则执行第三步，否则执行第五步；第三步，手势识别模块通过RGB-D摄像头采集深度图像信息和RGB图像信息，进行预定义手势的识别，并将手势识别结果发送至信息融合模块；与此同时，语音识别模块通过RGB-D本文档来自技高网...
【技术保护点】
一种基于手势和语音识别的机器人人机交互装置，其特征在于：包括传感器模块、手势识别模块、语音识别模块、信息融合模块、信息确认模块、机器人控制模块和应急求救模块；传感器模块包括RGB‑D摄像头、温湿度传感器、CH4检测传感器和CO检测传感器，所述的RGB‑D摄像头采集的RGB图像信息和深度图像信息发送给手势识别模块或应急求救模块；所述的RGB‑D摄像头具有内置的麦克，麦克采集的语音信息发送给语音识别模块；所述的信息确认模块通过喇叭广播的形式向用户广播应急信息，以便得到用户确认；所述的温湿度传感器、CH4检测传感器和CO检测传感器分别用于采集温湿度、空气中CH4和CO气体浓度，并将采集的数据发送给应急求救模块；手势识别模块根据RGB‑D摄像头采集的RGB图像信息和深度图像信息进行手势识别，得到手势识别结果发送给信息融合模块；语音识别模块将麦克采集的语音信息进行语音识别，得到特定文字信息，作为语音识别结果，并将识别结果发送给信息融合模块；信息融合模块是将手势识别结果和语音识别结果在语义层进行信息融合，生成一个最终融合结果，当最终融合结果是控制信息时，信息融合模块则将控制信息发送给机器人控制模块，控制机器人完成特定任务；当最终融合结果是应急信息时，信息融合模块则发送应急信息给信息确认模块，信息确认模块通过喇叭广播的形式询问用户是否要执行，得到肯定答复或在设定时间内没有应答，信息确认模块向应急求救模块发送应急信息；应急求救模块接收到信息确认模块传来的应急消息后，或传感器模块采集到的温度、CH4含量或CO含量超过一定值时，则应急求救模块向登记的特定人发送语音、短信和彩信求救。...
【技术特征摘要】
1.一种基于手势和语音识别的机器人人机交互装置，其特征在于：包括传感器模块、手势识
别模块、语音识别模块、信息融合模块、信息确认模块、机器人控制模块和应急求救模块；
传感器模块包括RGB-D摄像头、温湿度传感器、CH4检测传感器和CO检测传感器，所述的
RGB-D摄像头采集的RGB图像信息和深度图像信息发送给手势识别模块或应急求救模块；
所述的RGB-D摄像头具有内置的麦克，麦克采集的语音信息发送给语音识别模块；所述的信
息确认模块通过喇叭广播的形式向用户广播应急信息，以便得到用户确认；所述的温湿度传
感器、CH4检测传感器和CO检测传感器分别用于采集温湿度、空气中CH4和CO气体浓度，
并将采集的数据发送给应急求救模块；手势识别模块根据RGB-D摄像头采集的RGB图像信
息和深度图像信息进行手势识别，得到手势识别结果发送给信息融合模块；语音识别模块将
麦克采集的语音信息进行语音识别，得到特定文字信息，作为语音识别结果，并将识别结果
发送给信息融合模块；信息融合模块是将手势识别结果和语音识别结果在语义层进行信息融
合，生成一个最终融合结果，当最终融合结果是控制信息时，信息融合模块则将控制信息发
送给机器人控制模块，控制机器人完成特定任务；当最终融合结果是应急信息时，信息融合
模块则发送应急信息给信息确认模块，信息确认模块通过喇叭广播的形式询问用户是否要执
行，得到肯定答复或在设定时间内没有应答，信息确认模块向应急求救模块发送应急信息；
应急求救模块接收到信息确认模块传来的应急消息后，或传感器模块采集到的温度、CH4含
量或CO含量超过一定值时，则应急求救模块向登记的特定人发送语音、短信和彩信求救。
2.根据权利要求1所述的一种基于手势和语音识别的机器人人机交互装置，其特征在于：所
述的信息融合模块采用决策层信息融合方法。
3.根据权利要求1所述的一种基于手势和语音识别的机器人人机交互装置，其特征在于：所
述的信息融合模块，如果只有手势信息输入，将手势识别结果作为最终融合结果；如果只有
语音信息输入，将语音识别结果作为最终融合结果；如果既有语音信息，又有手势信息输入，
且手势识别结果和语音识别结果不冲突，则信息融合模块将手势和语音的最终融合结果选择
性的发给机器人控制模块或信息确认模...
【专利技术属性】
技术研发人员：丁希仑，齐静，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。