一种基于姿态识别的服务型机器人制造技术

本发明专利技术为一款基于姿态识别的服务型机器人，包括：体感摄像头、控制模块、语音语义处理模块和导航避障模块；其中，体感摄像头负责人体骨骼点的检测和定位；控制模块进行姿态的判别，并分发给语音语义处理模块和导航避障模块；语音语义处理模块根据人体的动作，进行人机交互；导航避障模块进行机器人到目的地的路线规划。本发明专利技术利用体感摄像头，进行人体关节点的定位，并利用节点夹角提取向量，进行不同姿态的判别；控制模块根据不同姿态发送不同信息到语音语义处理模块或则导航避障模块，控制机器人的不同动作。本发明专利技术大大增加了机器人的交互性，使与机器人的交互更有趣。

A service robot based on gesture recognition

The invention relates to a service-type robot based on attitude recognition, which comprises a somatosensory camera, a control module, a speech semantic processing module and a navigation obstacle avoidance module, wherein the somatosensory camera is responsible for the detection and location of human skeleton points, and a control module is used for the attitude discrimination, and is distributed to a speech semantic processing module and a navigation module. Obstacle avoidance module; Speech semantic processing module carries out human-computer interaction according to human action; Navigation obstacle avoidance module carries out robot route planning to the destination. The invention uses a somatosensory camera to locate human joints and extracts vectors by the angle between nodes to distinguish different postures; the control module sends different information to the speech semantic processing module or the navigation obstacle avoidance module according to different postures to control different actions of the robot. The invention greatly increases the interactivity of the robot and makes the interaction with the robot more interesting.

【技术实现步骤摘要】
一种基于姿态识别的服务型机器人
本专利技术属于服务型机器人
，尤其涉及一种基于姿态识别的服务型机器人。
技术介绍
目前服务型机器人大都是基于语音语义，进行交互处理的。而基于语音语义交互的机器人，对环境的要求比较高，在嘈杂的环境下，不知道拾取那个语音，存在乱拾音的现象。该专利技术为了对基于语音语音交互的机器人进行改进，增加对人体姿态的识别，补充现有机器人的不足之处，增强机器人的交互能力。
技术实现思路
本专利技术的目的是加强人机交互，增加机器人的趣味性，扩大机器人的使用人群，提出了一种基于姿态识别的服务型机器人，包括：体感摄像头、控制模块、语音语义处理模块和导航避障模块。其中，所述体感摄像头为Kinect体感摄像头，包括红外深度图像摄像头，与控制模块相连；体感摄像头实时的进行人体检测，并进行人体骨骼点的检测和定位。所述控制模块与体感摄像头和语音语义处理模块、导航避障模块和体感摄像头连接。做为整个系统的枢纽，控制模块通过获取体感摄像头检测的人体骨骼点，进行人体姿态的识别，对语音语义处理模块和导航避障模块进行控制。所述语音语义处理模块与控制模块相连。控制模块识别出客户的人体姿态后，发消息到语音语义处理模块。语音语义处理模块接收到控制模块的不同消息，进行相应的处理，并进行相应的回答。所述导航避障模块与控制模块相连，控制模块识别出客户的人体姿态后，发送消息到导航避障模块。导航避障模块通过解析不同的消息，进行相应的处理。例如是否有目的地，是否有跳舞等词语。本专利技术提出的基于姿态识别的服务型机器人中，所述体感摄像头负责人体骨骼点的检测和定位；所述控制模块进行姿态的判别，并分别发送给所述语音语义处理模块和所述导航控制模块；所述语音语义处理模块根据人体的动作，进行人机交互；所述导航避障模块进行机器人到目的地的路线规划。本专利技术提出的基于姿态识别的服务型机器人中，所述体感摄像头不断进行图像捕获，当检测到人体骨骼时，所述体感摄像头定位人体的一定数目的关节点；关节点坐标系以所述体感摄像头的红外深度图像摄像头为原点，X轴指向体感摄像头的左方，Y轴指向体感摄像头的上方，Z轴指向体感摄像头的前方。从所述关节点中提取一定数目的角度，进行简单的人体姿态识别。优选地，本专利技术提出的基于姿态识别的服务型机器人中，所述体感摄像头不断进行图像捕获，当检测到人体骨骼时，所述体感摄像头定位人体的20个关节点；关节点坐标系以所述体感摄像头的红外深度图像摄像头为原点，X轴指向体感摄像头的左方，Y轴指向体感摄像头的上方，Z轴指向体感摄像头的前方。从20个关节点中提取23个角度，进行简单的人体姿态识别，23个角度信息足够表示人体的各个姿态。本专利技术提出的基于姿态识别的服务型机器人中，所述角度的计算应用余弦定理，如图1所示，利用下式求θ的角度：cosθ＝(a2+b2-c2)/2ab。本专利技术提出的基于姿态识别的服务型机器人中，所述控制模块进行姿态的判别包括：当判断姿态时，取出每个姿态相关的节点，进行夹角和相关节点距离是否在阈值范围内，如果满足条件，则视为有效姿态，将希望满足的角度记做Angle,Threshold为角度阈值，视为角度变化的阈值记为ChangeThreshold，变化的次数为ChangeCnt，判断的权重记为Weight；则此条件记为：Condition＝{Angle，Threshold,ChangeThreshold,ChangeCnt，Weight}；右手召唤姿态可以判断angl或ang2的角度是否在90度范围内，判断角度变化是否大于10度，如果变化角度大于10度，则ChangeCnt加1，如果ChangeCnt大于3次，控制模块就会向语音语义处理模块，发送右手召唤姿态消息，语音语义处理模块就会进行相应的处理，Weight这一动作的确认度，这里确认为是右手召唤姿态，所以权重为1。则上述条件记为：Condition＝{ang1,90,10,3,1}。不同的姿态设有不同的标志位，本专利技术提出的基于姿态识别的服务型机器人中，所述语音语义处理模块根据标志位给出不同的问答；如果判断为召唤姿态，所述语音语义处理模块则会发出语音并随着人移动。本专利技术突出改进是利用姿态识别，去控制语音语义处理模块和导航避障模块，填补了现有只利用基于语音处理的机器人，对环境的要求。导航避障模块，根据控制模块给出的目的地的响应，以最短路径导航到目的地。导航避障模块利用Kinect体感摄像头获得的深度图像信息，对场景进行建模，实时的生成场景信息；通过生成的场景信息进行最短路径优化，对机器人路径进行实时的更新；另一方面，机器人的避障也是利用Kinect体感摄像头提供的深度信息，进行有效得避障。本专利技术的有益效果在于，本专利技术基于姿态识别的服务型机器人，利用Kinect体感摄像头，进行人体关节点的定位，并利用节点夹角提取向量，进行不同姿态的判别；控制模块根据不同姿态发送不同信息到语音语义处理模块或则导航避障模块，控制机器人的不同动作。本专利技术通过对人体的姿态识别，降低了基于语音交互的机器人对环境的要求，大大增加了机器人的交互性，增加了机器人的趣味交互性，消除了机器人的应用群体的局限性。附图说明图1为余弦定理示意图。图2为本专利技术基于姿态识别的服务型机器人的示意图。图3为关节点示意图。图4是本专利技术姿态识别的服务型机器人的流程示意图。具体实施方式结合以下具体实施例和附图，对本专利技术作进一步的详细说明。实施本专利技术的过程、条件、实验方法等，除以下专门提及的内容之外，均为本领域的普遍知识和公知常识，本专利技术没有特别限制内容。如图2所示，本专利技术提出了一种姿态识别机器人，包括Kinect体感摄像头、控制模块、语音语义处理模块和导航避障模块。Kinect体感摄像头负责人体骨骼点的检测和定位；控制模块进行姿态的判别，并分别发送给语音语义处理模块和导航避障模块；语音语义处理模块根据人体的动作，进行人机交互；导航避障模块主要是进行机器人到目的地的路线规划。Kinect体感摄像头不断进行图像捕获，当检测到人体骨骼时，Kinect体感摄像头定位人体的20个关节点，分别标记为“A”到“T”，如图3。关节点坐标系以Kinect体感摄像头的红外深度图像摄像头为原点，X轴指向Kinect体感摄像头的左方，Y轴指向Kinect体感摄像头的上方，Z轴指向kinect体感摄像头的前方。从20个关节点中提取23个角度，进行简单的人体姿态识别。角度的计算应用余弦定理。控制模块对姿态的判别，包括以下步骤：当判断姿态时，取出每个姿态相关的节点，进行夹角和相关节点距离是否在一定的阈值范围内，如果满足条件，则视为有效姿态。将希望满足的角度记做Angle,Threshold为角度阈值，视为角度变化的阈值记为ChangeThreshold，变化的次数为ChangeCnt，判断的权重记为Weight。则此条件可以简单记为：Condition＝{Angle，Threshold,ChangeThreshold,ChangeCnt，Weight}。右手召唤这个姿态，可以判断angl或ang2的角度是否90度范围内，角度变化是否大于10度，如果变化角度大于10度，则ChangeCnt加1，如果ChangeCnt大于3次，则上述条件记为：Condition＝{ang1本文档来自技高网...

【技术保护点】
1.一种基于姿态识别的服务型机器人，其特征在于，包括：体感摄像头、控制模块、语音语义处理模块和导航避障模块；其中，所述体感摄像头包括红外深度图像摄像头，其与所述控制模块相连，实时的进行人体检测，并进行人体骨骼点的检测和定位；所述控制模块与所述体感摄像头、所述语音语义处理模块和所述导航避障模块连接；所述控制模块通过获取所述体感摄像头检测的人体骨骼点，进行人体姿态的识别，对所述语音语义处理模块和所述导航避障模块进行控制；所述语音语义处理模块与所述控制模块相连；所述控制模块识别出客户的人体姿态后，发消息到所述语音语义处理模块；所述语音语义处理模块接收到所述控制模块的不同消息，进行相应的处理，并进行相应的回答，实现人机交互；所述导航避障模块与控制模块相连；所述控制模块识别出客户的人体姿态后，发送消息到所述导航避障模块进行机器人到目的地的路线规划；所述导航避障模块通过解析不同的消息，进行相应的处理。

【技术特征摘要】
1.一种基于姿态识别的服务型机器人，其特征在于，包括：体感摄像头、控制模块、语音语义处理模块和导航避障模块；其中，所述体感摄像头包括红外深度图像摄像头，其与所述控制模块相连，实时的进行人体检测，并进行人体骨骼点的检测和定位；所述控制模块与所述体感摄像头、所述语音语义处理模块和所述导航避障模块连接；所述控制模块通过获取所述体感摄像头检测的人体骨骼点，进行人体姿态的识别，对所述语音语义处理模块和所述导航避障模块进行控制；所述语音语义处理模块与所述控制模块相连；所述控制模块识别出客户的人体姿态后，发消息到所述语音语义处理模块；所述语音语义处理模块接收到所述控制模块的不同消息，进行相应的处理，并进行相应的回答，实现人机交互；所述导航避障模块与控制模块相连；所述控制模块识别出客户的人体姿态后，发送消息到所述导航避障模块进行机器人到目的地的路线规划；所述导航避障模块通过解析不同的消息，进行相应的处理。2.如权利要求1所述的基于姿态识别的服务型机器人，其特征在于，所述体感摄像头不断进行图像捕获，当检测到人体骨骼时，所述体感摄像头定位人体的20个关节点；关节点坐标系以所述体感摄像头的红外深度图像摄像头为原点，X轴指向体感摄像头的左边，Y轴指向体感摄像头的上边，Z轴指向体感摄像头的前方；从20个关节点中提取23个角度，进行简单的人体姿态识别。3....

【专利技术属性】
技术研发人员：聂桂芝，
申请(专利权)人：上海方立数码科技有限公司，
类型：发明
国别省市：上海,31