一种基于头部姿势识别的智能移动服务机器人控制方法技术

本发明专利技术提供一种基于头部姿势识别的智能移动服务机器人控制方法，该方法利用约束局部模型算法检测脸部特征点，再利用脸部特征点的几何关系估计当前头部姿态，从而使患者能够用头部来控制智能移动服务机器人的运动。其具体实现包括如下步骤：训练头部姿态样本得到脸部特征点形状模板和特征点的局部模板；利用Ki nect采集头部图像并找到脸部位置；通过约束局部模型算法检测脸部特征点；利用检测到的特征点估计当前头部姿态；再根据不同的头部姿态参数给移动服务机器人发出不同的控制命令。利用本发明专利技术的方法，使得残障人士也可以利用头部稳定地控制智能移动服务机器人，方便了他们的出行。

【技术实现步骤摘要】

本专利技术涉及机器视觉控制领域，具体涉及一种基于头部姿势识别的智能移动服务机器人控制方法，应用于智能移动服务机器人交互系统上，适于在智能移动服务机器人交互系统上实现基于局部约束模型(CLM)的头部姿势实时估算并基于此来实现对智能移动服务机器人的控制。
技术介绍
随着社会的发展，人口老龄化问题已经成为发达国家和部分发展中国家共同面对的挑战，预测显示，从2015～2035年的20年时间，中国老年人口比例将会增加一倍，达到20％，其中不乏由于疾病导致活动不便的老人，加上由于各种灾难事故造成的各种行动不便的残障人士的数量也在逐渐增加，尤其是高位截瘫和手臂残疾的人士，他们中一部分的出行活动受到了极大的制约。为了出行的便利以提高他们的生活质量，近年来，便利的出行代步工具成为了社会和研究机构关注的热点，其中智能服务机器人更成为了其中的热点研究对象。智能轮椅作为一种具有代表性的智能移动服务机器人，具有摇杆控制，肢体控制，导航，避障，康复等功能。其中摇杆控制拥有良好的控制性能，但对于双手残疾或高位截瘫导致双手无法运动的人来说，摇杆控制以及部分肢体控制例如手势控制等方法受到了很大的制约，因此，头势控制作为一种新型的人机交互方式成为了近年来研究的热点。当前已有的识别头姿的方法有：1、佩戴运动传感器方法，此类方法通过在测试对象头部安装加速度计和陀螺仪传感器，通过接收传感器运动数据判断头姿，此类方法精度高，但需要佩戴装置，用户体验较差。2、LED标定方法，通过佩戴有一定数量LED的头套，利用摄像头捕捉头套图像，再根据LED的位置判断当前的位置，同样，此方法精度高，但仍需佩戴装置。3、机器视觉方法，此方法通过摄像头采集头部图像通过算法判断头姿，是目前的主流方法，与测试对象零接触，用户体验较好，其中现有的手段主要是利用模式识别算法通过图像估计头姿(机器视觉方法)，例如传统的模板匹配算法、主流的随机森林分类器、脸部特征点几何关系方法等，传统的CLM算法单纯利用二维图像，存在对于不同光照条件干扰的问题。
技术实现思路
本专利技术目的在于提供一种基于头部姿势识别的智能移动服务机器人控制，采用基于二维图像和深度图像的CLM方法来估计头部姿态方式，通过局部约束模型算法CLM检测出人脸特征点，再根据检测得到的脸部特征点的几何关系估计头部姿势，进而再对智能移动服务机器人实施控制。本专利技术的上述目的通过独立权利要求的技术特征实现，从属权利要求以另选或有利的方式发展独立权利要求的技术特征。为达成上述目的，本专利技术提出一种基于头部姿势识别的智能移动服务机器人控制方法，以约束局部模型算法为基础，获取头部姿态并控制移动服务机器人，其具体实现包括如下步骤：S1，通过头部姿势样本库构建脸部特征点的形状模板以及特征点的局部特征模板该步骤的目的是对样本库中的彩色图象和深度图像进行PCA降维并对齐，然后进行特征提取和学习得到特征点的形状模板和各个特征点的局部特征模板，并构建对应的SVM，应用于后面的匹配步骤。S2，通过RGBD摄像装置采集包含人脸的二维图像和深度图像并对齐此步骤中利用Kinect采集包含人脸的彩色图像和深度图像，能够同时采集分辨率都为640*480的彩色图像和深度图像，采集速率为每秒30帧。由于Kinect的彩色摄像头和深度摄像头有一定的距离，因此采集到两幅的图像需要校正函数先进行对齐处理。S3，利用Viola-Jones检测器在图像中检测出人脸位置利用此方法在采集到的RGB彩色图像中快速定位脸部的位置，设用一个矩形框包围检测到的脸部，为下面更进一步检测脸部的特征点做好准备。S4，利用CLM算法在检测出的人脸上检测出特征点该步骤中在检测到的脸部位置再进一步的搜索脸部特征点的位置，首先进行脸部特征点的初始估计，再对初始估计的特征点进行更佳位置的估计，迭代直到所有特征点到最佳位置，至此完成脸部特征点的估计。S5，通过检测出的人脸特征点的形状估计头部姿势该步骤中利用上一步中检测到的脸部特征点的形状来估计当前的头部姿势，估计头部的俯仰角，翻滚角，转动角三个角度，将头姿分为：无头姿，左转头，右转头，抬头，低头一共5种头部姿势。S6，通过头部姿势识别结果实现对移动服务机器人的控制此步骤中PC机根据当前的头部姿势发出不同的控制命令给移动服务机器人，5种头姿分别对应的运动状态为：停止，左转，右转，前进，后退。计算机通过识别得到的头部姿势结果通过串口发送不同的命令给DSP控制器，DSP再发送控制命令给电机驱动从而控制智能轮椅的运动。应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的专利技术主题的一部分。另外，所要求保护的主题的所有组合都被视为本公开的专利技术主题的一部分。结合附图从下面的描述中可以更加全面地理解本专利技术教导的前述和其他方面、实施例和特征。本专利技术的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见，或通过根据本专利技术教导的具体实施方式的实践中得知。附图说明附图不意在按比例绘制。在附图中，在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见，在每个图中，并非每个组成部分均被标记。现在，将通过例子并参考附图来描述本专利技术的各个方面的实施例，其中：图1为智能移动服务机器人的结构图以及Kinect摄像头安装位置示意图。图2为智能移动服务机器人控制系统结构图。图3为头部姿态角示意图。图4为基于头部姿势识别的智能移动服务机器人控制方法的流程图。图5为标定脸部特征点的示意图。图6为检测脸部位置示意图。图7为通过特征点估计头部姿势示意图。图8为脸部特征点检测结果和头姿结果。具体实施方式为了更了解本专利技术的
技术实现思路
，特举具体实施例并配合所附图式说明如下。在本公开中参照附图来描述本专利技术的各方面，附图中示出了许多说明的实施例。本公开的实施例不必定意在包括本专利技术的所有方面。应当理解，上面介绍的多种构思和实施例，以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施，这是因为本专利技术所公开的构思和实施例并不限于任何实施方式。另外，本专利技术公开的一些方面可以单独使用，或者与本专利技术公开的其他方面的任何适当组合来使用。图1为智能移动服务机器人的结构图，智能移动服务机器人100具有一个主体以及设置在主体上的本文档来自技高网...

【技术保护点】
一种基于头部姿势识别的智能移动服务机器人控制方法，其特征在于，该方法以约束局部模型算法为基础，获取头部姿态并控制移动服务机器人，其具体实现包括如下步骤：步骤1、通过头部姿势样本库构建脸部特征点的形状模板以及特征点的局部特征模板；步骤2、通过RGBD摄像装置采集包含人脸的二维图像和深度图像并对齐；步骤3、在图像中检测出人脸位置；步骤4、利用CLM算法在人脸上检测出特征点；步骤5、通过检测出的人脸特征点的形状估计头部姿势；步骤6、通过头部姿势识别结果实现对移动服务机器人的控制。

【技术特征摘要】
1.一种基于头部姿势识别的智能移动服务机器人控制方法，其特征在于，
该方法以约束局部模型算法为基础，获取头部姿态并控制移动服务机器人，其
具体实现包括如下步骤：
步骤1、通过头部姿势样本库构建脸部特征点的形状模板以及特征点的局部
特征模板；
步骤2、通过RGBD摄像装置采集包含人脸的二维图像和深度图像并对齐；
步骤3、在图像中检测出人脸位置；
步骤4、利用CLM算法在人脸上检测出特征点；
步骤5、通过检测出的人脸特征点的形状估计头部姿势；
步骤6、通过头部姿势识别结果实现对移动服务机器人的控制。
2.根据权利要求1所述的基于头部姿势识别的智能移动服务机器人控制方
法，其特征在于，前述步骤1中，分别构建脸部特征点的形状模板和各个特征
点的局部特征模板，具体包含如下步骤：
(1)构建特征点形状的样本集，进行Procrustes分析消除位移，旋转，缩
放的影响，进行PCA降维处理；
(2)对每个特征点，利用对应的图像块...

【专利技术属性】
技术研发人员：徐国政，吕呈，朱博，高翔，陈盛，王强，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏;32