一种基于头势识别技术的轮椅控制方法技术

本发明专利技术提出一种基于头势识别技术的轮椅控制方法，属于人工智能技术领域。在轮椅车体上安装图像采集设备、计算及控制单元、支架及电机。当使用轮椅时，图像采集设备实时的采集轮椅使用者的头部图像并传输至计算及控制单元中。计算单元通过对图像进行处理、分析和计算，得到人脸和鼻子的位置信息，并据此判断使用者的头部姿势。根据所获取的头部姿势，由计算及控制单元产生对应的控制命令。最后电机根据得到的控制命令，驱动轮椅运动。本发明专利技术方法通过以非接触式图像感知和检测方法为基础，综合考虑了图像中的人脸姿势和鼻子位置的分布情况，使得头势判断更加准确，有利于对轮椅的控制，具有人机交互友好、便于高度残疾人士使用的优点，附加成本低。

【技术实现步骤摘要】

本专利技术涉及一种基于头势识别技术的轮椅控制方法，属于人工智能

技术介绍
为了提高残疾人的生活自理能力、推动社会文明的发展，在过去20几年中，电动轮椅技术进展迅速。但是，在这些电动轮椅中，使用者还是主要靠操纵杆或按钮来手动控制轮椅的运动，而对于一些严重残疾人士如四肢瘫痪者，这样的轮椅并不能满足要求。近年来，随着计算机性价比不断提高，以及图像处理、模式识别、人工智能等相关领域的飞速发展，使得研制一种让使用者通过头势(即头部姿势)控制轮椅运动的智能系统成为可能。这里的智能，是指轮椅控制系统能够根据使用者的头部图像，经一系列分析计算得到使用者的头势，并通过头势去控制轮椅的运动，而不是通过操纵杆或者按钮进行手动控制。头势检测与识别技术本身属于一种比较新的生物特征识别技术，2000年左右才开始有相关的英文文献发表。早期的研究一般是基于统计人脸识别技术，这种技术容易受到光线的干扰，在用于区分左侧脸和右侧脸时的效果较好，而用于区分上侧脸和下侧脸时效果较差。这样单纯根据人脸来判断头势会带来错误，若将这种技术用于控制轮椅时将会造成严重后果。
技术实现思路
本专利技术的目的是为了解决便于残疾人操纵轮椅的问题，提供一种新的轮椅控制技术，通过在人脸检测的基础上加入对鼻子位置的判断，并综合利用人脸姿势和鼻子位置判断头部姿势，然后根据头部姿势对轮椅进行控制。本专利技术所采用的技术方案如下：一种基于头势识别技术的轮椅控制方法，第一步，在轮椅车体上安装图像采集设备、计算及控制单元、支架及电机。其中，所属图像采集设备通过支架一端固定在正对人脸的位置；支架另一端同车体连接；计算及控制单元分别同图像采集设备、电机相连接；电机安装在轮椅上，并同轮椅的行走机构相连接，用于根据控制单元产生的控制信号，驱动轮椅的运动；第二步，当使用轮椅时，图像采集设备实时的采集轮椅使用者的头部图像并传输至计算及控制单元中。计算单元通过对图像进行处理、分析和计算，得到人脸和鼻子的位置信息，并据此判断使用者的头部姿势。具体过程如下：对所获图像进行正面人脸检测，判断图像中是否为正面脸。如果是，则进一步检测鼻子的位置，并根据鼻子位置对正面人脸进行细分，确定是抬头、低头、平视、半左侧、半右侧五种头部姿势中的哪一种。如果不是正面脸，则对图像进行左侧人脸检测，确定是左侧、右侧、无头势三种情况中的哪一种。为实现上述检测判断过程，要采用正面人脸分类器、左侧人脸分类器和鼻子分-->类器。这三个分类器分别用来检测正面人脸、左侧人脸和鼻子区域的位置。对三个分类器的训练方法，均采用Adaboost算法(具体可参见Paul Viola，MichaelJones.Robust real-time object detection.International Journal of Computer Vision，2004，57(2)，pp.137-154)。训练过程中，正面人脸分类器和左侧人脸分类器的输入为整幅图像，输出则为脸部区域的位置信息，包括脸部区域左上角的坐标及该区域的长和宽；鼻子分类器的输入为仅包含正面人脸部分的图像，输出则为鼻子区域的位置信息，包括鼻子区域左上角的坐标及该区域的长和宽，其中区域左上角的坐标及该区域的长和宽统一表示在一个列表中。关于人脸区域和鼻子区域位置的检测详细过程如下：(1)把整幅图像输入至正面人脸分类器，如果正面人脸分类器的输出不为空，则说明图像中含有正面人脸区域，进行(2)操作。如果正面人脸分类器的输出为空，则把该图像输入至左侧人脸分离器，检测图像中是否含有左侧人脸。如果左侧人脸分类器的输出不为空，则说明图像中含有左侧人脸，对应左侧头势。如果左侧人脸分类器的输出为空，则把该图像进行左右翻转，再次输入至左侧人脸分类器，若此时输出不为空则说明图像中含有右侧人脸，对应右侧头势；否则图像中不含人脸。(2)当(1)检测到含有正面人脸，则截取正面人脸区域图像，把仅包含正面人脸区域的图像输入至鼻子分类器，鼻子分类器的输出是鼻子区域的位置信息列表，包括：鼻子区域左上角相对于正面人脸区域左上角的横坐标px和纵坐标py，以及鼻子区域的长度lenx和宽度leny(鼻子区域相对于正面人脸的位置，如图2所示)，由此能够算出鼻子区域中心位置相对于正面人脸区域左上角的坐标为(px+lenx/2，py+leny/2)。令正面人脸区域的大小为长Fx、宽Fy，可得到鼻子相对于正面人脸区域的横向相对位置为POSX＝(px+lenx/2)/Fx，纵向相对位置为POSY＝(py+leny/2)/Fy。根据POSX和POSY的数值，可将正面人脸细分为抬头、低头、平视、半左侧、半右侧五种头部姿势。由于受干扰影响，在正面人脸区域中可能会检测出多个鼻子区域，为解决这一问题，本专利技术提供一种确定最佳鼻子区域的方法。通过对人脸生物学特征的统计分析得出：鼻子的纵向相对位置POSY通常在0.6附近；另外鼻子区域的相对宽度LEN＝lenx/Fx位于1/3到1/6之间。可采用打分制，根据鼻子的纵向相对位置和鼻子区域的相对宽度来确定最佳鼻子区域，具体如下：(a)令每个候选鼻子的分值Score＝100；(b)计算各候选鼻子的纵向相对位置POSY＝(py+leny/2)/Fy，以及相对宽度LEN＝lenx/Fx；(c)根据各候选鼻子的纵向相对位置数值修改分值，即，Score1＝Score*(1-|0.6-POSY|/0.6)(d)根据各候选鼻子的相对宽度数值再次修改分值，即LEN＜1/6时，Score2＝Score1*[1-6*(1/6-LEN]LEN∈[1/6，1/3]时，Score2＝Score1，LEN＞1/3时，Score2＝Score1*[1-1.5*(LEN-1/3)](e)比较各候选鼻子的Score2值，该值最大者定为最佳鼻子区域。-->对于确定好的最佳鼻子区域，再根据其在人脸区域内的中心坐标以及其POSX和POSY数值，进一步将正面人脸细分为抬头、低头、平视、半左侧、半右侧五种头部姿势，具体判断方法为：1)根据鼻子中心横坐标(px+lenx/2)的值是否等于Fx的一半，确定鼻子区域的中心是否位于人脸区域的垂直中线上(如图2所示)。2)如果鼻子区域的中心位于人脸区域的垂直中线上，则根据鼻子相对人脸部的纵向相对位置POSY判断抬头、低头、平视三种头势，此时判断头势的方法是：如果POSY小于设定的阈值a1，0≤a1≤1，则为抬头头势，因为人在抬头时，图像中鼻子的位置偏上；如果POSY大于设定的阈值a2，0≤a2≤1，则为低头头势，因为人在低头时，图像中鼻子的位置偏下；如果a1≤POSY≤a2，则为平视头势；其中，a1小于a2。3)如果鼻子区域的中心不在人脸区域的垂直中线上，则根据鼻子相对人脸部的横向相对位置POSX判断半左侧、半右侧两种头势，此时判断头势的方法是：如果POSX小于设定的阈值b，0≤b≤1，则为半左侧，否则为半右侧。第三步，根据所获取的头部姿势，由计算及控制单元产生对应的控制命令。具体如下：仰头、低头和平视三种头部姿势分别对应前进、后退和停止三种控制命令；半左侧、左侧、半右侧、右侧这四种头部姿势分别对应微左转、左转和微右转、右转四种控制命令；如果未检测出任本文档来自技高网...

【技术保护点】
一种基于头势识别技术的轮椅控制方法，包括以下步骤：首先，在轮椅车体上安装图像采集设备、计算及控制单元、支架及电机；其中，所属图像采集设备通过支架一端固定在正对人脸的位置；支架另一端同车体连接；计算及控制单元分别同图像采集设备、电机相连接；电机安装在轮椅上，并同轮椅的行走机构相连接，用于根据控制单元产生的控制信号，驱动轮椅的运动；其特征在于：当使用轮椅时，图像采集设备实时的采集轮椅使用者的头部图像并传输至计算及控制单元中；计算单元通过对图像进行处理、分析和计算，得到人脸和鼻子的对位置和鼻子区域的相对宽度确定最佳鼻子区域，具体如下：（ａ）令每个候选鼻子的分值Ｓｃｏｒｅ＝１００；（ｂ）计算各候选鼻子的纵向相对位置ＰＯＳＹ＝（ｐｙ＋ｌｅｎｙ／２）／Ｆｙ，以及相对宽度ＬＥＮ＝ｌｅｎｘ／Ｆｘ；（ｃ）根据各候选鼻子的纵向相对位置数值修改分值，即，Ｓｃｏｒｅ１＝Ｓｃｏｒｅ＊（１－｜０．６－ＰＯＳＹ｜／０．６）（ｄ）根据各候选鼻子的相对宽度数值再次修改分值，即ＬＥＮ＜１／６时，Ｓｃｏｒｅ２＝Ｓｃｏｒｅ１＊［１－６＊（１／６－ＬＥＮ］ＬＥＮ∈［１／６，１／３］时，Ｓｃｏｒｅ２＝Ｓｃｏｒｅ１，ＬＥＮ＞１／３时，Ｓｃｏｒｅ２＝Ｓｃｏｒｅ１＊［１－１．５＊（ＬＥＮ－１／３）］（ｅ）比较各候选鼻子的Ｓｃｏｒｅ２值，该值最大者定为最佳鼻子区域；对于确定好的最佳鼻子区域，再根据其在人脸区域内的中心坐标以及其ＰＯＳＸ和ＰＯＳＹ数值，进一步将正面人脸细分为抬头、低头、平视、半左侧、半右侧五种头部姿势，具体判断方法为：１）根据鼻子中心横坐标（ｐｘ＋ｌｅｎｘ／２）的值是否等于Ｆｘ的一半，确定鼻子区域的中心是否位于人脸区域的垂直中线上；２）如果鼻子区域的中心位于人脸区域的垂直中线上，则根据鼻子相对人脸部的纵向相对位置ＰＯＳＹ判断抬头、低头、平视三种头势，此时判断头势的方法是：如果ＰＯＳＹ小于设定的阈值ａ１，０≤ａ１≤１，则为抬头头势；如果ＰＯＳＹ大于设定的阈值ａ２，０≤ａ２≤１，则为低头头势；如果ａ１≤ＰＯＳＹ≤ａ２，则为平视头势；其中，ａ１小于ａ２；３）如果鼻子区域的中心不在人脸区域的垂直中线上，则根据鼻子相对人脸部的横向相对位置ＰＯＳＸ判断半左侧、半右侧两种头势，此时判断头势的方法是：如果ＰＯＳＸ小于设定的阈值ｂ，０≤ｂ≤１，则为半左侧，否则为半右侧；之后，根据所获取的头部姿势，由计算及控制单元产生对应的控制命令，具体如下：仰头、低头和平视三种头部...

【技术特征摘要】
1.一种基于头势识别技术的轮椅控制方法，包括以下步骤：首先，在轮椅车体上安装图像采集设备、计算及控制单元、支架及电机；其中，所属图像采集设备通过支架一端固定在正对人脸的位置；支架另一端同车体连接；计算及控制单元分别同图像采集设备、电机相连接；电机安装在轮椅上，并同轮椅的行走机构相连接，用于根据控制单元产生的控制信号，驱动轮椅的运动；其特征在于：当使用轮椅时，图像采集设备实时的采集轮椅使用者的头部图像并传输至计算及控制单元中；计算单元通过对图像进行处理、分析和计算，得到人脸和鼻子的位置信息，并据此判断使用者的头部姿势，具体过程如下：对所获图像进行正面人脸检测，判断图像中是否为正面脸；如果是，则进一步检测鼻子的位置，并根据鼻子位置对正面人脸进行细分，确定是抬头、低头、平视、半左侧、半右侧五种头部姿势中的哪一种；如果不是正面脸，则对图像进行左侧人脸检测，确定是左侧、右侧、无头势三种情况中的哪一种；为实现上述检测判断过程，要采用正面人脸分类器、左侧人脸分类器和鼻子分类器，分别用来检测正面人脸、左侧人脸和鼻子区域的位置；对三个分类器的训练方法，均采用Adaboost算法；训练过程中，正面人脸分类器和左侧人脸分类器的输入为整幅图像，输出则为脸部区域的位置信息，包括脸部区域左上角的坐标及该区域的长和宽；鼻子分类器的输入为仅包含正面人脸部分的图像，输出则为鼻子区域的位置信息，包括鼻子区域左上角的坐标及该区域的长和宽，其中区域左上角的坐标及该区域的长和宽统一表示在一个列表中；人脸区域和鼻子区域位置的检测详细过程如下：(1)把整幅图像输入至正面人脸分类器，如果正面人脸分类器的输出不为空，则说明图像中含有正面人脸区域，进行(2)操作；如果正面人脸分类器的输出为空，则把该图像输入至左侧人脸分离器，检测图像中是否含有左侧人脸；如果左侧人脸分类器的输出不为空，则说明图像中含有左侧人脸，对应左侧头势；如果左侧人脸分类器的输出为空，则把该图像进行左右翻转，再次输入至左侧人脸分类器，若此时输出不为空则说明图像中含有右侧人脸，对应右侧头势；否则图像中不含人脸；(2)当(1)检测到含有正面人脸，则截取正面人脸区域图像，把仅包含正面人脸区域的图像输入至鼻子分类器，鼻子分类器的输出是鼻子区域的位置信息列表，包括：鼻子区域左上角相对于正面人脸区域左上角的横坐标px和纵坐标py，以及鼻子区域的长度lenx和宽度leny，由此算出鼻子区域中心位置相对于正面人脸区域左上角的坐标为(px+lenx/2，py+leny/2)；令正面人脸区域的大小为长Fx、宽Fy，得到鼻子相对于正...

【专利技术属性】
技术研发人员：赵清杰，石小明，郑军，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：11[中国|北京]