本发明专利技术提供一种基于人脸朝向识别与跟踪的智能轮椅控制方法,该方法包括：响应于使用者所选择的手动模式或智能模式中的一种，控制轮椅运动方向；在手动模式下，响应于使用者对操纵杆的操作实现轮椅运动方向的控制；在智能模式下，激活轮椅上的摄像头，通过一控制器对从摄像头所获取的图像进行预处理并得到人脸图像序列，再通过边缘检测得到人脸图谱，接着提取眼部图谱并对眼部特征利用LVQ神经网络进行建模和识别，然后通过人脸朝向识别的结果来控制轮椅的运动方向。本发明专利技术的智能轮椅控制方法，在操纵杆控制轮椅运动方向的基础上，可通过摄像头采集的人脸图像识别其朝向，并根据其识别结果控制轮椅的运动方向，实现了人机自然交互控制。
【技术实现步骤摘要】
本专利技术涉及电动轮椅领域，尤其涉及一种基于人脸朝向识别与跟踪的智能轮椅控 制方法及系统。
技术介绍
随着社会老龄化进程的加快以及由于各种因素造成下肢损伤的残障人数的增加， 为老年人和残疾人提供性能优越的代步工具已经越来越受到社会各界人士的普遍关注。而 智能轮椅作为一种具有导航、避障、人机交互等多种功能服务机器人，方便了老年人和残疾 人的日常生活，使他们重新获得自理能力和融入社会的可能，因此开展智能轮椅相关技术 的研究具有重大的社会价值。此外，运动控制、机器视觉、模式识别、人机交互等多种机器人 研究领域技术的提高和发展，使得智能轮椅的交互性、自主性及安全性都得到了很大发展。 其中，在机器视觉方面，人脸识别由于其无侵害性和对用户最简洁、最直观的方式使其成为 被人们广泛接受的生物特征识别方式。而在人脸识别领域的众多研究方向中，人脸朝向分 析一直是少有人涉及的领域，因此将人脸朝向识别和跟踪运用到智能轮椅的运动控制中将 会是一件非常有意义的工作。
技术实现思路
基于此，本专利技术目的在于提供一种基于人脸朝向识别与跟踪的智能轮椅控制方法 及系统，在操纵杆控制轮椅运动方向的基础上，能够通过摄像头采集的人脸图像识别其朝 向，并根据其识别结果控制轮椅的运动方向，实现人机自然交互控制，更给老年人和残疾人 带来了方便。 本专利技术的上述目的通过独立权利要求的技术特征实现，从属权利要求以另选或有 利的方式发展独立权利要求的技术特征。 为达成上述目的，本专利技术提出一种基于人脸朝向识别与跟踪的智能轮椅控制方 法，该方法包括： 响应于使用者所选择的手动模式或智能模式中的一种，控制轮椅运动方向； 在手动模式下，响应于使用者对操纵杆的操作实现轮椅运动方向的控制； 在智能模式下，激活轮椅上的摄像头，通过一控制器对从摄像头所获取的图像进 行预处理并得到人脸图像序列，再通过边缘检测得到人脸图谱，接着提取眼部图谱并对眼 部特征利用LVQ神经网络进行建模和识别，然后通过人脸朝向识别的结果来控制轮椅的运 动方向。 进一步的实施例中，前述方法更加包含： 在手动模式或智能模式下，响应于使用者的操作决定轮椅的运动速度。 进一步的实施例中，在所述智能模式下，通过所述摄像头获取人脸图像时，根据轮 椅所处的环境自动补光，例如在室内和户外这两种环境下光照强度不同，当光照强度不够 时摄像头可自动补光。 进一步的实施例中，所述的图像预处理包括对获取图像格式，尺寸大小的处理， 得到人脸图像序列：先将人脸真彩色图像转化为灰度图像，格式统一为bmp格式，大小为 420*420 ;采集到的部分组人脸朝向分别为：左方、左前方、前方、右前方、右方。 进一步的实施例中，所述的边缘检测方法为基于查找的方法，该方法通过寻找图 像一阶导数中的最大和最小值来检测边界，将边界定位在梯度最大的方向，并利用sobel 算子得到人脸的图谱。 进一步的实施例中，所述的sobel算子包含两组3*3的矩阵，分别为横向及纵向， 将之与图像作平面卷积，即可分别得出横向及纵向的亮度差分近似值；如果以A代表原始 图像，Gy及分别代表经纵向及横向边缘检测的图像，其公式如下：图像的每一个像素的横向及纵向梯度近似值用以下的公式给合，来计算梯度G的 大小： t, 然后可用以下公式计算梯度方向0 : 如果0等于零，即代表图像该处拥有纵向边缘，左方较右方暗。 进一步的实施例中，所述提取眼部图谱的方法包括：将整幅图像的画面划分成6 行8列，人眼的位置信息用第2行的8个子矩阵来描述，边缘检测后8个子矩阵中的值为 "1"的像素点个数人脸朝向有直接关系，分别统计出第二行的8个子矩阵中的值为"1"的像 素点即可。 进一步的实施例中，提取眼部图谱并对眼部特征利用LVQ神经网络进行建模和识 另IJ，然后通过人脸朝向识别的结果来控制轮椅的运动方向，包括： 从图像库中选取一定数量的人脸图像并提取其眼部特征作为训练集数据来训练 LVQ网络，基于训练好的LVQ神经网络，根据前述通过摄像头获取人脸图像并提取的眼部图 谱来进行人脸朝向的识别，基于识别的结果控制轮椅的运动方向。 根据本专利技术的改进，还提出一种基于人脸朝向识别与跟踪的智能轮椅控制系统， 该智能轮椅控制系统包括：车体、嵌入车体中的控制器模块以及与控制器模块相连的电源 模块、按键模块、操纵杆模块、摄像头模块、电磁刹车模块、电机驱动模块和报警显示模块， 其中： 车体包括车架，电机，以及安装在车架上的相对设置的左右驱动后轮、左右随动前 轮、左右防后倾轮及左右脚踏板；所述电机具有两组，分别驱动所述相对设置的左右驱动后 轮，左右随动前轮随动； 其中，控制器模块包括DSP控制器和故障保护电路，以DSP控制器为核心，通过总 线与故障保护电路连接，并与操纵杆模块、摄像头模块、按键模块、报警指示模块、电机驱动 模块及电磁刹车模块相连，接收操纵杆模块、摄像头模块、按键模块的信息，并向电机驱动 模块传输运动控制命令，向电磁刹车模块传输刹车控制指令，向报警指示模块传输声光报 警控制命令； 所述电源模块用于为智能轮椅控制系统供电； 其中，所述按键模块包含电源按键、喇叭按键、加、减速按键及模式按键，其中电源 按键用于控制系统的启动和停止；喇叭按键对周边行人起警示作用；加、减速按键用于对 轮椅运行速度的调控；模式按键用于控制系统手动模式和智能模式之间的切换； 其中，所述操纵杆模块包括霍尔操纵杆和STM8S903K核心电路，霍尔操纵杆输输 出的信号经STM8S903K核心电路转化成坐标信息并经过串口传输至控制器模块，实现通过 操纵杆对轮椅运动方向的控制； 其中，所述摄像头模块作为人机交互传感器，包含一人脸定位及跟踪的摄像头，采 集人脸图像信息并传输至所述控制器模块； 其中，所述电磁刹车模块采用型号电磁刹车，使得轮椅具有刹车功能； 其中，所述报警指示模块包含指示灯，显示当前电量和档速信息，并根据不同故障 闪烁不同数量的LED灯起到灯光报警提示； 其中，所述电机驱动模块包含桥式驱动电路，用于接收所述控制器模炔基于摄像 头所采集的人脸图像信息而输出的轮椅控制信号，驱动所述电机的运行。 进一步的实施例中，所述摄像头模块更加包含一补光灯和光敏元件，其中：...
【技术保护点】
一种基于人脸朝向识别与跟踪的智能轮椅控制方法,其特征在于，该方法包括：响应于使用者所选择的手动模式或智能模式中的一种，控制轮椅运动方向；在手动模式下，响应于使用者对操纵杆的操作实现轮椅运动方向的控制；在智能模式下，激活轮椅上的摄像头，通过一控制器对从摄像头所获取的图像进行预处理并得到人脸图像序列，再通过边缘检测得到人脸图谱，接着提取眼部图谱并对眼部特征利用LVQ神经网络进行建模和识别，然后通过人脸朝向识别的结果来控制轮椅的运动方向。
【技术特征摘要】
【专利技术属性】
技术研发人员：高翔，张瑾，徐国政，王强，符义琴，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。