一种基于唇部状态识别的智能轮椅人机交互系统及方法技术方案

本发明专利技术请求保护一种基于唇部状态识别的智能轮椅人机交互系统及方法，涉及计算机视觉和人工智能领域。本发明专利技术通过肤色模型和Adaboost算法检测唇部，并标记出唇部的具体位置，根据唇部区域所处的相对位置，判定智能轮椅的所要执行的运动方向(前进、后退、左转、右转)。在唇部检测的基础上，使用了SVM算法判定唇部的张合状态。并将唇部位置和唇部张合状态相结合从而实现对智能轮椅的运动控制。克服了头部无意识运动和外界环境干扰对轮椅运动控制造成的干扰，大大提高了人机交互系统的鲁棒性。

【技术实现步骤摘要】

本专利技术属于人工智能和计算机视觉领域，具体涉及智能轮椅的人机交互系统及方 法。
技术介绍
目前，全球的老年人口数量越来越多，这个问题引起了社会各界的广泛重视；与此 同时由于各种灾难、车祸以及疾病等相关因素造成的残障人士数量也在增加。他们的行动 能力、反应速度、思考能力会低于正常人。因此，为老年人和残疾人提供性能优越的代步工 具已成为整个社会重点关注的问题之一。智能轮椅是融合多种研究领域，将机器人技术应 用于电动轮椅的一种设备，能够感知外部环境并对环境信息进行处理从而得到合理的控制 决策。使老年人和残疾人的日常生活质量在很大程度上得到提高，将用户迅速、无误地送到 目的地。智能轮椅的关键技术之一就是实现与使用者和谐交互的技术，这种交互包括两方 面的要素：一方面使人能更自然地控制轮椅，另一方面使轮椅可以较好的理解人的思维和 命令。由于不同残障人群的身体情况和认知能力不同，轮椅系统的设计需要充分的考虑这 些因素，不仅不能使用户的使用困难加大，而且要充分利用残障人士的自身的机能。目前， 国内外有很多的学者在开发了很多智能轮椅人机交互的系统，主要分为侵入式和非侵入式 两类。侵入式的人机交互方式包括使用眼镜，头带，或者佩戴红外或超声波发射器来测量用 户意图。而非侵入式的方法不需要用户佩戴任何设备，而是通过处理用户的声音或图像来 识别用户的意图。事实上，大多数的用户更喜欢非侵入式的方法，因为他们不喜欢他们的脸 或头被接触。 基于视觉的智能轮椅人机交互是一个十分有效的交互方式。目前，国内外很多 研究者对基于视觉的人机交互进行了研究：韩国的JinSunJu，YunHeeShin等人利用 Adaboost算法定位人脸位置，采用基于纹理分类的神经网络算法识别人脸倾斜度，同时 利用K-means算法识别嘴巴的张合状态，然后通过人脸的倾斜控制轮椅的左转和右转，唇 部张开控制轮椅的前进，闭合控制轮椅的停止，从而实现对智能轮椅的运动控制；澳大利 亚大学和富豪汽车公司开发了一种新的驾驶员疲劳检测跟踪系统。该系统通过测量和跟 踪驾驶员的头部姿势，眼睛的注意力方向、闭合状态以及眨眼动作来估计驾驶员的疲劳 程度；英国Essex大学的胡豁生、贾沛等训练主动形态模型（AAM)识别人脸，通过识别当 前人脸，然后跟模板进行比较来估计人脸方向，从而控制智能轮椅的运动；日本的Yoshio Matsumotot,AlexanderZelinskyt等人在机器人上装有摄像头，通过摄像头采集人脸图 像，当人的头部移动时，通过识别头部在某个方向停留的时间长短来判断他对该物体的关 注程度，并通过这个时间的长短来判断人凝视与否，进而控制机器人的运动；国立澳大利亚 大学的AlexZelinsky教授在Monash大学智能机器人中心Rayjivis教授在智能轮椅系统 中引入眼睛跟踪仪，通过探测用户面部角度和瞳孔方向来控制轮椅，使其可以沿着用户目 视的方向运动。但是当用户头部或脸部的运动被广泛的使用来表达用户的意图，应用到人 机交互系统中时系统往往存在某种缺陷：当人期望向某个方向运动时，头部会自然的朝那 个方向看。轮椅的转动源于头部运动的方向。但是当某个障碍物在靠近用户的时候，用户会 看向障碍物，这时轮椅仍会向障碍物运动。而实际上，此时用户需要快速的避开障碍物，这 时候轮椅就会产生错误指令。考虑到头部无意识偏转和外界环境干扰的影响，在利用头部 或脸部偏转控制轮椅运动方向的基础上，设定识别唇部的张合状态功能，提_系统鲁棒性。
技术实现思路
针对以上现有技术中的不足，本专利技术的目的在于提供一种缩小了分类器的遍历范 围，降低误检率的同时提高了检测速度的基于唇部状态识别的智能轮椅人机交互系统及方 法，本专利技术的技术方案如下： -种基于唇部状态识别的智能轮椅人机交互系统，包括摄像头、笔记本电脑、智能 轮椅本体及无线网卡，其还包括肤色分割模型、Adaboost唇部分类器、SVM唇部张合状态分 类器； 所述摄像头用于获取包含人脸的视频信号并传输给肤色分割模型； 所述肤色分割模型用来分割出摄像头获取的图像信息中的人脸区域； 所述Adaboost分类器用来检测人脸区域获取唇部信息，完成对唇部的实时检测； 所述SVM唇部张合状态分类器用于对检测到的唇部进行分类，并判定唇部的张合 状态； 所述笔记本电脑用来完成分类器的训练，唇部检测和张合状态识别图像处理，并 确定轮椅的运动指令； 所述无线网卡用来将笔记本电脑与智能轮椅进行通信，将唇部检测和唇部识别相 结合用于智能轮椅的控制：将检测得到唇部检测窗口与一个位置固定的矩形窗口进行比 较，根据这两个矩形框相对位置关系来确定轮椅的运动方向，同时识别唇部的张合状态，只 有当识别到唇部为张开状态时，轮椅才能执行相应指令，从而实现对智能轮椅的运动状态 的控制。 一种基于唇部状态识别的智能轮椅人机交互方法，其包括以下步骤： 201、通过Adaboost算法训练得到唇部分类器，通过SVM算法训练得到SVM唇部张 合状态识别的分类器，采用摄像头获取包含人脸的采集对象的视频信号，并将该视频信号 传输给肤色分割模型； 202、肤色分割模型将该视频信号中的图像进行分割得到人脸区域； 203、调用步骤201中的Adaboost唇部分类器搜索步骤202中的人脸区域并定位 唇部的位置，当唇部的位置检测不成功则重复搜索定位，唇部的位置检测成功则用唇部矩 形框标定出来； 204、对检测到的唇部区域进行特征归一化、尺度调整和特征提取之后，调用SVM 唇部张合状态识别分类器来判定唇部的张合状态；并设置一个对比矩形框，与检测得到的 唇部矩形框相比较来确定唇部区域的相对位置，同时结合唇部的张合状态，进而控制智能 轮椅的运动。 进一步的，步骤201及步骤202中的肤色分割模型采用YCrCb高斯肤色模型，摄像 头采集到的图像为RGB图，YCbCr色彩空间和RGB色彩空间的转换关系为：本文档来自技高网...

【技术保护点】
一种基于唇部状态识别的智能轮椅人机交互系统，包括摄像头、笔记本电脑、智能轮椅本体及无线网卡，其特征在于：还包括肤色分割模型、Adaboost唇部分类器、SVM唇部张合状态分类器；所述摄像头用于获取包含人脸的视频信号并传输给肤色分割模型；所述肤色分割模型用来分割出摄像头获取的图像信息中的人脸区域；所述Adaboost分类器用来检测人脸区域获取唇部信息，完成对唇部的实时检测；所述SVM唇部张合状态分类器用于对检测到的唇部进行分类，并判定唇部的张合状态；所述笔记本电脑用来完成分类器的训练，唇部检测和张合状态识别图像处理，并确定轮椅的运动指令；所述无线网卡用来将笔记本电脑与智能轮椅进行通信，将唇部检测和唇部识别相结合用于智能轮椅的控制：将检测得到唇部检测窗口与一个位置固定的矩形窗口进行比较，根据这两个矩形框相对位置关系来确定轮椅的运动方向，同时识别唇部的张合状态，只有当识别到唇部为张开状态时，轮椅才能执行相应指令，从而实现对智能轮椅的运动状态的控制。

【技术特征摘要】
1. 一种基于唇部状态识别的智能轮椅人机交互系统，包括摄像头、笔记本电脑、智能轮 椅本体及无线网卡，其特征在于：还包括肤色分割模型、Adaboost唇部分类器、SVM唇部张 合状态分类器； 所述摄像头用于获取包含人脸的视频信号并传输给肤色分割模型； 所述肤色分割模型用来分割出摄像头获取的图像信息中的人脸区域； 所述Adaboost分类器用来检测人脸区域获取唇部信息，完成对唇部的实时检测； 所述SVM唇部张合状态分类器用于对检测到的唇部进行分类，并判定唇部的张合状 态； 所述笔记本电脑用来完成分类器的训练，唇部检测和张合状态识别图像处理，并确定 轮椅的运动指令； 所述无线网卡用来将笔记本电脑与智能轮椅进行通信，将唇部检测和唇部识别相结合 用于智能轮椅的控制：将检测得到唇部检测窗口与一个位置固定的矩形窗口进行比较，根 据这两个矩形框相对位置关系来确定轮椅的运动方向，同时识别唇部的张合状态，只有当 识别到唇部为张开状态时，轮椅才能执行相应指令，从而实现对智能轮椅的运动状态的控 制。2. -种基于唇部状态识别的智能轮椅人机交互方法，其特征在于：包括以下步骤： 201、 通过Adaboost算法训练得到唇部分类器，通过SVM算法训练得到SVM唇部张合状 态识别的分类器，采用摄像头获取包含人脸的采集对象的视频信号，并将该视频信号传输 给肤色分割模型； 202、 肤色分割模型将该视频信号中的图像进行分割得到人脸区域； 203、 调用步骤201中的Adaboost唇部分类器搜索步骤202中的人脸区域并定位唇部 的位置，当唇部的位置检测不成功则重复搜索定位，唇部的位置检测成功则用唇部矩形框 标定出来； 204、 对检测到的唇部区域进行特征归一化、尺度调整和特征提取之后，调用SVM唇部 张合状态识别分类器来判定唇部的张合状态；并设置一个对比矩形框，与检测得到的唇部 矩形框相比较来确定唇部区域的相对位置，同时结合唇部的张合状态，进而控制智能轮椅 的运动。3. 根据权利要求2所述的基于唇部状态识别的智能轮椅人...

【专利技术属性】
技术研发人员：罗元，张毅，胡章芳，丁玉娇，席兵，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：重庆;85