一种基于人脸动作识别的人机交互操作系统技术方案

本发明专利技术属于人机交互领域，尤其是一种基于人脸动作识别的人机交互操作系统。首先通过摄像头实时采集视频，对每帧图像进行镜像翻转等预处理；采用分类器，检测人脸区域，并在人脸所在矩形区域内检测人眼、嘴等特征区域，同时提取人脸特征点，进行人脸身份认证并计算面部运动方向和瞬时速度；其次通过预设阈值采用帧间差分法分别检测人脸前后移动、眼部、嘴部等面部动作；最后依据检测得到的各区域位置参数及动作完成系统、应用和通用三类模式下对应的鼠标移动、点击、滚轮操控，触控功能控和模拟键盘组合快捷键，并能通过简单动作实现不同应用模式之间进的切换，实现代替传统的鼠标和键盘、触摸等手动操纵方式，实现无接触人机交互功能。

【技术实现步骤摘要】
一种基于人脸动作识别的人机交互操作系统
本专利技术涉及人机交互
，特别涉及一种基于人脸动作识别的人机交互操作系统。
技术介绍
随着当代计算机与互联网的迅猛发展,信息化与智能化的时代的来临已然势不可挡。此外新诞生出的物联网也掀起了第三次世界信息产业结构升级转型的发展浪潮，成为具有新经济增长点和优质市场效益的新兴战略产业。与此同时，各种人机交互（human-computerinteraction,HCI）方式应运而生。人机交互归属于一个多学科的领域，交叉结合了计算机科学，人类学，认知和行为心理学，工业设计等许多不同学科的理论与实践经验。HCI是通过用户与机器之间的多通道信息交换，情感分析以及自然语言识别等完成人与机器设备之间的高效互联和协调工作。其中机器不仅代指计算机以及相应的软件，还包括可移动智能设备，家用电器，甚至随着HCI技术的深入发展，接收数据信息的方式从被动感知变成自主理解回馈数据，其交互对象可以扩展至任意物体，实现真正全方位多模态感知的万物交互。然而，随着人机交互的操作方式多样化和便捷化，电子终端设备越来越智能化，用户使用门槛低阶化，人们沉迷于电子终端设备的时间持续增长，颈椎脊柱与腕关节长期劳损，严重影响了人们的身体健康与生活质量。同时，几乎所有信息终端以及信息服务，尤其是交互设计都是针对健康的普通人设计，没有考虑到一些特殊交互人群（如残疾人士）的应用需求，使实现真正的信息共享化受到阻碍，因此一种新兴却又不陌生的人机交互技术——人脸识别技术崭露头角，市场也亟需一款基于人脸识别的交互方式来取代传统的鼠标键盘操作。人脸识别技术主要分为图像采集与预处理，人脸检测，人脸校准和人脸鉴别等四个步骤，具有非接触性，高安全性，简捷快速以及高识别精度等优势。其多通过摄像头获取人脸图像视频流，降噪处理并增强图像对比度以确保提取人脸特征和面部主要器官的相对位置的准确性和有效性，之后根据所建立的人脸灰度图像模型来提取人脸的全局和局部特征并对其分类识别，参照预设阈值与数据库中图像对比，选取匹配度最高的图像并向输出端回馈所需的信息。人脸图像分析作为视觉感知的核心内容，通过面部丰富的表情和动作直观形象传递非言语表达类的信息，如心理活动和情感表达等。这是一种描述能力强，信息容纳度高以及置信度高的生物特征识别技术，与文字传输和声音表达等信息媒介相比较，其具有更直接便捷的交互和多维度表现能力。对比专利CN108108029中公开的一种基于人脸识别的视觉鼠标操作系统及方法，通过人脸的动作控制鼠标以达到操作电脑的功能，该系统包括图像采集模块,使用摄像头采集人脸图像图像处理模块,对采集的图像进行处理人脸识别模块,识别人脸图像中的鼻子和嘴巴鼠标操作模块,根据鼻子和嘴巴位置来进行鼠标操作。对比专利提出的系统和方法只能模拟传统鼠标的交互功能，对使用频率更高的应用软件中的键盘及其快捷键功能无法模拟，使用较为复杂，交互方式比较机械，不自然。相较于对比专利CN108108029中公开的一种基于人脸识别的视觉鼠标操作系统及方法,本专利提出的人机交互系统根据目前常用的计算机操作特点，设计了三种应用模式，分别为系统模式、通用模式和应用模式，可依据不同的应用环境和用户需求进行自由切换，从而实现快速、自然高效的人机交互，同时使用者的头部、面部及眼部的主动动作有效的降低了由于长时间使用计算机等产品造成的身体损伤。
技术实现思路
针对智能电子产品的传统的键鼠、触摸等人机交互方式存在的对眼睛、颈椎易造成疲劳损伤且交互不自然的问题，本专利提出了一种通过面部动作实现无接触交互，对应用程序的常用功能进行简单方便的控制，交互更自然的同时促使用户主动进行面部、颈部运动，从而实现自然交互的并减少身体损伤，同时使残障人士也能完成对智能终端的控制，实现信息共享的无障碍化。该系统通过摄像头检测人脸动作即可执行相应的交互功能、模式的唤醒及退出、鼠标、触摸及键盘快捷键功能，并根据不同的应用场景与用户需求设置三种交互模式:系统模式，通用模式和应用模式。系统模式用于预览并切换正在运行的不同任务或应用程序、系统常用程序。通用模式的交互功能模拟传统鼠标、键盘和触摸功能；应用模式根据不同的应用程序来选择浏览模式，对话框模式从而实现具体的快速且自适应性的交互功能。基于上述目的，本专利技术提供了一种基于人脸动作识别的人机交互操作系统，包括：图像采集模块，包括摄像头、图像预处理单元；人脸动作识别模块，包括人脸、眼睛、鼻子和嘴巴的位置及动作检测单元和人脸身份认证单元；主机模块，包括中央处理器、存储单元、数据及控制总线、显示器、电源及其管理单元及其它周边单元、操作系统、交互控制单元、应用程序。进一步的，所述操作系统为WINDOWS、LINUX、ANDROID、IOS或其它衍生操作系统,所述交互主机模块为台式电脑、工作站、笔记本电脑、手机、平板电脑中的一种。上述系统通过如下具体步骤实现，人脸图像的采集与检测图像的预处理，人脸及五官的区域分割和检测定位，提取人脸特征点并计算运动速度，人脸身份认证，面部动作跟踪和判定，交互模式功能唤醒及退出、鼠标、触摸及键盘快捷键组合模拟。交互模式包括系统模式、通用模式和应用模式，其中系统模式实现正在运行的各个任务、应用程序、以及系统常用程序的滚动预览和切换；通用模式模拟传统鼠标、键盘和触摸屏功能；应用模式根据不同的应用程序实现具体的快速交互功能，当打开具体应用程序时自动进入应用模式；上述三种模式可以切换。所述应用模式包括：浏览模式下：脸部的快速左、右、上、下运动并慢速返回正面，触发显示内容的上、下、左、右单次翻页、多媒体音视频的快速进度调节、音量或亮度的快速调节；若脸部未返回则持续该方向翻页直至脸部慢速返回停止翻页；脸部的慢速左、右、上、下运动并快速返回正面，触发显示内容的上、下、左、右单次移动、多媒体音视频的慢速单次进度调节、音量或亮度的慢速单次调节；若脸部未返回则持续该方向动作对应的控制功能，直至脸部快速返回正面并停止移动；脸部的前后移动触发显示内容的放大与缩小；对话框模式下：脸部的慢速上下运动一次或多次触发确认功能；脸部的慢速左右运动一次或多次触发取消功能；所述通用模式包括：脸部的上、下、左、右运动触发屏幕光标跟随运动事件，脸部动作停止的一段时间Ts内眼睛或嘴巴的快速开闭一次触发光标所在位置的鼠标单击事件，眼睛或嘴巴的快速开闭两次以上触发光标所在位置的鼠标双击事件；若光标停留并选中在输入框内则在屏幕上弹出虚拟键盘，用上述方式模拟控制鼠标进行键盘输入；所述Ts时间范围为0.01~2秒；所述系统模式包括：脸部的快速左、右、上、下运动并慢速返回正面，触发任务或应用程序预览图的上、下、左、右单次翻页；若脸部未返回则持续该方向翻页直至脸部慢速返回停止翻页；脸部的慢速左、右、上、下运动并快速返回正面，触发任务或应用程序预览图的上、下、左、右连续移动；若脸部未返回则持续该方向任务或应用程序预览图的移动，直至脸部快速返回正面并停止移动；...

【技术保护点】
1.一种基于人脸动作识别的人机交互操作系统，其特征在于：所述系统包括：/n图像采集模块，包括摄像头、图像预处理单元；/n人脸动作识别模块，包括人脸、眼睛、鼻子和嘴巴的位置及动作检测单元和人脸身份认证单元；/n主机模块：包括中央处理器、存储单元、数据及控制总线、显示器、电源及其管理单元及其它周边单元、操作系统、交互控制单元、应用程序；/n所述系统的工作方法包括：/n系统上电后，主机模块完成所述系统的其它模块的连接及初始化，图像采集模块开始实时采集视频并对图像进行预处理；/n当人脸动作识别模块检测到摄像头采集的视频中包含人脸时，进行人脸身份认证，认证成功后跟踪该人脸所在区域进行人脸、眼睛、鼻子和嘴巴的位置及动作的判定，唤醒主机模块的交互控制单元；/n交互控制单元根据人脸动作识别模块获得的数据执行相应交互模式和功能的唤醒及退出、鼠标、触摸屏及键盘快捷键等交互功能，实现人机交互；/n交互模式包括系统模式、通用模式和应用模式，其中系统模式实现正在运行的各个任务、应用程序、以及系统常用程序的滚动预览和切换；通用模式的交互功能是模拟传统鼠标、键盘和触摸屏功能；应用模式根据不同的应用程序实现具体的快速交互功能，当打开具体应用程序时自动进入应用模式；上述三种模式可以切换。/n...

【技术特征摘要】
1.一种基于人脸动作识别的人机交互操作系统，其特征在于：所述系统包括：
图像采集模块，包括摄像头、图像预处理单元；
人脸动作识别模块，包括人脸、眼睛、鼻子和嘴巴的位置及动作检测单元和人脸身份认证单元；
主机模块：包括中央处理器、存储单元、数据及控制总线、显示器、电源及其管理单元及其它周边单元、操作系统、交互控制单元、应用程序；
所述系统的工作方法包括：
系统上电后，主机模块完成所述系统的其它模块的连接及初始化，图像采集模块开始实时采集视频并对图像进行预处理；
当人脸动作识别模块检测到摄像头采集的视频中包含人脸时，进行人脸身份认证，认证成功后跟踪该人脸所在区域进行人脸、眼睛、鼻子和嘴巴的位置及动作的判定，唤醒主机模块的交互控制单元；
交互控制单元根据人脸动作识别模块获得的数据执行相应交互模式和功能的唤醒及退出、鼠标、触摸屏及键盘快捷键等交互功能，实现人机交互；
交互模式包括系统模式、通用模式和应用模式，其中系统模式实现正在运行的各个任务、应用程序、以及系统常用程序的滚动预览和切换；通用模式的交互功能是模拟传统鼠标、键盘和触摸屏功能；应用模式根据不同的应用程序实现具体的快速交互功能，当打开具体应用程序时自动进入应用模式；上述三种模式可以切换。


2.根据权利要求1所述的一种基于人脸动作识别的人机交互操作系统，其特征在于，
所述应用模式包括：
浏览模式下：
脸部的快速左、右、上、下运动并慢速返回正面，触发显示内容的上、下、左、右单次翻页、多媒体音视频的快速进度调节、音量或亮度的快速调节；若脸部未返回则持续该方向翻页直至脸部慢速返回停止翻页；
脸部的慢速左、右、上、下运动并快速返回正面，触发显示内容的上、下、左、右单次移动、多媒体音视频的慢速单次进度调节、音量或亮度的慢速单次调节；若脸部未返回则持续该方向动作对应的控制功能，直至脸部快速返回正面并停止移动；
脸部的前后移动触发显示内容的放大与缩小；
对话框模式下：
脸部的慢速上下运动一次或多次触发确认功能；
脸部...

【专利技术属性】
技术研发人员：李昱昂，梁星辰，张聪昱，张雄，樊兆雯，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏;32