一种基于人脸检测的鼠标键盘控制方法技术

一种基于人脸检测的鼠标键盘控制方法，属于人机交互技术领域，其包括以下步骤：捕捉每帧图像人脸的关键点；计算人脸关键点几何关系；根据嘴部关键点的几何关系判定嘴巴闭合状态，并根据其闭合状态用以切换控制模式或发送鼠标“单击”指令；根据人脸其它关键点的几何关系判定脸部旋转状态，并根据其旋转状态控制鼠标移动和操控键盘。本发明专利技术一种基于人脸检测的鼠标键盘控制方法在使用时，可完全摆脱传统用手部控制计算机的方式，仅通过人脸旋转和嘴巴闭合，便实现鼠标移动、点击、拖拽和键盘“上”“下”“左”“右”及“回车”按键控制功能，能够为失去双臂的残疾人士大幅度提升人机交互能力。去双臂的残疾人士大幅度提升人机交互能力。去双臂的残疾人士大幅度提升人机交互能力。

【技术实现步骤摘要】
一种基于人脸检测的鼠标键盘控制方法


[0001]本专利技术涉及人机交互
，尤其涉及一种基于人脸检测的鼠标键盘控制方法。

技术介绍

[0002]鼠标和键盘在一定程度上实现了人机交互的功能，能够使人完成移动、点击、按键等操作，这些功能为设备使用者提供了极大的方便，在现阶段是一个不可替代的设备。但目前仍有相当一部分失去双臂的残疾人士，无法通过双手来操控鼠标和键盘，严重影响了人机交互体验，给他们通过计算机学习、工作、休闲、娱乐、创造等造成困扰。
[0003]现有技术主要采取设计特殊类型的鼠标，来满足残疾人士的人机交互需求。但需额外购买硬件，且需要根据残疾人士的残疾程度进行量身定制，难以做到普及推广。

技术实现思路

[0004]本专利技术的目的是针对现有技术中存在的上述问题，提供一种基于人脸检测的鼠标键盘控制方法。
[0005]本专利技术所采用的技术方案是：一种基于人脸检测的鼠标键盘控制方法，包括以下步骤：捕捉每帧图像人脸的关键点；计算人脸关键点几何关系；根据嘴部关键点的几何关系判定嘴巴闭合状态，并根据其闭合状态用以切换控制模式或发送鼠标“单击”指令；根据人脸其它关键点的几何关系判定脸部旋转状态，并根据其旋转状态控制鼠标移动和操控键盘。
[0006]进一步地，捕捉每帧图像人脸的关键点，具体通过以下方式实现：捕捉摄像头每帧图像人脸中左右两侧耳垂部、额头顶中部、下巴底中部、鼻尖部，上下嘴唇中部7个关键点。
[0007]进一步地，计算人脸关键点几何关系，具体通过以下方式步骤实现：计算人脸宽度，即为人脸左右两侧耳垂部之间的距离差W；计算人脸高度，即为人脸额头顶中部与下巴底中部之间的距离差H；计算人脸转动坐标，即为鼻尖部与左（右）一侧耳垂部之间的坐标差（x,y）；计算嘴张开距离，即为上下嘴唇中部之间的距离h。
[0008]进一步地，根据嘴部关键点的几何关系判定嘴巴闭合状态，并根据其闭合状态用以切换控制模式或发送鼠标“单击”指令，具体通过以下方式步骤实现：计算人脸高度H和嘴张开距离h之比r；若r大于阈值则判定嘴巴为紧闭状态，若r小于阈值则判定嘴巴为张开状态；初始状态下启动鼠标移动控制模式，当嘴巴连续张开两次时启动键盘控制模式，
当嘴巴持续张开时间达到阈值时启动鼠标拖拽控制模式；在鼠标移动控制模式下，嘴巴张开一次时发送鼠标“单击”指令；在键盘控制模式下，嘴巴张开一次时重新切换至鼠标移动控制模式。
[0009]进一步地，根据人脸其它关键点的几何关系判定脸部旋转状态，并根据其旋转状态控制鼠标移动和操控键盘，具体通过以下方式步骤实现：计算人脸宽、高度（W，H）与人脸转动坐标（x,y）之比（a,b）；在键盘控制模式下，当a、b均在阈值区间内，则判定头部在中心位置没有移动，并持续记录时间戳t1；当a大于阈值区间最大值、小于阈值区间最小值，则判定头部左、右水平移动，对应发送键盘“左”“右”按键控制指令；当b大于阈值区间最大值时停止记录时间，回到阈值区间内再次开始记录时间戳t2，时间差t0=t2
‑
t1；当t0大于阈值，且b在阈值区间内，则判定头部向上移动，发送键盘“上”按键控制指令。若b小于阈值区间最小值，则判定头部向下移动，发送键盘“下”按键控制指令。若t0小于阈值，且b小于阈值区间最小值时，则判定头部是在短时间内连续向上向下移动，表示“点头”，发送键盘“回车”按键控制指令。
[0010]进一步地，根据人脸其它关键点的几何关系判定脸部旋转状态，并根据其旋转状态控制鼠标移动和操控键盘，还通过以下方式步骤实现：计算最新N帧图像人脸大小与其转动坐标比值（a,b），即（a1,b1）（a2,b2）
……
（a
n
,b
n
）的平均值为（α,β），其中N为可调常数；在鼠标移动和拖拽模式下，鼠标在屏幕中的绝对坐标为（s
x
,s
y
），其中s
x
=K1×
α+B1；s
y
=K2×
β+B2。其中K1、K2、B1、B2为调节人脸转动幅度与鼠标移动幅度的比例系数和常数。
[0011]本专利技术的有益效果是：基于人脸检测，让失去双臂的残疾人士仅通过旋转头部，并配合张嘴动作，即可实现鼠标移动、点击、拖拽和键盘“上”“下”“左”“右”及“回车”按键控制功能，大幅度提升人机交互能力。
附图说明
[0012]图1为本申请实施例提供的一种基于人脸检测的鼠标键盘控制方法的流程示意图。
[0013]图2为人脸检测中关键点的分布示图。
[0014]图3为人脸关键点几何关系示图。
[0015]图4为根据嘴部关键点的几何关系判定嘴巴闭合状态，并根据其闭合状态用以切换控制模式或发送鼠标“单击”指令流程示意图。
具体实施方式
[0016]为了使本专利技术所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。
[0017]请参阅图1，为本专利技术实施例提供的一种基于人脸检测的鼠标键盘控制方法的流
程示意图，为了便于说明，仅示出了与本实施例相关的部分。
[0018]S1、捕捉每帧图像人脸的关键点。
[0019]具体地，如图2所示，捕捉摄像头每帧图像人脸中左右两侧耳垂部、额头顶中部、下巴底中部、鼻尖部，上下嘴唇中部7个关键点，其中左右两侧耳垂部关键点为P1、P2，额头顶中部关键点为P3，下巴底中部关键点为P4，鼻尖部关键点为P5，上下嘴唇中部关键点分别为P6、P7。
[0020]S2、计算人脸关键点几何关系。
[0021]具体地，如图3所示，计算人脸宽度，即为人脸左右两侧耳垂部之间的距离差W；计算人脸高度，即为人脸额头顶中部与下巴底中部之间的距离差H；计算人脸转动坐标，即为鼻尖部与左侧耳垂部之间的坐标差（x,y）；计算嘴张开距离，即为上下嘴唇中部之间的距离h。
[0022]S3、根据嘴部关键点的几何关系判定嘴巴闭合状态，并根据其闭合状态用以切换控制模式或发送鼠标“单击”指令。
[0023]具体地，如图4所示，计算人脸高度H和嘴张开距离h之比r，即：r=H/h,r代表嘴张开的幅度。若r大于阈值则判定嘴巴为紧闭状态，若r小于阈值则判定嘴巴为张开状态；初始状态下启动鼠标移动控制模式，当嘴巴连续张开两次时启动键盘控制模式，当嘴巴持续张开时间达到阈值时启动鼠标拖拽控制模式。在鼠标移动控制模式下，嘴巴张开一次时发送鼠标“单击”指令；在键盘控制模式下，嘴巴张开一次时重新切换至鼠标移动控制模式。
[0024]S4、根据人脸其它关键点的几何关系判定脸部旋转状态，并根据其旋转状态控制鼠标移动和操控键盘。
[0025]具体地，计算人脸宽、高度（W，H）与人脸转动坐标（x,y）之比（a,b），即：a=W/x，b=H/y,其中a和b分别代表人脸在水平和垂直方向上移动的幅度。
[0026]在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人脸检测的鼠标键盘控制方法，其特征在于，包括以下步骤：捕捉每帧图像人脸的关键点；计算人脸关键点几何关系；根据嘴部关键点的几何关系判定嘴巴闭合状态，并根据其闭合状态用以切换控制模式或发送鼠标“单击”指令；根据人脸其它关键点的几何关系判定脸部旋转状态，并根据其旋转状态控制鼠标移动和操控键盘。2.根据权利要求1所述的一种基于人脸检测的鼠标键盘控制方法，其特征在于，捕捉每帧图像人脸的关键点，具体通过以下方式实现：捕捉摄像头每帧图像人脸中左右两侧耳垂部、额头顶中部、下巴底中部、鼻尖部，上下嘴唇中部7个关键点。3.根据权利要求2所述的一种基于人脸检测的鼠标键盘控制方法，其特征在于，计算人脸关键点几何关系，具体通过以下方式步骤实现：计算人脸宽度，即为人脸左右两侧耳垂部之间的距离差W；计算人脸高度，即为人脸额头顶中部与下巴底中部之间的距离差H；计算人脸转动坐标，即为鼻尖部与左（右）一侧耳垂部之间的坐标差（x,y）；计算嘴张开距离，即为上下嘴唇中部之间的距离h。4.根据权利要求3所述的一种基于人脸检测的鼠标键盘控制方法，其特征在于，根据嘴部关键点的几何关系判定嘴巴闭合状态，并根据其闭合状态用以切换控制模式或发送鼠标“单击”指令，具体通过以下方式步骤实现：计算人脸高度H和嘴张开距离h之比r；若r大于阈值则判定嘴巴为紧闭状态，若r小于阈值则判定嘴巴为张开状态；初始状态下启动鼠标移动控制模式，当嘴巴连续张开两次时启动键盘控制模式，当嘴巴持续张开时间达到阈值时启动鼠标拖拽控制模式；在鼠标移动控制模式下，嘴巴张开一次时发送鼠标“单击”指令；在键盘控制模式下，嘴巴张开一次时重新切换至鼠标移动控制模式。5.根据权利要求4所述的一种基于人脸检测的鼠标键盘控制方法，其特征在于，根据人脸其它关键点的几何关系判定脸部...

【专利技术属性】
技术研发人员：彭艺，王娇娇，
申请(专利权)人：彭艺，
类型：发明
国别省市：