基于单个RGB摄像头的键盘输入方法技术

技术编号:19488870 阅读:40 留言:0更新日期:2018-11-17 11:57
本发明专利技术揭示了基于单个RGB摄像头的键盘输入方法,包括如下步骤:S1、硬件设置步骤,安装设置RGB摄像头并铺设蓝色键盘纸;S2、虚拟键盘键位定位步骤,利用颜色信息定位键盘平面的位置,再提取出每个键位的顶点坐标和质心坐标,随后与电脑的键盘接口进行匹配;S3、提取指尖点步骤,使用椭圆肤色检测算法和形态学处理得到手部区域轮廓,再提取手部轮廓点,随后从轮廓点中提取得到指尖点坐标;S4、击键行为判定步骤,对落在键盘平面内的指尖点进行连续多帧记录,在对指尖点坐标进行预处理后,对击键行为进行判定。本发明专利技术为虚拟键盘的输入提供了一种新的思路,有着较高的实时性和准确性,能够满足用户日常使用的需求。

【技术实现步骤摘要】
基于单个RGB摄像头的键盘输入方法
本专利技术涉及一种虚拟键盘输入方法,具体而言,涉及一种基于单个RGB摄像头的键盘输入方法,属于人工智能和人机交互领域。
技术介绍
随着计算机和传感器技术的不断进步,人机交互(Human-ComputerInteraction,HCI)技术也得到了长足的发展,目前,人家交互已经发展到以人为核心的自然用户界面(NaturalUserInterface)交互阶段,要求机器能够像人类一样自然地与用户进行交流、互动。在日常生活中,人类与电脑最直接的交互工具就是键盘和鼠标。然而在追求便携轻量化的今天,人们常用的物理键盘就显得愈发笨重。为了代替物理键盘,各种其他的输入方式开始得到重视,也逐渐出现了各类相关研究。最近,HCI已经从传统的物理实体逐步变成了虚拟实体。作为HCI中最重要的输入设备,键盘经历了两个重要的发展阶段:以传统电脑键盘为代表的物理输入设备,以及在移动触摸屏设备中广泛使用的软键盘。但传统的电脑键盘占用空间大,携带不方便。在过去的几年中,已经有研究者和技术人员提出了几类虚拟键盘的实现手段。第一类是基于额外的可穿戴设备,例如,可穿戴式键盘,使用手套上的各种传感器来识别每个手指关节的移动以识别击键动作。第二类是基于机器视觉和图像处理的,例如,激光投影键盘,利用激光在桌面上产生一个虚拟化的键盘界面然后利用红外摄像机来捕捉激光反射的情况由此进行对击键行为的判定。在这一类型中,还出现了一种基于摄像头的虚拟键盘,这一种虚拟键盘的实现形式较为多样,有借助其他实体作为键盘操作平面的、也有完全虚拟化了的空气键盘,但总之他们都使用图像处理方法来构建键盘面板并通过各种特征来识别按键动作。尽管目前这类虚拟键盘能够实现传统键盘的功能,但就其成本和价格上来说,仍然相对高昂,其所实现技术手段的必要设备的要求较高、硬件结构相对较为复杂。且在其使用过程中对于环境和设备的要求较高,也并不符合设计初衷。综上所述,如何提出一种全新的虚拟键盘输入方法,减轻对硬件设备的依赖,降低硬件成本,在保证使用效果的同时提升虚拟键盘的便携性,也就成为了目前本领域内技术人员所亟待解决的问题。
技术实现思路
鉴于现有技术存在上述缺陷,本专利技术的目的是提出一种基于单个RGB摄像头的键盘输入方法,包括如下步骤:S1、硬件设置步骤,安装设置RGB摄像头并铺设蓝色键盘纸;S2、虚拟键盘键位定位步骤,利用颜色信息从RGB摄像头中定位到键盘平面的位置,再从键盘平面中提取出每个键位的顶点坐标和质心坐标,随后将所得键位信息与电脑的键盘接口进行匹配;S3、提取指尖点步骤,使用椭圆肤色检测算法和形态学处理得到手部区域轮廓,再提取手部轮廓点,随后使用改进后的K余弦算法和K-means算法从轮廓点中提取得到指尖点坐标;S4、击键行为判定步骤,对落在键盘平面内的指尖点进行连续多帧记录,在对指尖点坐标进行预处理后,对击键行为进行判定。优选地,S2所述虚拟键盘键位定位步骤,具体包括:S21、键盘位置定位子步骤,利用蓝色键盘纸的颜色信息进行蓝色颜色提取,随后识别键盘平面并提取出键盘整体的顶点位置和质心位置;S22、键位位置定位子步骤,对提取出的键盘平面进行平滑去噪,再在识别出的键盘平面内进行连通区域搜索,得到键盘内所有键位的顶点位置和质心位置;S23、依据定位结果,与电脑端操作系统内的键盘事件应用程序编程接口进行匹配连接。优选地,S3所述虚拟键盘键位定位步骤,具体包括:S31、椭圆肤色提取子步骤,肤色从RGB空间转换到YCrCb空间,将反应环境亮度的Y分量抛弃,在CrCb子空间中利用椭圆肤色检测方法进行肤色提取;S32、指尖提取子步骤,将提取到的手部图像进行平滑去噪处理,然后提取出手部区域的轮廓,得到键盘平面内的手指轮廓序列,再由手指轮廓序列计算得出指尖点坐标。优选地,S31中所述在CrCb子空间中利用椭圆肤色检测方法进行肤色提取,提取公式为:其中,Cr为R分量与Y分量的差值,Cb为B分量与Y分量的差值,θ为椭圆角度,cx为x轴偏离量,cy为y轴偏离量。优选地,S32中所述提取出手部区域的轮廓,提取出手部区域的轮廓,其特征在于:对于所述提取出的横坐标相同的轮廓点,只保留其中纵坐标较大的轮廓点,结合所有保留下的轮廓点,得到手指轮廓序列。优选地,S32中所述由手指轮廓序列计算得出指尖点坐标,其特征在于,包括如下步骤:利用传统的K余弦算法从提取到的手指轮廓序列中得到包含指尖簇,再利用纵坐标和K余弦相的结合阈值剔除指尖簇中的误差,得到手部总共10个指尖簇,随后利用K-means算法提取各指尖簇的中心作为指尖点坐标。优选地,S4所述击键行为判定步骤,具体包括:S42、指尖点预处理子步骤,连续记录多帧键位内指尖点的位置状况,对指尖点根据欧氏距离进行去抖动处理,去除指尖点轻微跳动的状况,随后扩大指尖点范围,用已识别出的指尖点为圆心的圆作为判定用的指尖点位置;S43、行为定义子步骤,定义任一帧出现指尖点坐标相对于前一帧存在显著的纵坐标变小的现象为抬起动作,定义前两帧指尖点落在键位中,并且第三帧指尖点被标记为抬起动作的连续三帧为离键行为,若出现离键行为,则将离键行为中的最后一帧标记为输出帧;S44、判定子步骤,在标记得到输出帧后,去除在键盘平面内连续运动但并没有实际输出的误判,对于连续三帧图像,只有第一帧没有被标记为离键,而后面两帧被标记为离键行为的帧才被判定为击键行为。优选地,S4所述击键行为判定步骤,还包括:S41、筛选判断子步骤,判断指尖点是否落在键盘平面内,只对落在键盘平面内的指尖点进行记录处理。与现有技术相比,本专利技术的优点主要体现在以下几个方面:本专利技术以单个RGB摄像头作为输入的虚拟键盘方法,为虚拟键盘的输入提供了一种新的思路,本专利技术仅仅依靠一张印有键盘界面的纸张和摄像头就能够完成键盘输入的工作,从而代替传统的物理键盘,具有良好的便携性。整个方法有着较高的实时性和准确性,能够满足用户日常使用的需求。此外,本专利技术也为同领域内的其他相关问题提供了参考,可以以此为依据进行拓展延伸,运用于领域内其他虚拟键入方法的技术方案中,具有十分广阔的应用前景。综上所述,本专利技术提出了一种基于单个RGB摄像头的键盘输入方法,具有很高的使用及推广价值。以下便结合实施例附图,对本专利技术的具体实施方式作进一步的详述,以使本专利技术技术方案更易于理解、掌握。附图说明图1为本专利技术的流程示意图。具体实施方式如图1所示,本专利技术揭示了一种基于单个RGB摄像头的键盘输入方法,包括如下步骤:S1、硬件设置步骤,安装设置RGB摄像头并铺设蓝色键盘纸;S2、虚拟键盘键位定位步骤,利用颜色信息从RGB摄像头中定位到键盘平面的位置,再从键盘平面中提取出每个键位的顶点坐标和质心坐标,随后将所得键位信息与电脑的键盘接口进行匹配;具体包括:S21、键盘位置定位子步骤,利用蓝色键盘纸的颜色信息进行蓝色颜色提取,随后识别键盘平面并提取出键盘整体的顶点位置和质心位置;S22、键位位置定位子步骤,对提取出的键盘平面进行平滑去噪,再在识别出的键盘平面内进行连通区域搜索,得到键盘内所有键位的顶点位置和质心位置;S23、依据定位结果,与电脑端操作系统内的键盘事件应用程序编程接口(API)进行匹配连接。S3、提取指尖点步骤,使用椭圆肤色检测本文档来自技高网
...

【技术保护点】
1.一种基于单个RGB摄像头的键盘输入方法,其特征在于,包括如下步骤:S1、硬件设置步骤,安装设置RGB摄像头并铺设蓝色键盘纸;S2、虚拟键盘键位定位步骤,利用颜色信息从RGB摄像头中定位到键盘平面的位置,再从键盘平面中提取出每个键位的顶点坐标和质心坐标,随后将所得键位信息与电脑的键盘接口进行匹配;S3、提取指尖点步骤,使用椭圆肤色检测算法和形态学处理得到手部区域轮廓,再提取手部轮廓点,随后使用K余弦算法和K‑means算法从轮廓点中提取得到指尖点坐标;S4、击键行为判定步骤,对落在键盘平面内的指尖点进行连续多帧记录,在对指尖点坐标进行预处理后,对击键行为进行判定。

【技术特征摘要】
1.一种基于单个RGB摄像头的键盘输入方法,其特征在于,包括如下步骤:S1、硬件设置步骤,安装设置RGB摄像头并铺设蓝色键盘纸;S2、虚拟键盘键位定位步骤,利用颜色信息从RGB摄像头中定位到键盘平面的位置,再从键盘平面中提取出每个键位的顶点坐标和质心坐标,随后将所得键位信息与电脑的键盘接口进行匹配;S3、提取指尖点步骤,使用椭圆肤色检测算法和形态学处理得到手部区域轮廓,再提取手部轮廓点,随后使用K余弦算法和K-means算法从轮廓点中提取得到指尖点坐标;S4、击键行为判定步骤,对落在键盘平面内的指尖点进行连续多帧记录,在对指尖点坐标进行预处理后,对击键行为进行判定。2.根据权利要求1所述的基于单个RGB摄像头的键盘输入方法,其特征在于,S2所述虚拟键盘键位定位步骤,具体包括:S21、键盘位置定位子步骤,利用蓝色键盘纸的颜色信息进行蓝色颜色提取,随后识别键盘平面并提取出键盘整体的顶点位置和质心位置;S22、键位位置定位子步骤,对提取出的键盘平面进行平滑去噪,再在识别出的键盘平面内进行连通区域搜索,得到键盘内所有键位的顶点位置和质心位置;S23、依据定位结果,与电脑端操作系统内的键盘事件的应用程序编程接口进行匹配连接。3.根据权利要求1所述的基于单个RGB摄像头的键盘输入方法,其特征在于,S3所述虚拟键盘键位定位步骤,具体包括:S31、椭圆肤色提取子步骤,肤色从RGB空间转换到YCrCb空间,将反应环境亮度的Y分量抛弃,在CrCb子空间中利用椭圆肤色检测方法进行肤色提取;S32、指尖提取子步骤,将提取到的手部图像进行平滑去噪处理,然后提取出手部区域的轮廓,得到键盘平面内的手指轮廓序列,再由手指轮廓序列计算得出指尖点坐标。4.根据权利要求1所述的基于单个RGB摄像头的键盘输入方法,其特征在于,S31中所述在CrCb子空间中利用椭圆肤色检测方法进行肤色提取,提取公式为:其中,Cr为R分量...

【专利技术属性】
技术研发人员:陈建新刘希鹏周亮季晖
申请(专利权)人:南京邮电大学
类型:发明
国别省市:江苏,32

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1