基于双手手指之间动作的智能电子设备手势捕获与识别技术制造技术

一种智能电子设备，具有传感器，所述传感器能够感测到屏幕上方的、用户在使用电子设备时的手部的信息，其中所述智能电子设备处理传感器感测的数据、识别双手手指之间的动作，作为用户针对智能电子设备的手势输入，并进行相应的控制操作。传感器可以为安装在智能电子设备上的摄像系统，能够捕获到屏幕上方的、用户在使用电子设备时的手部图像。丰富了手机的输入方式，使得人机交互变得更加友好便捷。

Gesture Capture and Recognition Technology of Intelligent Electronic Equipment Based on the Action between Two Hands and Fingers

【技术实现步骤摘要】
基于双手手指之间动作的智能电子设备手势捕获与识别技术
本专利技术总体地涉及智能电子便携设备的输入技术和交互技术，特别是涉及通过设置镜面装置使得智能电子设备如手机能够捕捉新手势以及构建双目视觉系统的技术。
技术介绍
目前手机上摄像头的视野范围有限且固定，如前置摄像头，只能获取手机正上方60*80度左右空间范围中的图像信息，(2)手机现有摄像头基本上都是单目摄像头，单目摄像头只能获取其视野范围内物体的RGB信息，无法获取其三维信息。由于手机现有的现有摄像头的缺陷，我们无法使用手机获得用户自然使用手机时的手部信息，许多对与手机交互有价值的手部信息被忽略。目前手机上的输入通道还是有限的，大部分信息都是依靠手机电容屏读到的数据，即用户的手与触摸屏之间的直接接触而产生的，因此会出现一些操作繁琐或操作不自然等现象。
技术实现思路
鉴于上述情况，提出了本专利技术。根据本专利技术的一个方面，提供了一种智能电子设备，部署有摄像头，所述摄像头能够捕获用户持握设备的持握手的图像智能电子设备基于所获得的用户的持握手的图像，识别持握手的手势，基于识别的持握手的手势，智能电子设备执行相应的控制操作。可选地，所述识别持握手的手势包括跟踪电子设备周围握持手指的位置，以及以不同持握手指的抬起、移动或敲击智能电子设备的动作作为交互的信息输入。可选地，所述持握手势模型包括手持智能电子设备拍照的手势，称此为拍照手势，当智能电子设备识别到拍照手势时，智能电子设备自动启动拍照的应用，并自动拍摄一张照片。可选地,智能电子设备，还还能够操作来：识别用户是用哪只手进行持握；基于识别结果，对图形用户界面布局进行调整，使得用户的持握手的手指能够相比于调整前更容易地点击到目标部件。可选地，摄像头在智能电子设备的边缘。可选地，摄像头是在屏幕下方的鱼眼摄像头。可选地，智能电子设备还包括与摄像头结合使用的红外照明和红外滤光片，以增大信噪比。可选地，摄像头是深度摄像头。可选地，智能电子设备还包括倾斜于智能电子设备的屏幕布置的光学反射装置，该光线反射装置能够反射平行于电子设备屏幕表面的光使其被摄像头捕捉，从而在用户持握电子设备时，摄像头能够捕获到屏幕上方的、用户在握持电子设备时的手部的图像；智能电子设备基于所获得的用户的手部图像，识别此时用户的手部动作和/或姿态，作为用户的输入信息，并与用户交互。可选地，所述光线反射装置是镜片、三棱镜、凸面镜以及多镜片之一或者其组合。可选地，所述摄像头为广角摄像头。可选地，所述广角摄像头被置于屏幕中央，其光轴方向垂直于电子设备触摸屏，具有170度到190度视角。可选地，所述摄像头为可升降摄像头和/或可调整角度摄像头。可选地，所述可升降摄像头和/或可调整角度摄像头的视野范围为其视野范围以平行于电子设备平面纵向轴的视线为零度线、在电子设备平面的横向轴的法平面内至少-40度到40度的范围。可选地，所述智能电子设备为智能手机、智能车载电子设备、智能平板电脑中的任一个。根据本专利技术的另一方面，提供了一种所述智能电子设备部署有摄像头，所述摄像头能够捕获用户持握设备的持握手的图像，所述人机交互方法包括：基于所获得的用户的持握手的图像，识别持握手的手势，基于识别的持握手的手势，电子设备执行相应的控制操作。可选地，智能电子设备具有摄像头和倾斜于电子设备屏幕表面布置的光线反射装置，所述人机交互方法包括：摄像系统在用户持握电子设备时捕获到屏幕上方的、用户在使用电子设备时的手部的图像；智能电子设备基于所获得的用户的手部图像，识别此时用户的手部动作和/或姿态，作为用户的输入信息，并基于此输入信息与用户交互。根据本专利技术的另一方面，提供了一种智能电子设备，具有传感器，所述传感器能够感测到屏幕上方的、用户在使用电子设备时的手部的信息，其中所述智能电子设备处理传感器感测的数据、识别双手手指之间的动作，作为用户针对智能电子设备的手势输入，并进行相应的控制操作。可选地，所述传感器为安装在智能电子设备上的摄像系统，能够捕获到屏幕上方的、用户在使用电子设备时的手部的图像。可选地，还包括基于所获得的用户持握电子设备时的手部的图像，识别此时用户的持握状态下的手势，作为用户的输入信息，并与用户交互,其中，智能电子设备进行下述手势识别中的至少一项：智能电子设备识别单手持握姿势，以及识别另一只手对持握手的触碰动作，作为与智能电子设备的手势输入，来进行与用户的交互；智能电子设备识别双手持握姿势，以及识别双手拇指之间的动作，作为针对智能电子设备的手势输入，来进行与用户的交互。可选地，所述摄像系统包括前置摄像头和倾斜于电子设备屏幕表面布置的镜片或三棱镜，该镜片或三棱镜反射平行于电子设备屏幕表面的光，使其被前置摄像头捕捉，前置摄像头捕获到经镜片或三棱镜反射的光，从而捕获到用户持握电子设备时，屏幕上方的、用户在使用电子设备时的手部的图像；智能电子设备基于所获得的用户持握电子设备时的手部的图像，识别此时用户的持握状态下的手势，作为用户的输入信息，并与用户交互,其中，智能电子设备进行下述手势识别中的至少一项智能电子设备识别单手持握姿势，以及识别另一只手对持握手的触碰动作，作为与智能电子设备的手势输入，来进行与用户的交互智能电子设备识别双手持握姿势，以及识别双手拇指之间的动作，作为与智能电子设备的手势输入，来进行与用户的交互。可选地，智能电子设备通过识别侧面突出的四指以及出现在电子设备上方或侧面的一个拇指，来识别单手持握姿势。可选地，智能电子设备通过识别出现在智能电子设备两侧的拇指指根和屏幕上方的两个拇指指头，来识别双手持握姿势。可选地，在单手持握的情况下，另一只手对持握手的触碰动作包括：手指按钮和手指滑动条手势，其中手指按钮手势中，以持握手的手指作为按钮，另一只手对其进行触摸，在手指滑动条手势中，以持握手的手指作为滑动条，另一只手在其上滑动或点击。可选地，所述双手拇指之间的动作包括下面中的一个或多个：拇指相触；拇指轮转；拇指分别按一定路径动作；拇指相触之后按一定路径动作。根据本专利技术的另一方面，提供了一种智能电子设备的人机交互方法，智能电子设备具有传感器，所述传感器能够捕获到屏幕上方的、用户在使用电子设备时的手部的图像，其中所述人机交互方法包括：所述智能电子设备识别双手手指之间的动作，作为用户针对智能电子设备的手势输入，并进行相应的控制操作。可选地，所述传感器为安装在智能电子设备上的摄像系统，能够捕获到屏幕上方的、用户在使用电子设备时的手部图像。可选地，人机交互方法还包括基于所获得的用户持握电子设备时的手部图像，识别此时用户的持握状态下的手势，作为用户的输入信息，并与用户交互其中，识别此时用户的持握状态下的手势包括进行下述手势识别中的至少一项：识别单手持握姿势，以及识别另一只手对持握手的触碰动作，作为与智能电子设备的手势输入，来进行与用户的交互；识别双手持握姿势，以及识别双手拇指之间的动作，作为针对智能电子设备的手势输入，来进行与用户的交互。可选地，所述摄像系统包括前置摄像头和倾斜于智能电子设备屏幕表面布置的镜片或三棱镜，该镜片或三棱镜反射平行于电子设备屏幕表面的光，使其被前置摄像头捕捉，前置摄像头捕获到经镜片或三棱镜反射的光，从而捕获到用户持握电子设备时，屏幕上方的、用户在使用电子设备时的手部的图像。可本文档来自技高网...

【技术保护点】
1.一种智能电子设备，具有传感器，所述传感器能够感测到屏幕上方的、用户在使用电子设备时的手部的信息，其中所述智能电子设备处理传感器感测的数据、识别双手手指之间的动作，作为用户针对智能电子设备的手势输入，并进行相应的控制操作。

【技术特征摘要】
1.一种智能电子设备，具有传感器，所述传感器能够感测到屏幕上方的、用户在使用电子设备时的手部的信息，其中所述智能电子设备处理传感器感测的数据、识别双手手指之间的动作，作为用户针对智能电子设备的手势输入，并进行相应的控制操作。2.根据权利要求1的智能电子设备，所述传感器为安装在智能电子设备上的摄像系统，能够捕获到屏幕上方的、用户在使用电子设备时的手部的图像。3.根据权利要求1的智能电子设备，还包括基于所获得的用户持握电子设备时的手部的图像，识别此时用户的持握状态下的手势，作为用户的输入信息，并与用户交互,其中，智能电子设备进行下述手势识别中的至少一项：智能电子设备识别单手持握姿势，以及识别另一只手对持握手的触碰动作，作为与智能电子设备的手势输入，来进行与用户的交互；智能电子设备识别双手持握姿势，以及识别双手拇指之间的动作，作为针对智能电子设备的手势输入，来进行与用户的交互。4.根据权利要求3的智能电子设备，所述摄像系统包括前置摄像头和倾斜于电子设备屏幕表面布置的镜片或三棱镜，该镜片或三棱镜反射平行于电子设备屏幕表面的光，使其被前置摄像头捕捉，前置摄像头捕获到经镜片或三棱镜反射的光，从而捕获到用户持握电子设备时，屏幕上方的、用户在使用电子设备时的手部的图像；智能电子设备基于所获得的用户持握电子设备时的手部的图像，识别此时用户的持握状态下的手势，作为用户的输入信息，并与用户交互,其中，智能电子设备进行下述手势识别中的至少一项：智能电子设备识别单...

【专利技术属性】
技术研发人员：史元春，喻纯，韦笑颖，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11