手机互联分屏投射的手势识别系统及方法技术方案

本发明专利技术公开了一种手机互联分屏投射的手势识别系统，包括手机和计算机类终端，手机用于与计算机类终端建立分屏投射通道，计算机类终端用于显示手机的手机虚拟屏界面；手机将手机摄像头手势识别区域内识别到的单指手势移动时的单指手势位置变化转换为手机虚拟屏上鼠标类指示图标的位置同步变化；手机将手机摄像头手势识别区域内识别到的确认手势操作转换为所述手机虚拟屏界面上鼠标类指示图标当前位置的点击事件。本发明专利技术可以在手机分屏投射时，将闲置的手机摄像头进行用户手势动作识别，对计算机类终端上的手机分屏进行控制，提高用户体验和驾驶安全性。高用户体验和驾驶安全性。高用户体验和驾驶安全性。

【技术实现步骤摘要】
手机互联分屏投射的手势识别系统及方法


[0001]本专利技术涉及计算机
，具体地指一种手机互联分屏投射的手势识别系统及方法。

技术介绍

[0002]手机互联分屏投射技术为手机与计算机类终端通过USB线或者WiFi实现通信连接，手机运行一个APP应用，计算机类终端也同时运行对应的APP应用，两个APP应用通过上面的物理通讯通道，建立TCP通讯通道。互联时APP应用会在手机系统中创建一个不可见的虚拟屏，主屏锁屏或显示一个锁屏遮罩，手机虚拟屏上显示的内容，如图2所示，APP通过抓屏和视频编码，把界面通过视频流发给计算机类终端，计算机类终端的APP接收后通过解码视频流来显示手机发来的视频数据。如果计算机类终端屏幕是触摸屏，那么可以直接在触摸屏上进行点击拖动等控制动作，计算机类终端上的APP把事件通过互联传输通道转发给手机端APP，APP经过坐标换算后，注入到手机APP创建的虚拟屏界面中，实现反向控制。
[0003]这种控制方式，在车辆驾车时，显示屏的位置距离驾驶员较远，驾驶员需要侧身才能进行触控操作，不够安全便捷；
[0004]另外，如果计算机类终端为不具有触控功能的仪表类终端时，就无法对显示的界面进行触控操作，只能查看，用户体验较差。

技术实现思路

[0005]本专利技术的目的就是要提供一种手机互联分屏投射的手势识别系统及方法，本专利技术可以在手机分屏投射时，将闲置的手机摄像头进行用户手势动作识别，对计算机类终端上的手机分屏进行控制，提高用户体验和驾驶安全性。
[0006]为实现此目的，本专利技术所设计的手机互联分屏投射的手势识别系统，包括手机和计算机类终端，手机用于与计算机类终端建立分屏投射通道，计算机类终端用于显示手机的手机虚拟屏界面，手机用于开启手机摄像头；
[0007]手机还用于将手机摄像头手势识别区域内识别到的单指手势移动时的单指手势位置变化转换为手机虚拟屏上鼠标类指示图标的位置同步变化；
[0008]手机还用于将手机摄像头手势识别区域内识别到的确认手势操作转换为所述手机虚拟屏界面上鼠标类指示图标当前位置的点击事件。
[0009]本专利技术的有益效果：
[0010]本专利技术在手机主屏上增加一个手势识别功能，用户在手机摄像头上面进行左右摆动手掌，单食指移动以及OK手势操作时，转换成对应的控制事件，并直接把事件传给虚拟屏的界面。并在虚拟屏上同步显示鼠标类指示图标，方便用户了解当前坐标点位置以及操作动作，如点击，拖动，双击等。通过手机互联投屏技术，计算机类终端可以看到虚拟屏的界面以及操作过程。本专利技术利用手机摄像头进行手势识别，放在用户手边，实现了安全方便，快捷的操作，提高了驾驶安全性和流畅性。
附图说明
[0011]图1为本专利技术的结构示意图；
[0012]图2为本专利技术分屏投射的示意图；
[0013]图3为本专利技术使用状态示意图。
[0014]其中，1—手机、2—计算机类终端。
具体实施方式
[0015]以下结合附图和具体实施例对本专利技术作进一步的详细说明：
[0016]如图1所示的手机互联分屏投射的手势识别系统，它包括手机1和计算机类终端2(如车机等)，手机1用于与计算机类终端2建立分屏投射通道，计算机类终端2用于显示手机1的手机虚拟屏界面，手机1用于开启手机摄像头，并显示手势识别功能界面，手机1利用手势识别功能通过调用手机摄像头捕捉用户手势操作，所述手机虚拟屏界面上具有鼠标类指示图标，指示当前可以点击的坐标位置，如图2所示；
[0017]手机1还用于通过腾讯云手势识别软件(Gesture Recognition，GR)等手势识别SDK(软件开发包)将手机摄像头手势识别区域内识别到的单指手势移动时的单指手势位置变化转换为手机虚拟屏上鼠标类指示图标的位置同步变化，当识别不到单指手势时，鼠标类指示图标停留当前位置；
[0018]手机1还用于通过腾讯云手势识别软件(Gesture Recognition，GR)等手势识别SDK(软件开发包)将手机摄像头手势识别区域内识别到的确认手势操作(OK手势)转换为所述手机虚拟屏界面上鼠标类指示图标当前位置的点击事件。
[0019]上述技术方案中，手机1还用于通过腾讯云手势识别软件(Gesture Recognition，GR)等手势识别SDK(软件开发包)将手机摄像头手势识别区域内识别到的取消手势操作(握拳手势)转换为取消当前单指手势移动操作。
[0020]上述技术方案中，所述手机摄像头手势识别区域与计算机类终端2的屏幕平行。这样识别的时候，手势左右移动刚好跟屏幕方向移动一样的方向，保证手势识别和手机虚拟屏界面坐标转换的准确性。
[0021]上述技术方案中，所述手机1的应用程序通过摄像头识别当前单指手势移动动作，判断单指手势移动时位置变化的操控事件，并通过坐标变换的方式，将手机1识别的单指手势的坐标转换为手机虚拟屏界面的鼠标类指示图标的坐标，使手机虚拟屏界面的鼠标类指示图标进行同步位置变化。
[0022]上述技术方案中，手机虚拟屏界面上鼠标类指示图标的初始位置默认为手机虚拟屏界面的中心点。用户在进行手势操作时，看到的界面是虚拟屏的界面，因此，需要看到当前的鼠标类指示图标在哪里，方便用户对鼠标类指示图标进行精确的手势控制。用户使用单手上下左右移动时，根据手势识别出来的位置和移动速度，同步移动虚拟屏鼠标类指示图标，以方便用户进行点击操作。
[0023]上述技术方案中，手机1将手机摄像头手势识别区域内识别到的单指手势移动距离d乘以预设系数a，作为手机虚拟屏上鼠标类指示图标的移动距离，系数a默认为1，系数a可以根据实际的使用场景进行调整。比如手势移动的空间很小，可以把这个系数调大，如2倍。
[0024]上述技术方案中，手机1将确认手势操作转换为所述手机虚拟屏界面上鼠标类指示图标当前位置的点击事件的具体方法为：手机应用程序记录由单指手势操作形成的手机虚拟屏界面上鼠标类指示图标的位置坐标；
[0025]当手机摄像头手势识别区域内识别到确认手势操作时，手机应用程序将确认手势操作对应的坐标转换为手机虚拟屏界面上鼠标类指示图标的位置坐标，并在此时的手机虚拟屏界面上鼠标类指示图标的位置坐标对应位置注入点击事件。手机虚拟屏界面上鼠标类指示图标进行对应的点击动作提示，比如鼠标显示点击动画。
[0026]上述技术方案中，所述手机1对手机摄像头手势识别区域内识别到的左右摆动手掌动作定义为拖动事件，直接注入到手机虚拟屏界面中；
[0027]本实施例，利用Android提供的一个api，dispatchTouchEvent，给应用层来控制应用自己的界面，来实现上述注入点击事件和拖动事件。
[0028]上述技术方案中，所述手机1显示手势识别界面来取代锁屏或显示锁屏遮罩，或者手机1在锁屏或显示锁屏遮罩的基础上叠加显示手势识别界面。手机1与计算机类终端2互联时，手机1运行应用程序，如图2所示手机1显示互联成功的遮罩界面。用户想切换到手势操作时，可本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种手机互联分屏投射的手势识别系统，它包括手机(1)和计算机类终端(2)，手机(1)用于与计算机类终端(2)建立分屏投射通道，其特征在于：计算机类终端(2)用于显示手机(1)的手机虚拟屏界面，手机(1)用于开启手机摄像头；手机(1)还用于将手机摄像头手势识别区域内识别到的单指手势移动时的单指手势位置变化转换为手机虚拟屏上鼠标类指示图标的位置同步变化；手机(1)还用于将手机摄像头手势识别区域内识别到的确认手势操作转换为所述手机虚拟屏界面上鼠标类指示图标当前位置的点击事件。2.根据权利要求1所述的手机互联分屏投射的手势识别系统，其特征在于：手机(1)还用于将手机摄像头手势识别区域内识别到的取消手势操作转换为取消当前单指手势移动操作。3.根据权利要求1所述的手机互联分屏投射的手势识别系统，其特征在于：所述手机摄像头手势识别区域与计算机类终端(2)的屏幕平行。4.根据权利要求1所述的手机互联分屏投射的手势识别系统，其特征在于：所述手机(1)的应用程序通过摄像头识别当前单指手势移动动作，判断单指手势移动时位置变化的操控事件，并通过坐标变换的方式，将手机(1)识别的单指手势的坐标转换为手机虚拟屏界面的鼠标类指示图标的坐标。5.根据权利要求1所述的手机互联分屏投射的手势识别系统，其特征在于：手机虚拟屏界面上鼠标类指示图标的初始位置默认为手机虚拟屏界面的中心点。6.根据权利要求1所述的手机互联分屏投射的手势识别系统，其特征在于：手机(1)将手机摄像头手势识别区域内识别到的单指手势移动距离d乘以预设系数a，作为手机虚拟屏上鼠标类指示图标的移动距离。7.根据权利要求1所述的手机互联分屏投射的手势识...

【专利技术属性】
技术研发人员：梁会，冉龙波，卢超，
申请(专利权)人：武汉卡比特信息有限公司，
类型：发明
国别省市：