【技术实现步骤摘要】
本专利技术涉及手势识别及计算机交互设计，属于人工智能及人机交互。
技术介绍
1、操作系统（如windows）一般内置了鼠标操作的相关指令，常用的物理鼠标之所以可正常工作，是因为操作系统根据鼠标按键的动作来执行相应的指令。事实上，使用代码调用操作系统的鼠标指令，也可以达到物理鼠标的点击或移动效果。
2、现有的手势识别技术可以在图像中标出手的21个关键点，即可以给出每个关键点在图像中的坐标，比如，文献《online detection and classification of dynamic handgestures with recurrent 3d convolutional neural networks》（https://doi.org/10.1109/cvpr.2016.456）公开了基于递归三维卷积神经网络的手势识别系统，实现了83.8%的准确率，文献《a hand pose tracking benchmark from stereo matching》（https://doi.org/10.1109/icip.2017.8296428）使用18000张不同场景中手部立体图像以及图像对应的手部关键点3d坐标训练出手部识别模型，有较好的跟踪性能。文献《mediapipe hands: on-device real-time hand tracking》（https://arxiv.org/pdf/2006.10214.pdf）采用了30000万张具有三维手势关键点坐标的真实手势图训练，综合识别精度已达到了9
3、现有的与物理机器绝对无接触的手势操控技术一般为某一软件中自带的功能，它仅能在其所属的软件中生效，不具有通用性。。
技术实现思路
1、本专利技术设计了一种完全基于手势识别的虚拟鼠标软件系统，该虚拟鼠标具有很高的通用性，可以操控操作系统中的任意软件。在个人计算机上，一定程度上可替代物理鼠标；在配备了较大显示器的公共系统上，如商场店铺引导系统、博物馆馆藏品展示系统，则可以基本替代物理鼠标和触屏操作。
2、其工作原理为：首先，虚拟鼠标系统通过计算机的摄像头捕获实时场景图像；然后，使用手势识别技术识别图像中的手的关键点在图像中的坐标，以关键点的坐标关系来判定当前的手势，如果操作者当前的手势满足预定义的鼠标操控手势（比如仅食指伸出），系统将图像坐标映射到显示器坐标，得到鼠标指针在显示器的目标位置；然后，系统设置鼠标指针到目标位置；然后，操作者变换手势，发送鼠标操作的手势信号；最后，系统根据具体的手势发出对应的鼠标操作信号。
3、本专利技术将“仅中指伸出”和 “仅大拇指与中指伸出”的手势作为鼠标滚轮滚动的手势，并且鼠标操作会立即执行。对于鼠标滚轮滚动之外的操作，使用大拇指的伸出与闭合作为发送信号的操作，以食指尖引导鼠标指针在显示器屏幕中移动。当移动到目标对象上时，保持其他手指位置不动，伸出大拇指，系统即进行对应的鼠标操作。对于一部分人来说，无名指不像食指与中指那样容易伸出，所以对于需要无名指伸出的情况，小拇指也可代替其功能，并且二者并不互斥。
4、鼠标操作与其对应的手势及手势变化如下：
5、(1) 当食指处于伸出状态时，鼠标指针跟随食指尖的移动而移动；
6、(2) 在仅食指伸出的情况下，伸出大拇指，系统立即发出鼠标左键单击操作；
7、(3) 在仅食指伸出的情况下，伸出大拇指超过一定的时间（比如0.5秒），系统立即发出鼠标左键按下操作；
8、(4) 当系统处于鼠标左键按下状态时，操控者做出除“仅大拇指与食指伸出”之外的其他手势，系统立即进行鼠标左键释放操作；
9、(5) 在仅食指与中指伸出的情况下，伸出大拇指，系统立即发出鼠标左键双击操作；
10、(6) 在仅食指、中指和无名指伸出的情况下，伸出大拇指，系统立即发出鼠标右键单击操作；
11、(7) 在仅食指、中指和小拇指伸出的情况下，伸出大拇指，系统亦立即发出鼠标右键单击操作；
12、(8) 在仅食指、中指、无名指和小拇指伸出的情况下，伸出大拇指，系统亦立即发出鼠标右键单击操作；
13、(9) 在仅中指伸出时，系统作出鼠标滚轮向上或向下滚动的操作；
14、(10) 在仅大拇指与中指伸出时，系统作出与“仅中指伸出”时滚轮滚动方向相反的鼠标滚轮滚动操作。
本文档来自技高网...【技术保护点】
1.一种基于手势的虚拟鼠标系统，其具有特征：操作该虚拟鼠标系统时，操作者与计算机系统可以无任何物理接触，操作者可以仅单手进行操作，系统通过计算机的摄像头捕获实时图像，若检测到图像中存在预定义的手势，或检测到手势并且该手势与之前出现的手势存在预定义的动作关联，则进行对应的鼠标操作。
2.权利要求1中的一种基于手势的虚拟鼠标系统，其亦有特征：当食指处于伸出状态时，鼠标指针跟随食指尖的移动而在显示器屏幕中移动。
3.权利要求1中的一种基于手势的虚拟鼠标系统，其亦有特征：在仅食指伸出的情况下，伸出大拇指，系统立即做出鼠标左键单击操作。
4.权利要求1中的一种基于手势的虚拟鼠标系统，其亦有特征：在仅食指伸出的情况下，伸出大拇指超过一定的时间，系统立即做出鼠标左键按下操作，一定的时间包含但不限于0.4~1秒。
5.权利要求1中的一种基于手势的虚拟鼠标系统，其亦有特征：当系统处于鼠标左键按下状态时，操控者做出除“仅食指与大拇指伸出”之外的其他手势，系统立即做出鼠标左键释放操作。
6.权利要求1中的一种基于手势的虚拟鼠标系统，其亦有特征
7.权利要求1中的一种基于手势的虚拟鼠标系统，其亦有特征：在仅食指、中指和无名指伸出的情况下，伸出大拇指，系统立即做出鼠标右键单击操作。
8.权利要求1中的一种基于手势的虚拟鼠标系统，其亦有特征：在仅食指、中指和小拇指伸出的情况下，伸出大拇指，系统立即做出鼠标右键单击操作。
9.权利要求1中的一种基于手势的虚拟鼠标系统，其亦有特征：在仅食指、中指、无名指和小拇指伸出的情况下，伸出大拇指，系统立即做出鼠标右键单击操作。
10.权利要求1中的一种基于手势的虚拟鼠标系统，其亦有特征：在仅中指伸出时，系统做出鼠标滚轮滚动操作；在仅中指与大拇指伸出时，系统做出与“仅中指伸出”时滚轮滚动方向相反的鼠标滚轮滚动操作。
...【技术特征摘要】
1.一种基于手势的虚拟鼠标系统，其具有特征：操作该虚拟鼠标系统时，操作者与计算机系统可以无任何物理接触，操作者可以仅单手进行操作，系统通过计算机的摄像头捕获实时图像，若检测到图像中存在预定义的手势，或检测到手势并且该手势与之前出现的手势存在预定义的动作关联，则进行对应的鼠标操作。
2.权利要求1中的一种基于手势的虚拟鼠标系统，其亦有特征：当食指处于伸出状态时，鼠标指针跟随食指尖的移动而在显示器屏幕中移动。
3.权利要求1中的一种基于手势的虚拟鼠标系统，其亦有特征：在仅食指伸出的情况下，伸出大拇指，系统立即做出鼠标左键单击操作。
4.权利要求1中的一种基于手势的虚拟鼠标系统，其亦有特征：在仅食指伸出的情况下，伸出大拇指超过一定的时间，系统立即做出鼠标左键按下操作，一定的时间包含但不限于0.4~1秒。
5.权利要求1中的一种基于手势的虚拟鼠标系统，其亦有特征：当系统处于鼠标左键按下状态时，操控者做出除“仅食指...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。