基于虚拟画面的空中鼠标追踪方法、系统及存储介质技术方案

本发明专利技术涉及一种基于虚拟画面的空中鼠标追踪方法及系统，其中基于虚拟画面的空中鼠标追踪方法，包括：显示大屏在正常显示帧中插入显示虚拟画面，其中，所述虚拟画面为预设内容的画面；获取目标区域画面，其中所述目标区域画面为有指示光斑的虚拟画面的图像；结合所述虚拟画面中的预设内容，识别所述指示光斑在目标区域中的位置，计算出所述指示光斑在显示画面上的指示位置；将鼠标移动到所述指示位置。在显示大屏中插入显示具有辅助定位的预设内容的虚拟画面，获取有指示光斑的虚拟画面的图像作为目标区域画面，利用虚拟画面中的预设内容，辅助计算得到指示光斑在显示画面上的指示位置，实现了空中鼠标的位置追踪，计算量小，准确度高。

Air Mouse Tracking Method, System and Storage Media Based on Virtual Screen

The invention relates to an air mouse tracking method and system based on a virtual picture, in which an air mouse tracking method based on a virtual picture includes: inserting a display virtual picture into a normal display frame, in which the virtual picture is a picture with preset content; acquiring a target area picture, in which the target area picture is a virtual picture with an indication spot. An image; identifies the position of the indicating spot in the target area, calculates the indicating position of the indicating spot on the display screen, and moves the mouse to the indicating position according to the preset content in the virtual screen. In the display screen, the virtual screen with the preset content of auxiliary positioning is inserted, and the image of the virtual screen with the indicating spot is obtained as the target area screen. The preset content of the virtual screen is used to calculate the indicating position of the indicating spot on the display screen, which realizes the position tracking of the mouse in the air with less calculation and high accuracy.

【技术实现步骤摘要】
基于虚拟画面的空中鼠标追踪方法、系统及存储介质
本专利技术涉及大屏显示控制领域，特别是涉及基于虚拟画面的空中鼠标追踪方法、系统及存储介质。
技术介绍
在教学、汇报演讲、演示文稿、宣传等面向众多人员的活动场景下，经常会使用到大屏幕，来显示内容，比如投影大屏幕、LED显示大屏或者其他种类的显示大屏。讲演人员，为了更好的阐述自己，一般会利用激光演示笔，指出显示大屏上希望听众关注的内容。而现有的激光演示笔，除了激光以及翻页等操作以外，并不能进行鼠标操作。如若讲演人回到讲台进行鼠标操作，则很容易破坏讲演氛围，影响讲演人的思路及听众的兴趣。因此，亟需一种空中鼠标追踪的方案，可以让显示大屏的应用场景中，既能实现激光指示的功能，又能实现鼠标定位，甚至鼠标操作等功能。
技术实现思路
基于此，有必要针对现有演示笔不能实现鼠标定位、操作的问题，提供一种基于虚拟画面的空中鼠标追踪方法、系统及存储介质。本专利技术一实施例提供的基于虚拟画面的空中鼠标追踪方法，包括：显示大屏在正常显示帧中插入显示虚拟画面，其中，所述虚拟画面为预设内容的画面；获取目标区域画面，其中所述目标区域画面为有指示光斑的虚拟画面的图像；结合所述虚拟画面中的预设内容，识别所述指示光斑在目标区域中的位置，计算出所述指示光斑在显示画面上的指示位置；将鼠标移动到所述指示位置。优选的，所述方法还包括，接收鼠标追踪信号。优选的，所述获取目标区域画面，具体包括：拍摄显示虚拟画面的显示大屏的画面；从所述显示大屏的画面中提取目标区域画面。优选的，所述从所述显示大屏的画面中提取目标区域画面，具体包括：识别出所述显示大屏的画面中的显示区域；对所述显示区域的画面进行几何校正，得到目标区域画面。优选的，所述从所述显示大屏的画面中提取目标区域画面，具体包括：识别出所述显示大屏的画面中的指示光斑；按照预设规则，围绕所述指示光斑，得到目标区域画面。优选的，所述预设规则，具体为目标区域内具有至少一种识别特征。优选的，所述虚拟画面中的预设内容为带网格标记的网格。本专利技术另一实施例还提供了一种基于虚拟画面的空中鼠标追踪系统，包括空中鼠标、显示大屏、控制后台；所述显示大屏，根据所述控制后台的控制，在正常显示帧中插入显示虚拟画面，其中，虚拟画面为预设内容的画面；所述空中鼠标与所述控制后台通信连接，所述空中鼠标包括指示单元，在所述显示大屏上形成指示光斑；所述空中鼠标还包括：成像单元，用于获取目标区域画面，其中目标区域画面为有指示光斑的虚拟画面的图像；发送单元，用于向外发送目标区域画面；控制后台，包括：接收单元，用于接收目标区域画面；位置确定单元，结合虚拟画面中的预设内容，识别指示光斑在目标区域中的位置，计算出指示光斑在显示画面上的指示位置；鼠标移动单元，用于将鼠标移动到指示位置。优选的，所述成像单元的成像方向与所述指示单元的指示方向被设置为相同方向；所述成像单元的焦距满足预设焦距范围。本专利技术另一实施例还提供了一种机器可读存储介质，其上存储有计算机程序，其中所述计算机程序在由处理器执行时实现前述的基于虚拟画面的空中鼠标追踪方法。本专利技术实施例中的空中鼠标追踪方法，在显示大屏中插入显示具有辅助定位的预设内容的虚拟画面，获取有指示光斑的虚拟画面的图像作为目标区域画面，利用虚拟画面中的预设内容，辅助计算得到指示光斑在显示画面上的指示位置，实现了空中鼠标的位置追踪。通过设置虚拟画面中辅助定位的预设内容，指示光斑的识别、定位，计算量小，准确度高。还可以进一步执行鼠标操作，能够很好的满足用户的需求。附图说明图1为本专利技术一实施例的基于虚拟画面的空中鼠标追踪系统的结构示意图；图2为本专利技术一实施例的基于虚拟画面的空中鼠标追踪方法的流程示意图；图3为本专利技术一实施例中有指示光斑且显示虚拟画面的显示大屏的画面示意图；图4为本专利技术一实施例中目标区域画面的示意图；图5为本专利技术另一实施例的基于虚拟画面的空中鼠标追踪方法的流程示意图；图6为本专利技术又一实施例的基于虚拟画面的空中鼠标追踪方法的流程示意图；图7为本专利技术一种细化步骤S430的基于虚拟画面的空中鼠标追踪方法的流程示意图；图8为本专利技术另一种细化步骤S430的基于虚拟画面的空中鼠标追踪方法的流程示意图。具体实施方式为了能够更清楚地理解本专利技术的上述目的、特征和优点，下面结合附图和具体实施方式对本专利技术进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施方式及实施方式中的特征可以相互组合。除非另有定义，本文所使用的所有的技术和科学术语与属于本专利技术的
的技术人员通常理解的含义相同。本文中在本专利技术的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是旨在于限制本专利技术。如图1所示，本专利技术的一实施例提供了一种基于虚拟画面的空中鼠标追踪方法，包括：S200，显示大屏在正常显示帧中插入显示虚拟画面，其中，虚拟画面为预设内容的画面；S400，获取目标区域画面，其中目标区域画面为有指示光斑的虚拟画面的图像；S600，结合虚拟画面中的预设内容，识别指示光斑在目标区域中的位置，计算出指示光斑在显示画面上的指示位置；S800，将鼠标移动到指示位置。在本专利技术实施例的方案中，显示大屏在正常显示帧中插入显示虚拟画面，其中，虚拟画面为与预设内容的画面。虚拟画面中的预设内容，主要用于辅助定位。虚拟画面仅是用于空中鼠标追踪，不能被观众查看到，以免影响正常显示内容。为了避免观众察觉到虚拟画面，虚拟画面的显示时间应该足够短，但同时要足够拍摄到在显示大屏上显示虚拟画面的图像。在一个实现方式中，虚拟画面的显示时间可以设置为1/250s。可以理解的是，虚拟画面的显示时间，还可以设置为其他时间，只要不被观众察觉到虚拟画面、且能被拍摄即可。预设内容，可以是布满整个画面的网格，也可以是具有横轴和纵轴的坐标系，还可以是多个辅助定位的特征点，或者前述两种或三种内容的结合，或者其他辅助定位的特征。在一些实现方式中，虚拟画面中，预设内容之外的区域，可以采用单一色彩和/或低亮度。比如，预设内容之外的区域都是白色，与指示光斑的色彩具有明显的差异，以便于快速识别出指示光斑。可以理解的是，预设内容之外的区域的色彩，优选与指示光斑的色彩具有足够差异的色彩。优选的，预设内容为网格，如图3所示。在网格内还可以设置有网格标记，并事先编制每个网格标记在画面中的坐标范围。网格标记可以是该网格在整体网格中的行号和列号，如图3中的1-1、X-Y等行号和列号；也可以是依照一定顺序串联的序列号，或者其他能指示该网格在整体网格中的位置的标记。同时，网格标记也可以指示方向，以有助于识别指示光斑在目标区域中的位置。可以理解的是，网格也可以不采用矩形，而是每个网格采用不同的形状，利用网格各自的形状，来标记各自网格，此时，就不需要单独设置网格标记。得到指示光斑在目标区域中的位置之后，即可根据网络标记在画面中的坐标范围，快速得到指示光斑在画面中的具体位置，进而得到指示光斑在显示画面中的指示位置。网格的边框上，还可以设置刻度标记，帮助计算指示光斑在目标区域中的位置。可以理解的是，每个网格内，还可以设置其他辅助计算指示光斑位置的定位标记，比如对角线、以网格中心为原点的坐标轴等。指示光线照射在显示大屏上，会形成指示光斑。当显示大屏上显示虚拟画面，且有指示光斑时，通过拍摄的方本文档来自技高网...

【技术保护点】
1.一种基于虚拟画面的空中鼠标追踪方法，其特征在于，包括：显示大屏在正常显示帧中插入显示虚拟画面，其中，所述虚拟画面为预设内容的画面；获取目标区域画面，其中所述目标区域画面为有指示光斑的虚拟画面的图像；结合所述虚拟画面中的预设内容，识别所述指示光斑在目标区域中的位置，计算出所述指示光斑在显示画面上的指示位置；将鼠标移动到所述指示位置。

【技术特征摘要】
1.一种基于虚拟画面的空中鼠标追踪方法，其特征在于，包括：显示大屏在正常显示帧中插入显示虚拟画面，其中，所述虚拟画面为预设内容的画面；获取目标区域画面，其中所述目标区域画面为有指示光斑的虚拟画面的图像；结合所述虚拟画面中的预设内容，识别所述指示光斑在目标区域中的位置，计算出所述指示光斑在显示画面上的指示位置；将鼠标移动到所述指示位置。2.根据权利要求1所述的基于虚拟画面的空中鼠标追踪方法，其特征在于，所述方法还包括，接收鼠标追踪信号。3.根据权利要求1所述的基于虚拟画面的空中鼠标追踪方法，其特征在于，所述获取目标区域画面，具体包括：拍摄显示虚拟画面的显示大屏的画面；从所述显示大屏的画面中提取目标区域画面。4.根据权利要求3所述的基于虚拟画面的空中鼠标追踪方法，其特征在于，所述从所述显示大屏的画面中提取目标区域画面，具体包括：识别出所述显示大屏的画面中的显示区域；对所述显示区域的画面进行几何校正，得到目标区域画面。5.根据权利要求3所述的基于虚拟画面的空中鼠标追踪方法，其特征在于，所述从所述显示大屏的画面中提取目标区域画面，具体包括：识别出所述显示大屏的画面中的指示光斑；按照预设规则，围绕所述指示光斑，得到目标区域画面。6.根据权利要求5所述的基于虚拟画面的空中鼠标追踪方法，其特征在于...

【专利技术属性】
技术研发人员：金重星，何昆鹏，吴振志，吴涵渠，
申请(专利权)人：深圳市奥拓电子股份有限公司，
类型：发明
国别省市：广东,44