基于视线的VR显示方法及VR设备技术

本发明专利技术涉及一种基于视线的VR局部显示方法及VR设备。该方法包括：接收初始化指令后显示测试图像并采集用户的第一瞳孔图像以完成所述用户的视线定位初始化；播放视频时，采集所述用户的第二瞳孔图像并根据所述第二瞳孔图像确定所述用户的第二瞳孔中心点；判断所述第二瞳孔中心点在设定时间阈值内是否发生变化，并在未发生变化时局部放大当前视线方向的视频画面。本发明专利技术通过采用眼球追踪技术，精确定位视场内的观测点并以视线滞留作为视频播放中局部放大的操作，解决了当前VR设备播放视频无法局部放大的问题。

Line of sight based VR display method and VR device

The invention relates to a VR based local display method based on line of sight and a VR device. The method includes: receiving initialization instruction after the initialization of sight positioning display the first image and the pupil image acquisition user testing to complete the user; when playing video, collecting the user's second pupil image and according to the second pupil center the second pupil image determines the user; judging whether the second pupil center at the set time threshold is changed, and in the video did not change when the local amplification of the line of sight. The invention adopts the eye tracking technology, observation points within the field of view of the accurate positioning and to sight retention as video playback of local amplification operation, solves the current VR devices cannot play video local amplification problem.

【技术实现步骤摘要】
基于视线的VR显示方法及VR设备
本专利技术属于眼球追踪
，具体涉及一种基于视线的VR显示方法及VR设备。
技术介绍
互联网时代的来临使得人类的交流采用了新的方式，进入了新的领域。具体发展过程如下：命令界面—图形用户界面—多媒体界面—虚拟现实。虚拟现实(VirtualReality,简称VR)，是利用计算机图形系统和各种现实及控制等接口设备，在计算机上生成的、可交互的三维环境中提供沉浸感觉的技术。目前，VR虚拟现实技术可广泛地应用于城市规划、室内设计、工业仿真、古迹复原、桥梁道路设计、房地产销售、旅游教学、水利电力、地质灾害等众多领域，能够提供切实可行的解决方案。目前，VR头戴设备的市场正在逐步扩大，对应的应用方式也在不断扩大。其中，通过VR头戴设备可对播放的视频进行暂停、快进、快退等操作，但操作方式只能是利用体感手柄，体感戒指，体感手环等外部设备完成。另外，若用户需要查看视频画面中的某个细节，更是无法实现的，因此现有VR头戴设备是无法实现VR显示的具体化，用户体验性较差。
技术实现思路
为了解决现有技术中存在的上述问题，本专利技术提供了一种基于视线的VR显示方法及VR设备。本专利技术的一个实施例提供了一种基于视线的VR显示方法，应用于VR设备的局部显示控制，包括：接收初始化指令后显示测试图像并采集用户的第一瞳孔图像以完成所述用户的视线定位初始化；播放视频时，采集所述用户的第二瞳孔图像并根据所述第二瞳孔图像确定所述用户的第二瞳孔中心点；判断所述第二瞳孔中心点在设定时间阈值内是否发生变化，并在未发生变化时局部放大当前视线方向的视频画面。在本专利技术的一个实施例中，接收初始化指令后显示测试图像并采集用户的第一瞳孔图像以完成所述用户的视线定位初始化，包括：接收初始化指令后在视场范围内按照预设的程序依次显示M个观测点以引导所述用户依次观察所述M个观测点；采集所述用户在M个观测点的所述第一瞳孔图像；根据所述第一瞳孔图像确定所述用户的第一瞳孔中心点；根据所述M个观测点和所述M个观测点对应的所述第一瞳孔中心点完成对所述用户的视线定位初始化。在本专利技术的一个实施例中，根据所述第一瞳孔图像确定所述用户的第一瞳孔中心点，包括：处理所述第一瞳孔图像形成第一灰度图像；从所述第一灰度图像中获取所述第一瞳孔的边缘点，并根据所述边缘点拟合形成第一类椭圆曲线；将所述第一类椭圆曲线的中心作为所述第一瞳孔中心点。在本专利技术的一个实施例中，根据所述M个观测点和所述M个观测点对应的所述第一瞳孔中心点完成对所述用户的视线定位初始化，包括：选取观测点与对应的第一瞳孔中心点之间的映射模型，所述映射模型为：其中(X,Y)为观测点在自设坐标系下的坐标信息，(x,y)为第一瞳孔中心点在自设坐标系下的坐标信息，a、b、c、d、e、f、g、h、k、l、m及n为所述映射模型的参数；根据所述M个观测点的坐标和所述M个观测点对应的所述第一瞳孔中心点的坐标计算所述映射模型中的参数以完成所述映射模型的设立。在本专利技术的一个实施例中，采集所述用户的第二瞳孔图像并根据所述第二瞳孔图像确定所述用户的第二瞳孔中心点，包括：采集所述第二第二瞳孔图像并对所述第二瞳孔图像进行灰度化处理形成第二灰度图像；从所述第二灰度图像中获取第二瞳孔的边缘点，并根据所述边缘点拟合形成第二类椭圆曲线；将所述第二类椭圆曲线的中心作为所述第二瞳孔中心点。在本专利技术的一个实施例中，判断所述第二瞳孔中心点在设定时间阈值内是否发生变化，包括：步骤a、将当前时刻采集的所述第二瞳孔图像与前一时刻采集的所述第二瞳孔图像进行第二瞳孔中心点比对；步骤b、若无变化，从前一时刻开始记录时间；步骤c、采集下一时刻的所述第二瞳孔图像；步骤d、将下一时刻采集的所述第二瞳孔图像与当前时刻采集的所述第二瞳孔图像进行第二瞳孔中心点比对；如无变化，则累加时间并判断累计时长是否大于等于所述设定的时间阈值，若是，则停止；若否，继续执行步骤c；若有变化，则重新执行步骤a。在本专利技术的一个实施例中，局部放大当前视线方向的视频画面，包括：根据所述视线定位初始化中确定的映射模型及所述第二瞳孔中心点获得对应在视场画面中的观测点；调用内存资源局部放大所述观测点位置处的视频画面。在本专利技术的一个实施例中，所述映射模型为：其中(X,Y)为观测点在自设坐标系下的坐标信息，(x,y)为第二瞳孔中心点在自设坐标系下的坐标信息，a、b、c、d、e、f、g、h、k、l、m及n为所述映射模型的参数。在本专利技术的一个实施例中，调用内存资源局部放大所述观测点位置处的视频画面，包括：以观测点为中心，调用所述VR设备的内存资源，以视场形状按照预设规则扩大局部的视频画面；其中，用于局部放大的视频画面所采用的内存资源为由放大后已不在视场范围的视频画面所采用的内存资源形成。本专利技术的另一个实施例提供了一种VR设备，包括：处理器及瞳孔图像采集设备；其中，所述处理器用于执行上述实施例中的任一方法。本专利技术实施例，通过采用眼球追踪技术，精确定位视场内的观测点并以视线滞留作为视频播放中的局部放大操作，解决了当前VR设备播放视频无法局部放大的问题。附图说明图1为本专利技术实施例提供的一种VR设备的外形结构示意图；图2为本专利技术实施例提供的一种基于视线的VR显示方法的示意图；图3为本专利技术实施例提供的一种视线定位的初始化方法示意图；图4为本专利技术实施例提供的一种第二瞳孔中心的定位方法示意图；以及图5为本专利技术实施例提供的一种视线滞留判断方法的示意图。具体实施方式下面结合具体实施例对本专利技术做进一步详细的描述，但本专利技术的实施方式不限于此。实施例一请参见图1，图1为本专利技术实施例提供的一种VR设备的外形结构示意图。该VR设备10包括本体11、处理器12和瞳孔图像采集设备13。其中，瞳孔图像采集设备13为包括至少一个红外光源的图像采集设备。因为红外光源对瞳孔内、外的反射有很明显的差异，在瞳孔区域光线较强，亮度高；在非瞳孔区则图像较暗，亮度低，因此可以有效协助图像采集设备完成瞳孔处的拍摄。该VR设备10例如为头戴式设备，当然本专利技术不限于图中所示的外形结构，任何可以实现VR显示功能的设备均为本专利技术的保护范围。请参见图2，图2为本专利技术实施例提供的一种基于视线的VR显示方法的示意图。该方法可以包括：初始化阶段：接收初始化指令后显示测试图像并采集用户的第一瞳孔图像以完成所述用户的视线定位初始化。播放阶段：播放视频时，采集所述用户的第二瞳孔图像并根据所述第二瞳孔图像确定所述用户的第二瞳孔中心点；局部放大阶段：判断所述第二瞳孔中心点在设定时间阈值内是否发生变化，并在未发生变化时局部放大当前视线方向的视频画面。其中，请参见图3，图3为本专利技术实施例提供的一种视线定位的初始化方法示意图。在初始化阶段，具体方法包括如下步骤：步骤1、接收初始化指令后在视场范围内按照预设的程序依次显示M个观测点以引导所述用户依次观察所述M个观测点；步骤2、采集所述用户在M个观测点的所述第一瞳孔图像；步骤3、根据所述第一瞳孔图像确定所述用户的第一瞳孔中心点；步骤4、根据所述M个观测点和所述M个观测点对应的所述第一瞳孔中心点完成对所述用户的视线定位初始化。其中，步骤3可以包括：步骤31、处理所述第一瞳孔图像形成第一灰度图像；步骤32、从所述第一灰度图像中获取所述第一瞳孔的边缘本文档来自技高网...

【技术保护点】
一种基于视线的VR显示方法，应用于VR设备的局部显示控制，其特征在于，包括：接收初始化指令后显示测试图像并采集用户的第一瞳孔图像以完成所述用户的视线定位初始化；播放视频时，采集所述用户的第二瞳孔图像并根据所述第二瞳孔图像确定所述用户的第二瞳孔中心点；判断所述第二瞳孔中心点在设定时间阈值内是否发生变化，并在未发生变化时局部放大当前视线方向的视频画面。

【技术特征摘要】
1.一种基于视线的VR显示方法，应用于VR设备的局部显示控制，其特征在于，包括：接收初始化指令后显示测试图像并采集用户的第一瞳孔图像以完成所述用户的视线定位初始化；播放视频时，采集所述用户的第二瞳孔图像并根据所述第二瞳孔图像确定所述用户的第二瞳孔中心点；判断所述第二瞳孔中心点在设定时间阈值内是否发生变化，并在未发生变化时局部放大当前视线方向的视频画面。2.根据权利要求1所述的方法，其特征在于，接收初始化指令后显示测试图像并采集用户的第一瞳孔图像以完成所述用户的视线定位初始化，包括：接收初始化指令后在视场范围内按照预设的程序依次显示M个观测点以引导所述用户依次观察所述M个观测点；采集所述用户在M个观测点的所述第一瞳孔图像；根据所述第一瞳孔图像确定所述用户的第一瞳孔中心点；根据所述M个观测点和所述M个观测点对应的所述第一瞳孔中心点完成对所述用户的视线定位初始化。3.根据权利要求2所述的系统，其特征在于，根据所述第一瞳孔图像确定所述用户的第一瞳孔中心点，包括：处理所述第一瞳孔图像形成第一灰度图像；从所述第一灰度图像中获取所述第一瞳孔的边缘点，并根据所述边缘点拟合形成第一类椭圆曲线；将所述第一类椭圆曲线的中心作为所述第一瞳孔中心点。4.根据权利要求2所述的方法，其特征在于，根据所述M个观测点和所述M个观测点对应的所述第一瞳孔中心点完成对所述用户的视线定位初始化，包括：选取观测点与对应的第一瞳孔中心点之间的映射模型，所述映射模型为：其中(X,Y)为观测点在自设坐标系下的坐标信息，(x,y)为第一瞳孔中心点在自设坐标系下的坐标信息，a、b、c、d、e、f、g、h、k、l、m及n为所述映射模型的参数；根据所述M个观测点的坐标和所述M个观测点对应的所述第一瞳孔中心点的坐标计算所述映射模型中的参数以完成所述映射模型的设立。5.根据权利要求1所述的方法，其特征在于，采集所述用户的第二瞳孔图像并根据所述...

【专利技术属性】
技术研发人员：张亮，单瑚，左瑜，
申请(专利权)人：西安科锐盛创新科技有限公司，
类型：发明
国别省市：陕西,61