一种基于移动端的虚拟现实图像处理系统技术方案

本发明专利技术公开一种基于移动端的虚拟现实图像处理系统，包括：视线计算模块、多层次渲染模块以及显示模块；视线计算模块用于控制移动端的摄像头实时获取用户脸部图像，通过用户脸部图像实时确定用户瞳孔位置，并根据用户瞳孔位置确定用户视线区域，视线区域不占满移动端的整个显示屏；多层次渲染模块对视线区域内待播放图像的底层数据进行点分裂得到高层网格数据，处理视线区域以外待播放图像的底层数据的得到底层网格数据；显示模块将多层次渲染模块处理后的待播放图像数据分屏变换后显示给用户，使用户看到虚拟现实的图像。本发明专利技术克服现有移动端虚拟现实设备刷新频率不足画面丢失、重影以及移动端虚拟设备内存不够等技术问题。

A Virtual Reality Image Processing System Based on Mobile Terminal

The invention discloses a virtual reality image processing system based on mobile terminal, which includes: line of sight calculation module, multi-level rendering module and display module; line of sight calculation module is used to control the camera of mobile terminal to acquire the user's face image in real time, determine the user's pupil position in real time through the user's face image, and according to the use of The location of the pupil determines the user's line of sight area, which does not occupy the whole display screen of the mobile end. The multi-level rendering module splits the bottom data of the image to be played in the line of sight area to get the high-level grid data, and processes the bottom data of the image to be played out of the line of sight area to get the bottom grid data. The block transforms the playback image data processed by the multi-level rendering module into sub-screens and displays them to the user, so that the user can see the image of virtual reality. The invention overcomes the technical problems of insufficient refresh frequency of the existing mobile virtual reality device, loss of picture, duplication and insufficient memory of the mobile virtual device.

【技术实现步骤摘要】
一种基于移动端的虚拟现实图像处理系统
本专利技术涉及虚拟现实(VirtualReality，VR)
，更具体地，涉及一种基于移动端的虚拟现实图像处理系统。
技术介绍
近年来，随着虚拟现实技术的风靡，越来越多应用虚拟现实技术的产品出现，虚拟现实技术将人们从现实带到了虚拟世界。目前的虚拟现实技术的呈现，主要是体验者依靠全封闭的头戴型显示器观看电脑模拟产生的虚构世界的影像，并配有耳机、运动传感器或其他设备等，为其提供视觉、听觉、触觉等方面的感官体验，虚拟现实系统的整套设备可以根据体验者的反应做出反馈，使体验者达到身临其境的感觉。作为应用了虚拟现实技术的VR头戴设备受到了消费者尤其是科技迷的广泛关注和追捧。目前，市面上的虚拟现实设备大多需要同终端配合使用，将安放在头戴设备中的终端作为头戴设备的显示屏。终端需要对显示画面进行虚拟现实图像处理，将二维的平面画面转变为虚拟的立体画面。在转变的过程中，为了使虚拟画面更真实，终端需要对播放的画面进行图像渲染，但是全渲染要求的运算资源十分高，观看全渲染图像的代价是帧率下降，延时提高，带来卡顿等不良的视觉感受。在虚拟现实设备中，为了正确在虚拟世界里呈本文档来自技高网...

【技术保护点】
1.一种基于移动端的虚拟现实图像处理系统，其特征在于，包括：视线计算模块、多层次渲染模块以及显示模块；所述视线计算模块用于控制移动端的摄像头实时获取用户脸部图像，通过用户脸部图像实时确定用户瞳孔位置，并根据用户瞳孔位置确定用户视线区域，所述视线区域不占满所述移动端的整个显示屏；所述多层次渲染模块用于通过累进网格算法中的点分裂算法对视线区域内待播放图像的底层数据进行点分裂得到高层网格数据，通过累进网格算法中的边折叠算法处理视线区域以外待播放图像的底层数据的得到底层网格数据；所述显示模块用于将多层次渲染模块处理后的待播放图像数据分屏变换后显示给用户，使用户看到虚拟现实的图像。

【技术特征摘要】
1.一种基于移动端的虚拟现实图像处理系统，其特征在于，包括：视线计算模块、多层次渲染模块以及显示模块；所述视线计算模块用于控制移动端的摄像头实时获取用户脸部图像，通过用户脸部图像实时确定用户瞳孔位置，并根据用户瞳孔位置确定用户视线区域，所述视线区域不占满所述移动端的整个显示屏；所述多层次渲染模块用于通过累进网格算法中的点分裂算法对视线区域内待播放图像的底层数据进行点分裂得到高层网格数据，通过累进网格算法中的边折叠算法处理视线区域以外待播放图像的底层数据的得到底层网格数据；所述显示模块用于将多层次渲染模块处理后的待播放图像数据分屏变换后显示给用户，使用户看到虚拟现实的图像。2.根据权利要求1所述的基于移动端的虚拟现实图像处理系统，其特征在于，还包括：中间帧模块；所述视线计算模块用于根据摄像头实时获取的用户脸部图像信息确定用户的眼部运动数据和头部运动数据，并根据用户眼部运动数据和头部运动数据预测用户下一时刻的视线区域；在移动端播放虚拟现实视频时，若多层次渲染模块无法在规定时间内渲染完成下一帧图像，则所述中间帧模块使用动态时间帧补偿渲染，动态时间帧补偿渲染由异步时间扭曲技术和动态时间帧补偿渲染系统组成，在用户下一时刻的视线区域角度变化非常小时，利用异步时间扭曲技术可以停止渲染新的画面，由当前渲染好的单帧图像计算出各个朝向的新画面，作为下一帧并发送给所述显示模块。3.根据权利要求2所述的基于移动端的虚拟现实图像处理系统，其特征在于，还包括：同步控制模块；所述同步控制模块，用于控制中间帧模块、多层次渲染模块以及显示模块同步，在中间帧模块计算出各个朝向的新画面作为下一帧时，采用同步信号控制显示模块获取中间帧模块中的帧进行显示。4.根据权利要求1所述的基于移动端的虚拟现实图像处理系统，其特征...

【专利技术属性】
技术研发人员：李丹，胡迎松，胡汉君，王伟健，孙钰可，刘爽，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北,42