虚拟现实的显示数据压缩方法和设备、系统技术方案

本申请公开了虚拟现实的显示数据压缩方法和设备、系统，根据头戴式虚拟现实设备的注视点位置信息，按照预设FOV在待传输的整体显示数据中确定与注视点位置对应的注视区域数据，注视区域数据是以注视点位置为中心的周围局部显示数据，相比原先整体显示数据要小很多；将待传输的整体显示数据按照预设角度分辨率生成非注视区域数据，预设角度分辨率小于显示屏的角度分辨率，相比原先的高分辨率图像的整体图像显示数据而言，非注视区域数据的数据量得到大大的减小；从而实现在传输所述注视区域数据和所述非注视区域数据时，占用的数据传输带宽得到大大减小，可传输的显示数据帧率也可以得到大大提高。

Display data compression method, equipment and system for virtual reality

The invention discloses a virtual reality display data compression method and apparatus, system, according to the gaze position information of the virtual reality headset equipment, in accordance with the default FOV in the overall display is determined to be transmitted and gaze regional data points corresponding to the position of the data in the data area is around, watching to gaze positions as the center of the local data show that, compared with the original overall display data is much smaller; the overall transmission will be the display data according to a preset angle resolution generating Nonfixated area data, preset angle resolution is less than the angle of the display resolution, compared to the overall image of high resolution image of the original display data, non fixation area data is greatly reduced; and the attention area data and the data transmission in non attentional areas while the data transmission bandwidth The frame rate of the display data which can be transmitted is greatly reduced, and the frame rate can be greatly improved.

【技术实现步骤摘要】
虚拟现实的显示数据压缩方法和设备、系统
本申请涉及虚拟现实
，尤其涉及一种虚拟现实的显示数据压缩方法和设备、系统。
技术介绍
现有的虚拟现实(简称VR)设备需要支持的显示分辨率要求越来越高，从1k，2k到4k，未来甚至需要支持8k，16k的屏幕分辨率，以消除显示的纱窗效应，增强虚拟环境下的显示效果的真实性。与此同时显示刷新率也越来越高，从最基本的70Hz，增加到90Hz、120Hz。对于VR主机，VR主机与VR头显之间多采用有线连接(例如，HDMI，DisplayPort，USBType-C等)。但如果VR主机与VR头显之间采用无线连接(例如60GHz毫米波)则面临显示输出传输带宽过大的问题。以90Hz的单眼1K(1200*1080)屏幕为例，1个像素点用24bit表示，则需要传送1200*1080*2(双眼)*90*24＝5.6Gbps的图像数据，如此大的图像数据传输需要占用较大的带宽。目前较为成熟的60GHz传输方案的带宽约为3Gpbs左右。当无线传输方式带宽不够时则需要对数据进行压缩和解压缩，算法复杂度太高的压缩算法将导致时延Latency过大，而时延则是影响VR体验的关键因素。
技术实现思路
为了解决上述问题，本申请提供一种虚拟现实的显示数据压缩方法和设备、系统，可以降低VR主机与VR显示设备之间的无线传输带宽压力，提高图形渲染显示数据的输出帧率。本申请提供一种虚拟现实的显示数据压缩系统，包括：头戴式虚拟现实设备和虚拟现实主机；所述头戴式虚拟现实设备，用于获取注视点位置信息或获取用于计算注视点位置信息的眼部图像信息，所述注视点位置信息为人眼注视点在显示屏上的位置信息，将所述注视点位置信息发送给虚拟现实主机，或者将所述眼部图像信息发送给虚拟现实主机以使所述虚拟现实主机根据所述眼部图像信息进行注视点位置信息的计算；所述虚拟现实主机，用于按照预设视场角FOV在待传输的显示数据中确定与所述注视点位置信息对应的注视区域数据，所述注视区域数据是以注视点位置为中心的周围一定范围内的局部显示数据；所述虚拟现实主机，还用于将待传输的显示数据按照预设角度分辨率生成非注视区域数据，所述预设角度分辨率为经过降采样处理后的小于显示屏角度分辨率的角度分辨率；所述虚拟现实主机，还用于将所述注视区域数据和所述非注视区域数据发送给所述头戴式虚拟现实设备，或者将所述注视区域数据和所述非注视区域数据以及所述注视点位置信息发送给所述头戴式虚拟现实设备；所述头戴式虚拟现实设备，还用于根据所述注视点位置信息将所述注视区域数据和所述非注视区域数据合成为待显示数据。可选地，所述预设视场角FOV包括水平视场角和垂直视场角，小于所述头戴式虚拟现实设备的显示屏的FOV，所述预设视场角FOV根据所需的显示效果进行确定的。可选地，所述预设角度分辨率是根据预设的百分比乘以显示屏的角度分辨率得到，预设的百分比根据所需的显示效果进行确定。可选地，所述头戴式虚拟现实设备具体用于：将非注视区域数据的分辨率重建为与所述显示屏的分辨率相同；根据注视点位置信息，将注视区域数据覆盖到高分辨率重建后的非注视区域数据中且与注视点位置信息相对应的位置，得到合成后的待显示数据；对合成后的待显示数据进行平滑融合处理。本申请还提供一种虚拟现实的显示数据压缩方法，位于虚拟现实主机侧执行，包括：虚拟现实主机接收头戴式虚拟现实设备获取的注视点位置信息，或接收头戴式虚拟现实设备获取的眼部图像信息，根据所述眼部图像信息计算注视点位置信息，所述注视点位置信息为人眼注视点在显示屏上的位置信息；所述虚拟现实主机按照预设的视场角FOV在待传输的显示数据中确定与所述注视点位置信息对应的注视区域数据，所述注视区域数据是以注视点位置为中心的周围一定范围内的局部显示数据；所述虚拟现实主机将待传输的显示数据按照预设角度分辨率生成非注视区域数据，所述预设角度分辨率为经过降采样处理后的小于显示屏角度分辨率的角度分辨率；所述虚拟现实主机将所述注视区域数据和所述非注视区域数据发送给所述头戴式虚拟现实设备，或者将所述注视区域数据和所述非注视区域数据以及所述注视点位置信息发送给所述头戴式虚拟现实设备，以使所述头戴式虚拟现实设备根据所述注视点位置信息将所述注视区域数据和所述非注视区域数据合成为待显示数据。可选地，所述预设的视场角FOV包括水平视场角和垂直视场角，且小于所述头戴式虚拟现实设备的显示屏的FOV，所述预设的视场角FOV是根据所需的显示效果进行确定的。可选地，所述预设角度分辨率是根据预设的百分比乘以显示屏的角度分辨率得到，预设的百分比根据所需的显示效果进行确定。本申请还提供一种虚拟现实主机，包括：通信模块和处理器；所述通信模块，用于接收头戴式虚拟现实设备获取的注视点位置信息，或接收头戴式虚拟现实设备获取的用于计算注视点位置的眼部图像信息，所述注视点位置信息为人眼注视点在显示屏上的位置信息；所述处理器，用于按照预设的视场角FOV在待传输的显示数据中确定与所述注视点位置信息对应的注视区域数据，所述注视区域数据是以注视点位置为中心的周围一定范围内的局部显示数据；所述处理器，还用于将待传输的显示数据按照预设角度分辨率生成非注视区域数据，所述预设角度分辨率为经过降采样处理后的小于显示屏角度分辨率的角度分辨率；所述通信模块，还用于将所述注视区域数据和所述非注视区域数据发送给所述头戴式虚拟现实设备，或者将所述注视区域数据和所述非注视区域数据以及所述注视点位置信息发送给所述头戴式虚拟现实设备，以使所述头戴式虚拟现实设备根据所述注视点位置信息将所述注视区域数据和所述非注视区域数据合成为待显示数据。本申请还提供一种虚拟现实的显示数据压缩方法，位于头戴式虚拟现实设备侧执行，包括：头戴式虚拟现实设备获取注视点位置信息或用于计算注视点位置的眼部图像信息，所述注视点位置信息为人眼注视点在显示屏上的位置信息；所述头戴式虚拟现实设备向虚拟现实主机发送所述注视点位置信息，或发送用于计算注视点位置的眼部图像信息，以使所述虚拟现实主机根据所述眼部图像信息计算生成注视点位置信息，按照预设的视场角FOV在待传输的显示数据中确定与所述注视点位置信息对应的注视区域数据，所述注视区域数据是以注视点位置为中心的周围一定范围内的局部显示数据；将待传输的显示数据按照预设角度分辨率生成非注视区域数据，所述预设角度分辨率为经过降采样处理后的小于显示屏角度分辨率的角度分辨率；并将所述注视区域数据和所述非注视区域数据发送给所述头戴式虚拟现实设备，或者将所述注视区域数据和所述非注视区域数据以及所述注视点位置信息发送给所述头戴式虚拟现实设备；所述头戴式虚拟现实设备根据所述注视点位置信息将所述注视区域数据和所述非注视区域数据合成为待显示数据。本申请还提供一种头戴式虚拟现实设备，包括：处理器和通信模块；其中，所述处理器，用于获取注视点位置信息或用于计算注视点位置的眼部图像信息，所述注视点位置信息为人眼注视点在显示屏上的位置信息；所述通信模块，用于向虚拟现实主机发送所述注视点位置信息，或发送用于计算注视点位置的眼部图像信息，以使虚拟现实主机计算生成注视点位置信息，按照预设的视场角FOV在待传输的显示数据中确定与所述注视点位置信息对应的注视区域数据，所述注视区域数据是以本文档来自技高网...

【技术保护点】
一种虚拟现实的显示数据压缩系统，其特征在于，包括：头戴式虚拟现实设备和虚拟现实主机；所述头戴式虚拟现实设备，用于获取注视点位置信息或获取用于计算注视点位置信息的眼部图像信息，所述注视点位置信息为人眼注视点在显示屏上的位置信息，将所述注视点位置信息发送给虚拟现实主机，或者将所述眼部图像信息发送给虚拟现实主机以使所述虚拟现实主机根据所述眼部图像信息进行注视点位置信息的计算；所述虚拟现实主机，用于按照预设视场角FOV在待传输的显示数据中确定与所述注视点位置信息对应的注视区域数据，所述注视区域数据是以注视点位置为中心的周围一定范围内的局部显示数据；所述虚拟现实主机，还用于将待传输的显示数据按照预设角度分辨率生成非注视区域数据，所述预设角度分辨率为经过降采样处理后的小于显示屏角度分辨率的角度分辨率；所述虚拟现实主机，还用于将所述注视区域数据和所述非注视区域数据发送给所述头戴式虚拟现实设备，或者将所述注视区域数据和所述非注视区域数据以及所述注视点位置信息发送给所述头戴式虚拟现实设备；所述头戴式虚拟现实设备，还用于根据所述注视点位置信息将所述注视区域数据和所述非注视区域数据合成为待显示数据。

【技术特征摘要】
1.一种虚拟现实的显示数据压缩系统，其特征在于，包括：头戴式虚拟现实设备和虚拟现实主机；所述头戴式虚拟现实设备，用于获取注视点位置信息或获取用于计算注视点位置信息的眼部图像信息，所述注视点位置信息为人眼注视点在显示屏上的位置信息，将所述注视点位置信息发送给虚拟现实主机，或者将所述眼部图像信息发送给虚拟现实主机以使所述虚拟现实主机根据所述眼部图像信息进行注视点位置信息的计算；所述虚拟现实主机，用于按照预设视场角FOV在待传输的显示数据中确定与所述注视点位置信息对应的注视区域数据，所述注视区域数据是以注视点位置为中心的周围一定范围内的局部显示数据；所述虚拟现实主机，还用于将待传输的显示数据按照预设角度分辨率生成非注视区域数据，所述预设角度分辨率为经过降采样处理后的小于显示屏角度分辨率的角度分辨率；所述虚拟现实主机，还用于将所述注视区域数据和所述非注视区域数据发送给所述头戴式虚拟现实设备，或者将所述注视区域数据和所述非注视区域数据以及所述注视点位置信息发送给所述头戴式虚拟现实设备；所述头戴式虚拟现实设备，还用于根据所述注视点位置信息将所述注视区域数据和所述非注视区域数据合成为待显示数据。2.根据权利要求1所述的系统，其特征在于，所述预设视场角FOV包括水平视场角和垂直视场角，小于所述头戴式虚拟现实设备的显示屏的FOV，所述预设视场角FOV根据所需的显示效果进行确定的。3.根据权利要求1所述的系统，其特征在于，所述预设角度分辨率是根据预设的百分比乘以显示屏的角度分辨率得到，预设的百分比根据所需的显示效果进行确定。4.根据权利要求1所述的系统，其特征在于，所述头戴式虚拟现实设备具体用于：将非注视区域数据的分辨率重建为与所述显示屏的分辨率相同；根据注视点位置信息，将注视区域数据覆盖到高分辨率重建后的非注视区域数据中且与注视点位置信息相对应的位置，得到合成后的待显示数据；对合成后的待显示数据进行平滑融合处理。5.一种虚拟现实的显示数据压缩方法，位于虚拟现实主机侧执行，其特征在于，包括：虚拟现实主机接收头戴式虚拟现实设备获取的注视点位置信息，或接收头戴式虚拟现实设备获取的眼部图像信息，根据所述眼部图像信息计算注视点位置信息，所述注视点位置信息为人眼注视点在显示屏上的位置信息；所述虚拟现实主机按照预设的视场角FOV在待传输的显示数据中确定与所述注视点位置信息对应的注视区域数据，所述注视区域数据是以注视点位置为中心的周围一定范围内的局部显示数据；所述虚拟现实主机将待传输的显示数据按照预设角度分辨率生成非注视区域数据，所述预设角度分辨率为经过降采样处理后的小于显示屏角度分辨率的角度分辨率；所述虚拟现实主机将所述注视区域数据和所述非注视区域数据发送给所述头戴式虚拟现实设备，或者将所述注视区域数据和所述非注视区域数据以及所述注视点位置信息发送给所述头戴式虚拟现实设备，以使所述头戴式虚拟现实设备根据所述注视点位置信息将所述注视区域数据和所述非注视区域数据合成为待显示数据。6.根据权利要求5所述的方法，其特征在于，所述预设的视场角FOV包括水平视场角和垂直视场角，且小于所述头戴式虚拟现实设备的显示屏的FOV，所述预设的视场角FOV是根据所需的显示效果进行确定的。7.根据权利要求5所述的方法，其特征在于，...

【专利技术属性】
技术研发人员：戴天荣，
申请(专利权)人：歌尔股份有限公司，
类型：发明
国别省市：山东,37