图像处理方法和装置、显示装置、虚拟现实显示系统制造方法及图纸

本公开涉及一种图像处理方法和装置、显示装置、虚拟现实显示系统。图像处理方法包括：将第一图像和第二图像分别在不同的帧中进行渲染，相应得到第一图像帧和第二图像帧，其中，所述第一图像来自用户注视区域，所述第二图像来自其他区域，所述第一图像帧的分辨率高于所述第二图像帧的分辨率；交替传输所述第一图像帧和第二图像帧。

Image Processing Method and Device, Display Device and Virtual Reality Display System

The present disclosure relates to an image processing method and device, a display device and a virtual reality display system. The image processing method includes: rendering the first image and the second image in different frames, respectively, and obtaining the first image frame and the second image frame accordingly, in which the first image comes from the user's gaze region, the second image comes from other regions, and the resolution of the first image frame is higher than that of the second image frame; alternately transmitting the first image frame and the second image frame; Second image frame.

【技术实现步骤摘要】
图像处理方法和装置、显示装置、虚拟现实显示系统
本公开涉及显示领域，特别涉及一种图像处理方法和装置、显示装置、虚拟现实显示系统、以及计算机可读存储介质。
技术介绍
随着显示技术的快速发展，对于显示质量的要求越来越高。一方面要求高分辨率，另一方面要求高刷新帧率，这对于图像处理技术提出了很高的要求。相关图像处理技术很难同时满足高分辨率和高刷新帧率这两方面的要求。
技术实现思路
为此，本公开提出一种能够同时实现高分辨率和高刷新帧率的方案。根据本公开实施例的第一方面，提供了一种图像处理方法，包括：将第一图像和第二图像分别在不同的帧中进行渲染，相应得到第一图像帧和第二图像帧，其中，所述第一图像来自用户注视区域，所述第二图像来自其他区域，所述第一图像帧的分辨率高于所述第二图像帧的分辨率；交替传输所述第一图像帧和第二图像帧。在一些实施例中，交替传输包括：每传输N个图像帧，传输1个第二图像帧，N为大于1的正整数。在一些实施例中，所述图像处理方法还包括：判断在当前帧中渲染所述第一图像还是第二图像。在一些实施例中，设当前帧为第M帧，M为正整数：在M/N是整数的情况下，渲染所述第二图像；在M/N不是整数的情况下，渲染所述第一图像。在一些实施例中，所述图像处理方法还包括：存储接收的第一图像帧和第二图像帧；将存储的第一图像帧和第二图像帧结合为完整图像。在一些实施例中，所述结合包括：拼接相邻的第一图像帧和第二图像帧。在一些实施例中，所述结合还包括：对相邻的第一图像帧和第二图像帧进行边界融合；拉伸所述第二图像帧。在一些实施例中，所述图像处理方法还包括：利用眼球追踪技术获取所述用户注视区域。在一些实施例中，所述图像处理方法还包括：对渲染后的第一图像帧和第二图像帧中的至少一个进行图像算法处理。根据本公开实施例的第二方面，提供了一种图像处理装置，包括：渲染单元，被配置为将第一图像和第二图像分别在不同的帧中进行渲染，相应得到第一图像帧和第二图像帧，其中，所述第一图像来自用户注视区域，所述第二图像来自其他区域，所述第一图像帧的分辨率高于所述第二图像帧的分辨率；传输单元，被配置为交替传输所述第一图像帧和第二图像帧。根据本公开实施例的第三方面，提供了一种图像处理装置，包括：存储器；和耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如前述任一实施例所述的图像处理方法。根据本公开实施例的第四方面，提供了一种显示装置，包括前述任一实施例的图像处理装置。根据本公开实施例的第五方面，提供了一种显示装置，包括：图像处理器，被配置为执行如前述任一实施例所述的图像处理方法；显示器，被配置为显示结合第一图像帧和第二图像帧得到的完整图像。在一些实施例中，所述显示装置还包括：图像传感器，被配置为拍摄用户眼球的图像。根据本公开实施例的第六方面，提供了一种虚拟现实显示系统，包括前述任一实施例的显示装置。根据本公开实施例的第七方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如前述任一实施例所述的图像处理方法。在上述实施例中，通过分别在不同的帧中渲染高清图像和非高清图像，交替传输高清图像和非高清图像，可以显著降低渲染压力和图像传输带宽，从而在保证高分辨率的同时提升刷新帧率。通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。附图说明构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：图1是示出根据本公开一些实施例的图像处理方法的流程图；图2是示出根据本公开另一些实施例的图像处理方法的流程图；图3A是示出对比示例的图像处理方法的示意图；图3B是示出根据本公开一些实施例的图像处理方法的示意图；图4是示出根据本公开一些实施例与对比示例的图像处理方法的效果对比图；图5A是示出根据本公开一些实施例的图像处理装置的框图；图5B是示出根据本公开另一些实施例的图像处理装置的框图；图6是示出根据本公开一些实施例的显示装置的框图；图7是示出用于实现本公开一些实施例的计算机系统的框图。应当明白，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。此外，相同或类似的参考标号表示相同或类似的构件。具体实施方式现在将参照附图来详细描述本公开的各种示例性实施例。对示例性实施例的描述仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。本公开可以以许多不同的形式实现，不限于这里所述的实施例。提供这些实施例是为了使本公开透彻且完整，并且向本领域技术人员充分表达本公开的范围。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置应被解释为仅仅是示例性的，而不是作为限制。本公开使用的所有术语(包括技术术语或者科学术语)与本公开所属领域的普通技术人员理解的含义相同，除非另外特别定义。还应当理解，在诸如通用字典中定义的术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。图1是示出根据本公开一些实施例的图像处理方法的框图。如图1所示，图像处理方法包括步骤S1和S3。在步骤S1，将第一图像和第二图像分别在不同的帧中进行渲染，相应得到第一图像帧和第二图像帧。第一图像来自用户注视区域，第二图像来自除用户注视区域之外的其他区域。在一些实施例中，在第K帧中，对用户注视区域的图像(即第一图像)进行高分辨率的渲染，得到第一图像帧，其中K为正整数。在第L帧中，对其他区域的图像(即第二图像)进行低分辨率的渲染，得到第二图像帧，其中L为与K不同的正整数。相应地，第一图像帧的分辨率高于第二图像帧的分辨率。可以利用图像处理器进行渲染。在步骤S3，交替传输所述第一图像帧和第二图像帧。在一些实施例中，交替传输包括：每传输N个图像帧，传输1个第二图像帧，N为大于1的正整数。下面为了描述的方便，将高分辨率的第一图像帧称为高清图像帧，而将低分辨率的第二图像帧称为非高清图像帧。以N＝2为例，即每传输2个图像帧，就传输1个非高清图像帧。也就是说，若奇数帧传输高清图像帧，偶数帧就传输非高清图像帧。当然，这里的交替传输也意味着交替渲染。仍以N＝2为例，即由每渲染1帧图像，就传输1帧图像。也就是说，若奇数帧渲染非高清图像，则偶数帧渲染高清图像；相应地，在奇数帧传输非高清图像帧，在偶数帧传输高清图像帧。高清图像帧和非高清图像帧在显示前结合为完整图像。N可以根据实际需要取不同的正整数，只要能够保证结合得到的完整图像人眼感受不到明显内容错位即可。例如，N还可以为3、4或5。在一些实施例中，图像处理方法还包括：判断在当前帧中渲染高清图像还是非高清图像。设当前帧为第M帧，其中M为正整数，可以根据M和N之间的关系，来判断渲染和传输哪种图像。例如，在M/N是整数的情况下，渲染并传输非高清图像；而在M/N不是整数的情况下，渲染并传输高清图像。以N＝5为例，即每5帧图像中，渲染1帧非高清图像和4帧高清图像。若M＝4，有M/N＝4/5，即M/N不是本文档来自技高网...

【技术保护点】
1.一种图像处理方法，包括：将第一图像和第二图像分别在不同的帧中进行渲染，相应得到第一图像帧和第二图像帧，其中，所述第一图像来自用户注视区域，所述第二图像来自其他区域，所述第一图像帧的分辨率高于所述第二图像帧的分辨率；交替传输所述第一图像帧和第二图像帧。

【技术特征摘要】
1.一种图像处理方法，包括：将第一图像和第二图像分别在不同的帧中进行渲染，相应得到第一图像帧和第二图像帧，其中，所述第一图像来自用户注视区域，所述第二图像来自其他区域，所述第一图像帧的分辨率高于所述第二图像帧的分辨率；交替传输所述第一图像帧和第二图像帧。2.根据权利要求1所述的图像处理方法，其中，交替传输包括：每传输N个图像帧，传输1个第二图像帧，N为大于1的正整数。3.根据权利要求2所述的图像处理方法，还包括：判断在当前帧中渲染所述第一图像还是第二图像。4.根据权利要求2所述的图像处理方法，其中，设当前帧为第M帧，M为正整数：在M/N是整数的情况下，渲染所述第二图像；在M/N不是整数的情况下，渲染所述第一图像。5.根据权利要求1所述的图像处理方法，还包括：存储接收的第一图像帧和第二图像帧；将存储的第一图像帧和第二图像帧结合为完整图像。6.根据权利要求5所述的图像处理方法，其中，所述结合包括：拼接相邻的第一图像帧和第二图像帧。7.根据权利要求6所述的图像处理方法，其中，所述结合还包括：对相邻的第一图像帧和第二图像帧进行边界融合；拉伸所述第二图像帧。8.根据权利要求1所述的图像处理方法，还包括：获取所述用户注视区域。9.根据权利要求1所...

【专利技术属性】
技术研发人员：李文宇，孙玉坤，苗京花，王雪丰，彭金豹，李治富，赵斌，李茜，范清文，索健文，刘亚丽，陈丽莉，张浩，
申请(专利权)人：京东方科技集团股份有限公司，北京京东方光电科技有限公司，
类型：发明
国别省市：北京,11