经由实时压缩控制周边图像区域中的图像显示制造技术

描述了用于通过压缩一些图像区域中的图像数据而在其它(例如，周边视图)区域中执行较少或不执行压缩的技术来控制图像显示的技术，其中特定于颜色的压缩保留色差补偿。这种技术可与用于虚拟现实显示的头戴式显示设备的显示面板一起使用。可通过跟踪用户的目光来确定以最高分辨率水平对数据进行编码和显示的图像的主区域，同时可选择其它次要区域围绕或位于主区域之外。在次要区域中，可以以第一压缩水平对第一(例如，绿色)颜色通道的图像数据进行编码，以获得比其他第二颜色通道更低更高的第一分辨率水平，并且可以以比颜色特定的数据更高的压缩水平来压缩HDR数据。

【技术实现步骤摘要】
【国外来华专利技术】经由实时压缩控制周边图像区域中的图像显示
下面的公开内容总体涉及用于控制图像数据在显示面板上的显示的技术，并且更具体地，涉及用于通过在图像的周边区域中使用压缩来减小用于将图像数据传输到显示面板的带宽的技术。
技术介绍
对增加视觉显示能力的需求已经导致图像数据大小的较大的相应增加以及对相关联的传输带宽使用的需求。例如，增加游戏设备、视频显示设备、移动计算、通用计算等中的视觉显示分辨率已经导致了更高的传输带宽，如同高动态范围(“HDR”)数据一样，高动态范围数据使用更大的每像素带宽来呈现增强的图像真实感。此外，虚拟现实(“VR”)和增强现实(“AR”)系统，特别是使用头戴式显示(“HMD”)设备的那些系统的日益普及的普及进一步增加了这种需求。虚拟现实系统通常完全包围佩戴者的眼睛，并用“虚拟”现实代替佩戴者前方的实际视图(或实际现实)，而增强现实系统通常提供佩戴者眼睛前方的一个或多个屏幕的半透明或透明覆盖，从而用附加信息增强实际视图。然而，这种头戴式显示器具有观察者眼睛与显示器之间的距离减小并且经常具有完全模糊的视场，以传统的显示和传输能力不能满足并且经常在显示器上具有不同的最佳分辨率密度的方式增加了显示系统的性能要求。附图说明图1A是包括适于执行本公开中所描述的至少一些技术的一个或多个系统的网络化环境的示意图，包括图像数据传输管理器(“IDTM”)系统和图像显示管理器(“IDM”)系统的实施方式。图1B是示出示例性环境的图，在该示例性环境中，所述技术中的至少一些与示例性头戴式显示设备一起使用，该头戴式显示设备连接至视频再现计算系统并且向用户提供虚拟现实显示。图1C是示出可与所述技术中的至少一些一起使用的示例性头戴式显示设备的图。图2A至图2C示出根据本文中所述技术中的至少一些的对图像数据进行编码和解码以用于显示的示例。图3是图像数据传输管理器例程的示例性实施方式的流程图。图4是图像显示管理器例程的示例性实施方式的流程图。具体实施方式本公开大体上涉及用于控制图像数据在显示面板上的显示的技术，诸如通过在图像的周边区域中使用图像数据的特定于颜色的压缩来减小图像数据传输到显示面板的带宽。这种技术可与例如视频数据和/或其它图像的帧一起使用，并且在一些实施方式中，与一个或多个显示面板一起使用，所述显示面板是用于VR和/或AR显示技术的头戴式显示(“HMD”)设备的一部分。在其中执行特定于颜色的压缩的图像的周边区域可包括例如图像的边缘，或者用户不聚焦或者不期望聚焦注意力的一个或多个其它图像部分处。本文中描述的技术中的一些或全部可经由图像数据传输管理器(“IDTM”)系统的实施方式的自动化操作来执行，该系统在将编码的数据传输到一个或多个显示面板之前在视频再现系统上对图像数据进行编码，和/或经由图像显示管理器(“IDM”)系统的自动化操作来执行，该系统在容纳显示面板的设备上或附近对这样的图像数据进行解码，并且在显示面板上显示解码的图像数据，如下面更详细讨论的。在至少一些这样的实施方式中，该技术包括确定图像的至少一个主区域，在该主区域处以主分辨率水平(例如，没有任何压缩或任何有损压缩，以便提供全分辨率，或者以比一个或多个其它次要区域更高的分辨率)对数据进行编码和显示，例如，在各种实施方式中，可以以各种方式来确定主区域，包括基于跟踪用户的实际或预期的目光并且使用图像的相应区域作为主区域，确定图像的对应于图像的一个或多个主要内容部分的区域并且使用图像的相应区域作为主区域，所述一个或多个主要内容部分可能是观众最感兴趣的(例如，如由生成图像的软件程序所标识的)，至少部分地基于将观看图像的终端用户的一个或多个偏好或由终端用户指定的其它信息等，以预定义的方式用于一些或所有图像(例如，使用图像的中心和周围部分作为主区域)。应当理解，不同的图像可具有作为它们主区域的不同位置或区域，诸如当基于当前条件在确定时间或确定时间附近动态地确定主区域时(例如，当用户的目光从一个角落移动到另一个角落时，所确定的主区域的位置跟随目光的焦点变化而变化)。下面包括与确定主区域以及编码和显示这种主区域的数据有关的附加细节。这种图像的另外的次要区域可围绕一个或多个主区域或者在一个或多个主区域之外(例如，如果主区域在图像的中心附近或者在图像的中心处居中，则在图像的侧部和/或角落处)，并且因此在用户的实际或预期焦点的周边之外或周边处(例如，由用户经由用户的周边视觉整体地或者部分地感知)。此外，在至少一些实施方式中，显示在次要区域中的数据的较低分辨率至少部分地通过在周边次要区域中执行图像数据的颜色特定的压缩来获得，从而以提供低于主区域的主分辨率水平的第一分辨率水平的第一压缩水平来编码和显示绿色通道的图像数据，以及以一个或多个第二压缩水平来编码和显示红色和/或蓝色通道的图像数据，所述第二压缩水平提供低于绿色通道的第一分辨率水平的一个或多个第二分辨率水平。虽然在一些实施方式中，可整体或部分地基于一个或多个主区域来确定次要区域(例如，作为一个或多个主区域的周围或以其它方式在一个或多个主区域之外)，在其它实施方式中，可以以其它方式整体或部分地确定次要区域，诸如基于次要区域的一个或多个肯定属性或特性(例如，基于内容的类型、基于图像内的特定位置等)。还应当理解，不同的图像可具有作为它们次要区域的不同位置或区域，诸如当在确定时间或确定时间附近基于当前条件动态地确定次要区域时。下面包括与确定次要区域以及编码和显示用于这种次要区域的数据有关的附加细节。在至少一些实施方式中，可类似地确定图像的一个或多个第三区域，对于该区域将不显示图像数据，并且因此可不在至少一些这样的实施方式中进行编码，或者可在其它实施方式中以最低的可能分辨率水平进行编码。作为一个示例，图像可构造为矩形形状，但是可使用该矩形的圆形或椭圆形子集来显示，诸如对于HMD设备的显示面板，其经由HMD设备中的圆形或半球形透镜来观看，如果是这样，则可选择该圆形或椭圆形子集之外的图像部分(例如，角落和/或边缘)作为第三区域。在其它实施方式中，可以以其它方式选择第三区域，诸如如果目光跟踪或其它功能允许确定图像的某些部分将观看不到(例如，对于具有360度图像的图像，但是观看者仅在单个方向上观看)。还应当理解，不同的图像可具有作为它们的第三区域的不同位置或区域，诸如当在确定时间或确定时间附近基于当前条件动态地确定第三区域时，而其它图像和/或实施方式可不包括任何这样的第三区域。以下包括与确定第三区域和编码和显示这种第三区域的数据有关的其它细节。如上所述，可经由IDTM系统和/或IDM系统的实施方式的自动化操作来执行本文中所述的技术中的一些或全部，诸如通过一个或多个配置的硬件处理器和/或其它配置的硬件电路(例如，在视频再现系统上和/或在HMD设备或包括一个或多个显示面板的其它设备上)来实施。这种系统或设备的一个或多个硬件处理器或其它配置的硬件电路可包括例如一个或多个GPU(“图形处理单元”)和/或CPU(“中央处理单元”)和/或其它微控制器(“MCU”)和/或其它本文档来自技高网...

【技术保护点】
1.一种方法，包括：/n由一个或多个硬件处理器接收具有多个像素值以在显示面板上显示的图像的数据，所述多个像素值包括在所述图像的主区域中的属于多个颜色通道的目标像素值、在所述图像的一个或多个次要区域中的属于所述多个颜色通道的第一颜色通道的第一像素值、以及在所述次要区域中的属于所述多个颜色通道的第二颜色通道的第二像素值；/n由所述硬件处理器生成要传输至所述显示面板的所述图像的压缩副本，所述图像的压缩副本保留所述主区域的所述目标像素值，并且通过以特定于颜色的方式去除所述第一像素值和所述第二像素值中的至少一些来降低所述次要区域中的分辨率，包括：/n使用第一压缩水平，缩减所述压缩副本中的表示所述第一颜色通道的所述第一像素值的第一信息，其中，所述第一压缩水平缩减所述第一信息中的像素值的量，并且从具有比所述第一像素值更少的唯一值的第一可能像素值的缩减集合中，选择所述第一信息中的每个像素值；以及/n使用第二压缩水平，缩减所述压缩副本中的表示所述第二颜色通道的所述第二像素值的第二信息，其中，所述第二压缩水平具有比所述第一压缩水平更小的压缩，并且从具有比所述第二像素值更少的唯一值的第二可能像素值的缩减集合中选择所述第二信息中的每个像素值，而不缩减所述第二信息中的像素值的量；以及/n由所述硬件处理器将所述图像的压缩副本传输至所述显示面板，以使所述图像显示在所述显示面板上。/n...

【技术特征摘要】
【国外来华专利技术】20180305 US 15/912,3231.一种方法，包括：
由一个或多个硬件处理器接收具有多个像素值以在显示面板上显示的图像的数据，所述多个像素值包括在所述图像的主区域中的属于多个颜色通道的目标像素值、在所述图像的一个或多个次要区域中的属于所述多个颜色通道的第一颜色通道的第一像素值、以及在所述次要区域中的属于所述多个颜色通道的第二颜色通道的第二像素值；
由所述硬件处理器生成要传输至所述显示面板的所述图像的压缩副本，所述图像的压缩副本保留所述主区域的所述目标像素值，并且通过以特定于颜色的方式去除所述第一像素值和所述第二像素值中的至少一些来降低所述次要区域中的分辨率，包括：
使用第一压缩水平，缩减所述压缩副本中的表示所述第一颜色通道的所述第一像素值的第一信息，其中，所述第一压缩水平缩减所述第一信息中的像素值的量，并且从具有比所述第一像素值更少的唯一值的第一可能像素值的缩减集合中，选择所述第一信息中的每个像素值；以及
使用第二压缩水平，缩减所述压缩副本中的表示所述第二颜色通道的所述第二像素值的第二信息，其中，所述第二压缩水平具有比所述第一压缩水平更小的压缩，并且从具有比所述第二像素值更少的唯一值的第二可能像素值的缩减集合中选择所述第二信息中的每个像素值，而不缩减所述第二信息中的像素值的量；以及
由所述硬件处理器将所述图像的压缩副本传输至所述显示面板，以使所述图像显示在所述显示面板上。


2.如权利要求1所述的方法，其中，缩减所述压缩副本中的所述第一信息和所述第二信息包括：
对于所述图像中的所述第一像素值的多个区块中的每个，用较小尺寸的单个第一子区块来表示所述压缩副本中的区块，所述第一子区块的像素值从所述第一可能像素值的缩减集合中选择，并且所述第一子区块的每个像素值均表示来自所述区块的所述第一像素值中的多个；以及
对于所述图像中的所述第二像素值的多个区块中的每个，用多个第二子区块来表示所述压缩副本中的区块，所述多个第二子区块合计具有与所述区块相同的大小，并且所述第二子区块的像素值从所述第二可能像素值的缩减集合中选择。


3.如权利要求2所述的方法，还包括：使用所述压缩副本以在所述显示面板上显示所述图像，包括使用所述保留的目标像素值中的每个来控制用于所述多个颜色通道的第一显示面板像素中的一个在对应于所述主区域的区域中的显示，以及通过使用所述第二子区块中的每个像素值来控制所述第二显示面板像素在对应于所述次要区域的一个或多个区域中的显示，以控制用于所述第二颜色通道的所述第二显示面板像素中的一个显示为所述第二可能像素值的缩减集合中的一个，并且通过使用所述第一子区块中的像素值来产生更大量的另外的像素值，所述另外的像素值各自控制用于所述第一颜色通道的所述第二显示面板像素中的一个显示为所述第一可能像素值的缩减集合中的一个。


4.如权利要求1所述的方法，其中，所述一个或多个硬件处理器是再现系统的部分，其中，所述显示面板是具有一个或多个硬件电路的头戴式显示(HMD)设备的部分，所述硬件电路配置成解压缩所述压缩副本中的至少包括所缩减的第一信息的信息，并将解压缩的信息用作控制所述图像在所述显示面板上的显示的部分，以及其中，所述压缩副本的生成包括缩减所述压缩副本的大小，以缩减用于将所述压缩副本从所述再现系统传输至所述HMD设备的带宽。


5.如权利要求4所述的方法，其中，所述HMD设备经由无线连接而连接至所述再现系统，通过所述无线连接进行所述传输，以及其中，至少部分地基于所述无线连接的一个或多个特性来使用所述第一压缩水平或所述第二压缩水平中的至少一个。


6.如权利要求4所述的方法，其中，所述再现系统和所述HMD设备是游戏系统的部分，其中，所述HMD设备是经由系绳连接至所述再现系统的虚拟现实设备，在所述系绳上进行所述传输，其中，所述图像是由执行游戏程序生成的多个视频帧的序列中的一个，以及其中，对所述多个视频帧中的每个连续地执行所述接收、所述生成和所述传输。


7.如权利要求4所述的方法，还包括：在所述一个或多个硬件电路的控制下，控制所述图像在所述显示面板上的显示，包括以第一分辨率在所述主区域中显示信息，以低于所述第一分辨率的第二分辨率，在用于所述第二颜色通道的所述次要区域中显示信息，以及以低于所述第二分辨率的第三分辨率，在用于所述第一颜色通道的所述次要区域中显示信息。


8.如权利要求7所述的方法，还包括：在所述一个或多个硬件电路的控制下，生成要以第四分辨率显示的附加信息，所述第四分辨率低于所述第一分辨率且高于所述第二分辨率，以及在所述主区域和所述次要区域的至少一些部分之间的中间区域中，以所述第四分辨率显示所述附加信息。


9.如权利要求1所述的方法，其中，所述第一颜色通道包括红色通道或蓝色通道中的至少一个，以及其中，所述第二颜色通道包括绿色通道。


10.如权利要求1所述的方法，还包括：在生成所述图像的所述压缩副本之前，确定所述图像的所述主区域对应于观看所述显示面板的用户的目光方向。


11.如权利要求1所述的方法，还包括：在生成所述图像的所述压缩副本之前，至少部分地基于在所述图像中显示所标识的内容的位置来确定所述图像的所述主区域。


12.如权利要求1所述的方法，还包括：基于一个或多个当前条件，确定用于所述图像的所述压缩副本的压缩量，以及执行所述压缩副本的生成以包括所确定的压缩量，其中，所述一个或多个当前条件包括所述图像中的信息的复杂度、所述一个或多个处理器上的负载、用于所述传输的连接的属性、或观看所述显示面板的用户的一个或多个偏好中的至少一个。


13.如权利要求1所述的方法，其中，所述图像以矩形格式构造并显示在所述显示面板上，仅所述图像的非矩形子集是可见的，所述非矩形子集不包括所述图像的一个或多个第三区域，以及其中，所述压缩副本的生成包括防止所述第三区域的至少一些像素值信息包括于所述压缩副本中。


14.如权利要求1所述的方法，其中，接收所述图像的数据包括生成所述图像，以及其中，所述图像的所述压缩副本的生成与所述图像的生成以实时方式同时执行。


15.如权利要求1所述的方法，其中，所述图像的数据还指定多个高动态范围(HDR)亮度值，所述多个高动态范围(HDR)亮度值包括与所述目标像素值相关联的目标HDR亮度值、以及与所述第一像素值相关联的第一HDR亮度值、以及与所述第二像素值相关联的第二HDR亮度值，以及其中，所述图像的所述压缩副本的生成还包括：使用比所述第一压缩水平和所述第二压缩水平压缩小的第三压缩水平来缩减所述压缩副本中的第三信息，所述第三信息至少表示所述第一HDR亮度值和所述第二HDR亮度值。


16.如权利要求15所述的方法，其中，缩减所述第三信息包括通过使用所述第三信息中的每个HDR亮度值来表示所述第一HDR亮度值和所述第二HDR亮度值中的多个HDR亮度值，从而缩减所述第三信息中的HDR亮度值的量，以及还包括从具有比所述第一HDR亮度值和所述第二HDR亮度值更少的唯一值的可能HDR亮度值的缩减集合中，选择所述第三信息中的每个HDR亮度值。


17.如权利要求15所述的方法，其中，所述图像的所述压缩副本的生成还包括：保留与所述目标像素值相关联的所有所述目标HDR亮度值，以在显示所述图像时，致使所述主区域的所述目标像素值和与所述目标像素值相关联的所述目标HDR亮度值的分辨率未减小。


18.一种系统，包括：
头戴式显示(HMD)设备的显示面板，具有多个像素；以及
一个或多个硬件电路，配置成使所述系统执行至少包括以下的自动化操作：
接收图像的具有多个像素值的编码副本；
从所述编码副本中的所述多个像素值中，识别用于所述图像的主区域的所述多个像素值中的多个像素值，其中，所识别的多个像素值属于多个颜色通道，并且用于控制所述显示面板的与所述主区域相对应的像素；
从所述编码副本中识别所述多个像素值的附加第一像素值，所述附加第一像素值用于所述图像的一个或多个次要区域，并且属于所述多个颜色通道中的至少一个第一颜色通道，其中，所述附加第一像素值中的每个均是具有比所述多个像素值更少的唯一值的第一可能像素值的缩减集合中的一个；
生成用于所述图像的所述次要区域的其它像素值，所述其它像素值属于所述多个颜色通道中的至少一个第二颜色通道，包括：从所述编码副本中...

【专利技术属性】
技术研发人员：亚西尔·马莱卡，
申请(专利权)人：威尔乌集团，
类型：发明
国别省市：美国;US