用于处理外围图像的方法和设备技术

公开了用于处理在显示时扩展到中心图像的边界之外的至少一个外围图像的方法。该方法包括将外围图像的亮度调整到人类视觉特性，其中处理外围图像的亮度使得从观看者的视场中的外围图像发出的呈现的光保持为低，并接近于仅通过中心视图呈现的光。根据第一实施例，该方法包括：通过将光校正函数应用到输入亮度，将外围图像的亮度调整到参考反射率水平，其中这样的光校正函数是通过测量调整到显示外围图像的表面的参考反射率水平的显示的外围图像的呈现的亮度水平得到的。根据第二实施例，进一步调节亮度到关于参考反射率的真实反射率。根据第三实施例，增加外围图像中移动对象的亮度。

Methods and devices for processing peripheral images

【技术实现步骤摘要】
【国外来华专利技术】用于处理外围图像的方法和设备1.
在下文中，公开了一种用于处理图像的设备和方法。特别地，公开了一种用于处理扩展到中心图像的边界之外的至少一个外围图像的设备和方法。2.
技术介绍
本节旨在向读者介绍本领域的各个方面，这可能与以下描述和/或要求保护的本原理的各个方面有关。这种讨论被认为有助于向读者提供背景信息，以便更好地了解本原理的各个方面。因此，应当理解，将以这个角度理解这些叙述，而不作为现有技术的承认。今天的电影大多是仅用于中心屏幕而产生的。为了改善用户体验，将额外的内容投影在电视或电影院屏幕的周围，从而扩展用户周围的原始场景。这样通过填充观众视野的系统增强了用户的沉浸感，即，其给予用户更好的在场景中的感觉。例如，使用宽视角的相机、用于110到360捕获的摄像机平台捕获这样的内容或者使用计算机生成的图像来创建这样的内容。然而，以与原始视频一致的方式扩展视频内容并且在视觉上令人满意是困难的。在扩展视频内容的方法中，第一种是利用宽视角的捕获额外的内容。然而，至少因为后期制作需要管理更多的图像(中心和侧面图像)，这样的技术需要大量的人工工作。此外，因为它旨在改善用户体验，扩展需要特别的注意，不应当打扰或为观众制造麻烦。用于扩展视频内容的简单技术是Philips的技术Ambilight，在WO2004/006570中公开，其研究了在中心图像中颜色的分布，并使用安装在屏幕边缘上的RGBLED将图像的主要颜色投影在屏幕周围。光投影仅在电视机周围有限的区域内在完成，并不提供背景、形状或运动印象的细节。然而，在高亮度图像的情况下，以颜色和光的形式符合内容这种扩展可能不是最佳的，因为这种技术增加了太多的背景光。扩展不应该打扰或为观众制造麻烦，因为其旨在改善用户体验。用于扩展视频的另一种技术是AAides等人公开在“Multiscaleultrawidefoveatedvideoextrapolation”(IEEEInternationalConferenceonComputationalPhotography(ICCP)2011，第1-8页)中的技术。算法的关键思想是在空间和时间维度上使用补丁匹配(Patch-Match)算法(使用视频立方体，而不是图像块)将视频外推到其边界之外。当选择正确的补丁时，该方法会不利于(penalize)可能导致分心的补丁。此外，由于人类视觉对偏离眼睛中心越远的细节越不敏感，所以算法以不同的分辨率计算。当以从更粗糙的分辨率到更高分辨率完成外推时，得到最好的结果。然而，使用这样的技术，因为扩展的大小受到限制，可能不能填充用户的全部视场。此外，对于其他计算机生成的图像，可能不能保留艺术意图。实际上，用户可能会因侧面的图像而分散注意力，或者观看条件的修改可能太有吸引力。因此，即使扩展对于沉浸性而言是理想的，扩展可能不适合于舒适的观看体验，特别是当扩展的投影引起太多的光时。因此需要一种处理扩展内容以便改善用户体验的方法。3.
技术实现思路
根据本原理，描述了其中处理外围图像的亮度的实施例，使得来自观看者视野中的外围图像的光保持为低。换句话说，周边视图的亮度减小，使得当显示视图时，通过中心视图和周边视图呈现的全局亮度保持在接近仅通过中心视图呈现的亮度。为此，公开了一种用于处理扩展中心图像的边界的至少一个外围图像的方法。该方法包括基于人类视觉特性调整外围图像的亮度。更具体地，根据第一实施例，该方法包括通过将光校正函数应用到外围图像的亮度，将外围图像的亮度调整到参考反射率水平，其中通过测量调整为显示外围图像的表面的参考反射率水平的显示的外围图像的呈现的亮度水平获得光校正函数。根据第一实施例的具体特征，光校正函数是使得在外围图像的亮度高于高亮度阈值的情况下降低亮度，并且在外围图像的亮度低于低亮度阈值的情况下不修改亮度。有益地，低亮度阈值和高亮度阈值分别对应于当以所述参考反射率水平显示所述外围图像时，用于所述外围图像的增加的亮度的显示的外围图像的低的呈现的亮度水平和高的呈现的亮度水平。换句话说，通过实验获得阈值，其中显示具有增加的亮度水平的外围图像。在外围投影反射太多光使得视图的视场中全局光比从中心视图的原始意图更高的情况下，特别适合这样的实施例。根据第一实施例的变型，调整外围图像的亮度包括应用调整到参考反射率水平的光校正函数；并且降低外围图像的亮度以适应显示的全局亮度水平。这种变型特别适于将为参考环境获得的光校正函数调整为用户环境或用户偏好。根据具体特征，调整所述外围图像的亮度进一步包括关于参考反射率水平应用依赖于显示外围图像的表面的反射率水平的线性函数。在外围投影由于黑色侧壁而没有足够的光反射的情况下，特别适合这种变型。根据第二实施例，该方法包括增加外围图像中的移动对象的亮度。有益地，这种基于对象的调整增加了移动对象的外观。根据第二方面，公开了一种用于处理至少一个外围图像的设备，其在显示时扩展显示的中心图像的边界。该设备包括，至少一个处理器，配置为通过对外围图像的亮度应用光校正函数来将所述外围图像的亮度调整为参考反射率水平，其中通过测量调整为显示外围图像的表面的参考反射率水平的显示的外围图像的呈现的亮度水平获得光校正函数。根据另一实施例，公开了一种用于在至少一个屏幕上投影视频数据的设备，其中视频数据包括中心图像和至少一个外围图像。投影设备包括至少一个处理器，其配置成根据本原理调整外围图像的亮度。根据另一实施例，该设备包括用于根据本原理调整外围图像的亮度的部件。根据第三方面，一种计算机程序产品，其包括用于在计算机上执行该程序时，执行根据公开的任何实施例和变型的处理方法的步骤的程序代码指令。一种处理器可读介质，其中存储有用于使处理器至少执行根据所公开的任何实施例和变型的处理方法的步骤的指令。根据第四方面，公开了一种可由计算机读取的非暂时性程序存储设备，其有形地体现了可由计算机执行的指令程序，以执行根据公开的任何实施例和变型的处理方法。虽然没有明确描述，但是本实施例可以以任何组合或子组合来使用。此外，对于处理方法描述的任何特征或实施例与旨在处理所公开的方法的设备和存储程序指令的计算机可读存储介质兼容。4.附图说明在附图中，图示了本原理的实施例。其示出了：-图1描绘了根据本原理的实施例的处理设备；-图2表示根据本原理的实施例的图1的处理设备的示例性架构；-图3示出了用于显示外推图像的示例性布置；-图4图示了包括中心图像和在亮度调整之前和之后生成和显示的超出中心图像的左边界和右边界的外推图像的示例性图像；-图5表示根据本原理的实施例的用于显示多个视频的方法的流程图；-图6表示根据本原理的实施例的通过空间量化以获得两个图像的相对定位的变换的解释。5.具体实施例图1描绘了根据本原理的实施例的用于调整扩展超出中心图像的边界的至少一个外围图像的亮度的处理设备1。将视频内容扩展到围绕屏幕，特别是用于使用宽视野的剧院、家庭影院或头戴式(HMD)设备。这些种类的显示器被称为沉浸式显示器。例如，为了将视频内容扩展到围绕屏幕，外推内容以创建外围(或侧面)投影。这可以通过使用适当的图像处理技术来从原始中心内容进行外推来完成。然而，可以从具有大视场的照相机获得外围内容。因此，处理设备1包括配置成接收至少一个外围视频的输入1本文档来自技高网...

【技术保护点】
一种用于处理在显示时扩展到中心图像的边界之外的至少一个外围图像的方法，所述方法包括：通过将光校正函数应用到所述外围图像的亮度，将所述外围图像的亮度调整到参考反射率水平，其中通过测量调整到显示所述外围图像的表面的参考反射率水平的显示的所述外围图像的呈现的亮度水平获得所述光校正函数。

【技术特征摘要】
【国外来华专利技术】2015.03.13 EP 15290071.81.一种用于处理在显示时扩展到中心图像的边界之外的至少一个外围图像的方法，所述方法包括：通过将光校正函数应用到所述外围图像的亮度，将所述外围图像的亮度调整到参考反射率水平，其中通过测量调整到显示所述外围图像的表面的参考反射率水平的显示的所述外围图像的呈现的亮度水平获得所述光校正函数。2.根据权利要求1所述的方法，其中所述光校正函数使得在所述外围图像的所述亮度高于高亮度阈值的情况下所述亮度降低，在所述外围图像的所述亮度低于低亮度阈值的情况下不修改所述亮度。3.根据权利要求2所述的方法，其中所述低亮度阈值和高亮度阈值分别对应于所述显示的外围图像的低的呈现的亮度水平和高的呈现的亮度水平，用于当所述外围图像以所述参考反射率水平显示时增加所述外围图像的亮度。4.根据权利要求1-3之一所述的方法，其中调整所述外围图像的亮度包括：应用调整到所述参考反射率水平的光校正函数；以及降低所述外围图像的亮度以适应于显示的全局亮度水平。5.根据权利要求1-3之一所述的方法，其中调整所述外围图像的亮度进一步包括根据显示外围图像的表面的反射率水平应用线性函数。6.根据权利要求1-5之一所述的方法...

【专利技术属性】
技术研发人员：P吉洛特尔，F厄本，L图尔班，
申请(专利权)人：汤姆逊许可公司，
类型：发明
国别省市：法国,FR