【技术实现步骤摘要】
【国外来华专利技术】
各种实施方式总体上涉及用于修改图像中的照度的方法、装置和计算机程序产品。
技术介绍
如移动电话和平板电脑之类的电子设备越来越多地配置有数码相机以便促成图像捕捉。数码相机包括一个或多个图像传感器。图像传感器敏感于入射光(诸如在图像捕捉期间从感兴趣对象反射的光)，这促成了对象图像的捕捉。诸如周围光照条件和/或光源方向之类的多种因素可能影响到与所捕捉图像中的对象相关联的照度。在某些情况下，图像照度可能需要在考虑各种原因的情况下进行修改，作为示例，诸如为了促进虚拟现实应用，为了引入光照效果(例如黑白照片)等。通常，修改图像照度涉及到利用特殊编辑设备和软件来控制成像伪像(artefact)。这样，在排除复杂度以及特殊的编辑设备/软件的同时对图像中的照度进行修改就成为一项挑战。
技术实现思路
权利要求中给出了示例实施例的各个方面。在第一方面，提供了一种方法，包括：将图像划分为多个超像素单元区域；针对多个超像素单元区域确定表面方位，其中表面方位基于与图像相关联的深度信息而针对多个超像素单元区域中的超像素单元区域被确定；接收用于修改与图像相关联的照度的至少一个虚拟光源指示；并且通过基于至少一个虚拟光源指示以及针对多个超像素单元区域所确定的表面方位中的对应于一个或多个超像素单元区域的表面方位修改与多个超像素单元区域中的一个或多个超像素单元区域相关联的亮度来修改与图像相关联的照度。在第二方...
【技术保护点】
一种方法，包括：将图像划分为多个超像素单元区域；针对所述多个超像素单元区域确定表面方位，其中表面方位基于与所述图像相关联的深度信息而针对所述多个超像素单元区域中的超像素单元区域被确定；接收用于修改与所述图像相关联的照度的至少一个虚拟光源指示；以及通过基于所述至少一个虚拟光源指示以及针对所述多个超像素单元区域所确定的表面方位中的对应于一个或多个超像素单元区域的表面方位修改与所述多个超像素单元区域中的所述一个或多个超像素单元区域相关联的亮度来修改与所述图像相关联的所述照度。
【技术特征摘要】
【国外来华专利技术】2013.10.21 GB 1318530.11.一种方法，包括：
将图像划分为多个超像素单元区域；
针对所述多个超像素单元区域确定表面方位，其中表面方位基于
与所述图像相关联的深度信息而针对所述多个超像素单元区域中的
超像素单元区域被确定；
接收用于修改与所述图像相关联的照度的至少一个虚拟光源指
示；以及
通过基于所述至少一个虚拟光源指示以及针对所述多个超像素
单元区域所确定的表面方位中的对应于一个或多个超像素单元区域
的表面方位修改与所述多个超像素单元区域中的所述一个或多个超
像素单元区域相关联的亮度来修改与所述图像相关联的所述照度。
2.根据权利要求1所述的方法，其中通过以下步骤来确定针对所
述超像素单元区域的所述表面方位：
基于与所述图像相关联的所述深度信息为对应于所述超像素单
元区域的像素指定法向量，以及
对向所述像素指定的所述法向量求平均以生成平均法向量，其中
所述平均法向量被确定为针对所述超像素单元区域的所述表面方位。
3.根据权利要求2所述的方法，进一步包括采用一个或多个滤镜
来抵消在针对所述超像素单元区域确定所述表面方位期间生成的伪
像。
4.根据权利要求2或3所述的方法，进一步包括针对所述图像至
少生成深度图和视差图之一的粗略估计，以便生成与所述图像相关联
的所述深度信息。
5.根据权利要求1或4所述的方法，其中接收所述至少一个虚拟
光源指示包括接收至少一个矢量，其中所述至少一个矢量中的矢量指
示虚拟光源方向。
6.根据权利要求1或4所述的方法，其中接收所述至少一个虚拟
\t光源指示包括接收至少一个虚拟光源位置，其中所述至少一个虚拟光
源位置中的虚拟光源位置包括对应于虚拟光源的二维位置信息和三
维位置信息之一。
7.根据权利要求6所述的方法，进一步包括：
根据所述至少一个虚拟光源位置计算至少一个矢量，其中所述至
少一个矢量中的矢量指示虚拟光源方向。
8.根据权利要求5或7所述的方法，其中修改与所述一个或多个
超像素单元区域相关联的亮度包括执行以下步骤之一：
在对应的表面方位面向由所述矢量表示的所述虚拟光源方向的
情况下，提高所述一个或多个超像素单元区域中的超像素单元区域内
包括的像素的亮度；以及
在对应的表面方位面向不同于由所述矢量表示的所述虚拟光源
方向的方向的情况下，降低所述一个或多个超像素单元区域中的超像
素单元区域内包括的像素的亮度。
9.根据权利要求8所述的方法，其中所述一个或多个超像素单元
区域内包括的像素中的像素的个体亮度与当前像素亮度成比例地被
修改。
10.根据权利要求9所述的方法，其中对所述像素的所述个体亮
度的修改进一步基于所述像素的原始颜色、与所述像素相关联的深度
信息、以及与对应于所述至少一个虚拟光源指示的一个或多个虚拟光
源相关联的至少一个预定因素被执行，所述至少一个准则包括与所述
一个或多个虚拟光源中的每个虚拟光源相关联的颜色以及与所述每
个虚拟光源相关联的功率因数。
11.根据权利要求10所述的方法，进一步包括基于与所述一个或
多个虚拟光源中的所述每个虚拟光源相关联的所述颜色来修改与所
述多个超像素单元区域中的一个或多个超像素单元区域相关联的颜
色。
12.根据权利要求1或10所述的方法，其中所述一个或多个超像
素单元区域对应于基于与所述图像相关联的所述深度信息所识别的
\t图像前景区和图像背景区之一。
13.根据权利要求10所述的方法，其中修改与所述图像相关联的
所述照度包括沿由所述矢量表示的所述虚拟光源方向执行与所述一
个或多个超像素单元区域相关联的所述亮度的逐渐衰减和突然衰减
之一。
14.根据权利要求1所述的方法，其中修改与所述一个或多个超
像素单元区域相关联的所述亮度包括执行从所述一个或多个超像素
单元区域中的个体超像素单元区域去除亮度和增加亮度之一。
15.根据权利要求1所述的方法，进一步包括：
识别所述图像中的多个非重叠分区，所述多个非重叠分区中的每
个非重叠分区与基本上相同的颜色相关联并且包括所述多个超像素
单元区域中的至少一个超像素单元区域，其中所述多个非重叠分区与
比包括所述多个超像素单元区域中的其余超像素单元区域的分区更
高的亮度水平相关联；
针对所述多个非重叠分区计算分区表面方位，其中所述分区表面
方位中的分区表面方位对应于针对所述多个非重叠分区中的非重叠
分区所计算的表面方位；以及
通过计算所述分区表面方位的加权平均来确定对应于照亮所述
图像的主光源的光源方向，其中对应于所述分区表面方位的所述加权
平均的方向被确定为所述光源方向。
16.根据权利要求15所述的方法，其中通过将与所述多个非重叠
分区中的对应的非重叠分区内所包括的所述至少一个超像素单元区
域相对应的表面方位求平均来计算出所述分区表面方位中的分区表
面方位。
17.根据权利要求16所述的方法，进一步包括：
针对所述多个非重叠分区计算深度估计和亮度估计，其中所述深
度估计中的深度估计和所述亮度估计中的亮度估计针对所述每个非
重叠分区被计算；以及
向所述分区表面方位指定权重，其中基于针对所述多个非重叠分
\t区中的相对应的非重叠分区所计算的所述深度估计中的深度估计和
所述亮度估计中的亮度估计而向所述分区表面方位中的分区表面方
位指定权重，其中基于所指定的权重计算所述分区表面方位的所述加
权平均。
18.根据权利要求17所述的方法，其中针对所述每个非重叠分区
的所述深度估计对应于所述每个非重叠分区内所包括的所述至少一
个超像素单元区域的平均深度，并且其中针对所述每个非重叠分区的
所述亮度估计对应于与所述每个非重叠分区内所包括的所述至少一
个超像素单元区域中最明亮的超像素单元区域相关联的亮度。
19.根据权利要求1至18中任一项所述的方法，其中所述图像是
立体图像对中的一个图像。
20.根据权利要求1至19中任一项所述的方法，进一步包括在修
改与所述图像相关联的所述照度之后显示所述图像。
21.一种装置，包括：
至少一个处理器；以及
包括计算机程序代码的至少一个存储器，所述至少一个存储器和
所述计算机程序代码被配置为与所述至少一个处理器一起使得所述
装置至少执行以下步骤：
将图像划分为多个超像素单元区域；
针对所述多个超像素单元区域确定表面方位，其中表面方位基于
与所述图像相关联的深度信息而针对所述多个超像素单元区域中的
超像素单元区域被确定；
接收用于修改与所述图像相关联的照度的至少一个虚拟光源指
示；以及
通过基于所述至少一个虚拟光源指示以及针对所述多个超像素
单元区域所确定的表面方位中的对应于一个或多个超像素单元区域
的表面方位修改与所述多个超像素单元区域中的所述一个或多个超
像素单元区域相关联的亮度来修改与所述图像相关联的所述照度。
22.根据权利要求21所述的装置，其中所述装置进一步被使得至
\t少部分通过以下步骤来确定针对所述超像素单元区域的所述表面方
位：
基于与所述图像相关联的所述深度信息为对应于所述超像素单
元区域的像素指定法向量，以及
对向所述像素指定的所述法向量求平均以生成平均法向量，其中
所述平均法向量被确定为针对所述超像素单元区域的所述表面方位。
23.根据权利要求22所述的装置，其中所述装置进一步被使得至
少部分：
采用一个或多个滤镜来抵消在针对所述超像素单元区域确定所
述表面方位期间生成的伪像。
24.根据权利要求22或23所述的装置，其中所述装置进一步被
使得至少部分：
针对所述图像至少生成深度图和视差图之一的粗略估计，以便生
成与所述图像相关联的所述深度信息。
25.根据权利要求21或24所述的装置，其中接收所述至少一个
虚拟光源指示包括接收至少一个矢量，其中所述至少一个矢量中的矢
量指示虚拟光源方向。
26.根据权利要求21或24所述的装置，其中接收所述至少一个
虚拟光源指示包括接收至少一个虚拟光源位置，其中所述至少一个虚
拟光源位置中的虚拟光源位置包括对应于虚拟光源的二维位置信息
和三维位置信息之一。
27.根据权利要求26所述的装置，其中所述装置进一步被使得至
少部分：
根据所述至少一个虚拟光源位置计算至少一个矢量，其中所述至
少一个矢量中的矢量指示虚拟光源方向。
28.根据权利要求25或27所述的装置，其中修改与所述一个或
多个超像素单元区域相关联的亮度包括执行以下步骤之一：
在对应的表面方位面向由所述矢量表示的所述虚拟光源方向的
情况下，提高所述一个或多个超像素单元区域中的超像素单元区域内
\t包括的像素的亮度；以及
在对应的表面方位面向不同于由所述矢量表示的所述虚拟光源
方向的方向的情况下，降低所述一个或多个超像素单元区域中的超像
素单元区域内包括的像素的亮度。
29.根据权利要求28所述的装置，其中所述一个或多个超像素单
元区域内包括的像素中的像素的个体亮度与当前像素亮度成比例地
被修改。
30.根据权利要求29所述的装置，其中对所述像素的所述个体亮
度的修改进一步基于所述像素的原始颜色、与所述像素相关联的深度
信息、以及与对应于所述至少一个虚拟光源指示的一个或多个虚拟光
源相关联的至少一个预定因素被执行，所述至少一个预定因素包括与
所述一个或多个虚拟光源中的每个虚拟光源相关联的颜色以及与所
述每个虚拟光源相关联的功率因数。
31.根据权利要求30所述的装置，其中所述装置进一步被使得至
少部分：
基于与所述一个或多个虚拟光源中的所述每个虚拟光源相关联
的所述颜色来修改与所述多个超像素单元区域中的一个或多个超像
素单元区域相关联的颜色。
32.根据权利要求21或30所述的装置，其中所述一个或多个超
像素单元区域对应于基于与所述图像相关联的所述深度信息所识别
的图像前景区和图像背景区之一。
33.根据权利要求30所述的装置，其中所述装置进一步被使得至
少部分：
沿由所述矢量表示的所述虚拟光源方向执行与所述一个或多个
超像素单元区域相关联的所述亮度的逐渐衰减和突然衰减之一以便
修改与所述图像相关联的所述照度。
34.根据权利要求21所述的装置，其中修改与所述一个或多个超
像素单元区域相关联的所述亮度包括执行从所述一个或多个超像素
单元区域中的个体超像素单元区域去除亮度和增加亮度之一。
35.根据权利要求21所述的装置，其中所述装置进一步被使得至
少部分：
识别所述图像中的多个非重叠分区，所述多个非重叠分区中的每
个非重叠分区与基本上相同的颜色相关联并且包括所述多个超像素
单元区域中的至少一个超像素单元区域，其中所述多个非重叠分区与
比包括所述多个超像素单元区域中的其余超像素单元区域的分区更
高的亮度水平相关联；
针对所述多个非重叠分区计算分区表面方位，其中所述分区表面
方位中的分区表面方位对应于针对所述多个非重叠分区中的非重叠
分区所计算的表面方位；以及
通过计算所述分区表面方位的加权平均来确定对应于照亮所述
图像的主光源的光源方向，其中对应于所述分区表面方位的所述加权
平均的方向被确定为所述光源方向。
36.根据权利要求35所述的装置，其中通过将与所述多个非重叠
分区中的对应的非重叠分区内所包括的所述至少一个超像素单元区
域相对应的表面方位求平均来计算出所述分区表面方位中的分区表
面方位。
37.根据权利要求36所述的装置，其中所述装置进一步被使得至
少部分：
针对所述多个非重叠分区计算深度估计和亮度估计，其中所述深
度估计中的深度估计和所述亮度估计中的亮度估计针对所述每个非
重叠分区被计算；以及
向所述分区表面方位指定权重，其中基于针对所述多个非重叠分
区中的相对应的非重叠分区所计算的所述深度估计中的深度估计和
所述亮度估计中的亮度估计而向所述分区表面方位中的分区表面方
位指定权重，其中基于所指定的权重计算所述分区表面方位的所述加
权平均。
38.根据权利要求37所述的装置，其中针对所述每个非重叠分区
的所述深度估计对应于所述每个非重叠分区内所包括的所述至少一
\t个超像素单元区域的平均深度，并且其中针对所述每个非重叠分区的
所述亮度估计对应于与所述每个非重叠分区内所包括的所述至少一
个超像素单元区域中最明亮的超像素单元区域相关联的亮度。
39.根据权利要求21至38中任一项所述的装置，其中所述图像
是立体图像对中的一个图像。
40.根据权利要求21至39中任一项所述的装置，其中所述装置
进一步被使得至少部分：
在修改与所述图像相关联的所述照度之后显示所述图像。
41.根据权利要求21至40中任一项所述的装置，其中所述装置
包括电子设备，所述电子设备包括：
用户接口电路和用户接口软件，被配置为促成用户通过使用显示
器控制所述电子设备的至少一个功能，并且进一步被配置为对用户输
入作出响应；以及
显示电路，被配置为显示所述电子设备的用户接口的至少一部
分，所述显示器和所述显示电路被配置为促使所述用户对所述电子设
备的至少一个功能进行控制。
42.根据权利要求41所述的装置，其中所述电子设备包括立体相
机。
43.根据权利要求41或42所述的装置，其中所述电子设备包括
移动电话。
44.一种包括至少一个计算机可读存储介质的计算机程序产品，
所述计算机可读存储介质包括指令集合，当被一个或多个处理器执行
时，所述指令...
【专利技术属性】
技术研发人员：A·泽恩黑尔德，
申请(专利权)人：诺基亚技术有限公司，
类型：发明
国别省市：芬兰;FI
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。