用于处理图像属性图的方法和装置制造方法及图纸

技术编号:22174790 阅读:61 留言:0更新日期:2019-09-21 15:26
一种装置包括接收器(101),所述接收光强度图像、置信度图和图像属性图。滤波器单元(103)被布置为响应于所述光强度图像和所述置信度图来对图像属性图进行滤波。具体地,针对第一位置,所述滤波器单元(103)响应于所述第一位置附近的邻域周围的领域图像属性值的加权组合来确定组合邻域图像属性值,第二位置处的针对第一邻域图像属性值的权重取决于针对第一邻域图像属性值的置信度值以及针对所述第一位置的光强度值与针对所述第二位置的光强度值之间的差值;并且将针对所述第一位置的第一经滤波的图像属性值确定为所述图像属性图中所述第一位置处的第一图像属性值与组合的近邻图像属性值的组合。

A Method and Device for Processing Image Attribute Maps

【技术实现步骤摘要】
【国外来华专利技术】用于处理图像属性图的方法和装置
本专利技术涉及用于处理图像属性图的方法和装置,并且具体地但非排他地,涉及深度或视差图的处理。
技术介绍
传统上,数字图像和视频帧仅由单幅图像构成,提供反映场景的光属性的光强度信息(包括颜色)。然而,近年来,图像的表示变得越来越复杂,附加信息通常表示若干不同的属性。例如,不是简单地被包含在单幅光强度图像中的图像,而是场景的许多表示现在包括额外的光强度图像、深度图、透明度图、置信度图等。可以提供这样的额外信息,以便允许接收/呈现端对所呈现的图像具有更大的灵活性和控制。一个示例是提供额外的深度信息,例如为光强度图像提供深度图(或等价地,视差图)。这可以允许接收器/渲染器执行视点移位或者例如生成立体图像用于3D观看。然而,在许多实际场景中,图像属性可能不完美并且受到噪声或误差的影响。例如,深度信息可能不如期望的那样准确。实际上,在许多场景中,通过比较不同视图方向的视图图像来估计和提取深度值来生成深度信息。然而,这种估计往往是相对有噪声和容易出错的。具体地,在许多应用中,使用略微不同位置的两个相机捕获三维场景作为立体图像。然后可以通过估计两幅图像中的相应图像对象之间的视差来生成特定深度值。然而,这种深度提取和估计是有问题的并且倾向于导致非理想的深度值。这可能再次导致伪影和降低的三维图像质量。三维图像劣化和伪影对于不同图像对象之间的过渡倾向于特别重要。此外,基于针对关联的图像的视差估计来确定深度信息通常还与对图像对象的特性的考虑有关。通常,视差估计算法通过比较左图像中的点与右图像中的对应点之间的局部颜色差来搜索左图像与右图像之间的对应关系。然而,图像特性和处理可能相对有噪声,导致生成的深度图也相对有噪声。为了改进这种深度图,已经提出了深度图的后滤波。特定的后滤波方法是双边彩色和/或亮度自适应滤波器,其中,滤波内核适于反映图像的视觉特性。这样的双边滤波器可以导致深度图适于更紧密地跟随图像的特性,并且其可以导致估计的视差的改善的一致性和时间稳定性,或者可以例如在不同的图像对象之间提供更清晰的深度过渡。联合双边滤波可以包括上采样,并且是用于在给定相关光强度图像作为“引导”信号的情况下对例如深度图进行滤波或上采样的技术。一般的想法是“引导”信号噪声较小或分辨率较高,因此它可以提供有关哪些样本应该在要被滤波的像素周围的典型时空邻域的加权平均中给予较低或较高权重的信息。然而,尽管这种滤波,特别是双边滤波,可以改善被滤波的图像属性图,但是往往不能提供最佳性能,并且所得到的图像属性图可能仍然包括伪影、误差、不准确和/或噪声。因此,用于处理图像属性图的改进方法将是有利的,并且特别是允许增加灵活性、便于实现、降低复杂性、减少伪影/错误/不准确和/或噪声、和/或改善质量和/或性能的方法将是有利的。
技术实现思路
因此,本专利技术寻求单独地或以任何组合来优选地减弱、减轻或消除一个或多个上述缺点。根据本专利技术的一个方面,提供了一种处理图像属性图的装置,所述装置包括:接收器,其用于接收光强度图像、置信度图和图像属性图,所述光强度图像包括针对所述光强度图像的像素的光强度值,所述图像属性图包括针对所述光强度图像的所述像素的图像属性值,并且所述置信度图包括针对所述图像属性值的置信度值;滤波器单元,其被布置为响应于所述光强度图像和所述置信度图来对所述图像属性图进行滤波,以生成经滤波的图像属性图,所述滤波器单元被布置为针对所述经滤波的图像属性图中的第一位置进行以下操作:响应于邻域图像属性值的加权组合来确定组合邻域图像属性值,所述邻域图像属性值是所述第一位置周围的邻域中的图像属性值,针对第二位置处的第一邻域图像属性值的权重取决于针对所述第一邻域图像属性值的置信度值以及针对所述第一位置的光强度值与针对所述第二位置的光强度值之间的差值;并且将针对所述第一位置的所述第一经滤波的图像属性值确定为所述图像属性图中所述第一位置处的第一图像属性值与组合的近邻图像属性值的组合;其中,所述滤波器单元被布置为响应于针对所述第一邻域图像属性值的置信度值与针对所述第一图像属性值的置信度值的差异量度来确定针对所述第一邻域图像属性值的权重。本专利技术可以允许生成改进的图像属性图。所述经滤波的图像属性图可以响应于不同的属性和模态来确定,并且可以在许多场景和实施例中提供正确图像属性值的更准确的反映。例如,在许多实施例中,可以实现深度图的改进滤波,从而产生输出的经滤波的深度图,其可以用于例如以更高的结果图像质量执行视点移位。因此,通常可以基于所得到的经滤波的图像属性图来实现改进的用户体验。该方法可以提供改进的滤波,其中,置信度和光强度值可以同时用于控制和引导图像属性图的滤波,例如深度图。可以将对不同属性的考虑集成到组合的同时和集成操作中。这可能会降低质量并提供改进的性能。例如,特定方法允许联合考虑置信度和光强度值,而不会相互干扰或导致误差或伪影。可以根据任何合适的差异量度来确定针对所述第一位置的光强度值和针对所述第二位置的光强度值之间的差异。例如,可以将其确定为光强度值之间的差异的模。邻域图像属性值的加权组合可以具体地是邻域图像属性值的加权求和。在一些实施例中,邻域图像属性值的加权组合可以包括邻域内的所有邻域图像属性值。在其他实施例中,它可以仅包括这些的子集,例如,可以将子采样应用于邻域中的邻域图像属性值。图像属性图中的第一位置处的第一图像属性值与组合的近邻图像属性值的组合可以是加权求和。邻域可以是包括所述第一位置的邻域/区域。这样的邻域/区域也可以称为内核。针对所述第一邻域图像属性值的权重可以是针对所述第一邻域图像属性值的置信度值的单调递增函数(其中,针对增加的置信度,置信度值具有增加的值)。针对第一邻域图像属性值的权重可以是第一位置的光强度值与第二位置的光强度值之间的差的单调递减函数。第一邻域图像属性值的置信度值可以是置信度图中的第二位置处的置信度值。针对所述置信度值的差异量度可以是任何合适的差异量度。根据本专利技术的任选的特征,所述滤波器单元被布置为:响应于针对所述第一图像属性值的置信度值,确定所述第一图像属性值相对于组合近邻图像属性值的权重的权重。在许多场景和实施例中这可以导致生成改进的经滤波的图像属性图。用于所述图像属性图中的所述第一位置处的第一图像属性值与组合的近邻图像属性值的组合的权重可以取决于所述置信度图中的针对第一图像属性值/在第一位置处的置信度值。针对第一图像属性值的权重相对于组合的近邻图像属性值的权重可以是针对所述第一图像属性值的置信度值的单调递增函数。根据本专利技术的任选的特征,所述滤波器单元被布置为将组合的近邻图像属性值基本上确定为:其中,fj表示第二位置处的光强度值与所述第二位置处的近邻图像属性值的光强度值的的差异量度;gj表示为针对第一深度值Di的置信度值Ci与针对所述第二位置处的图像的属性值的置信度值的置信差异量度;Dj表示第二位置处的邻域图像属性值;αj表示设计参数,并且加和在属于邻域的所有位置j上进行。这可以在许多实施例中提供特别有利的操作,并且可以具体地在许多场景和实施例中导致生成改进的经滤波的图像属性图。设计参数αj可以取决于其他参数,例如第一位置和第二位置之间的距离。根据本专利技术的任选的特征,权重的确定相对于针对第一邻域图像属本文档来自技高网
...

【技术保护点】
1.一种用于处理图像属性图的装置,所述装置包括:接收器(101),其用于接收光强度图像、置信度图和图像属性图,所述光强度图像包括针对所述光强度图像的像素的光强度值,所述图像属性图包括针对所述光强度图像的所述像素的图像属性值,并且所述置信度图包括针对所述图像属性值的置信度值;滤波器单元(103),其被布置为响应于所述光强度图像和所述置信度图来对所述图像属性图进行滤波,以生成经滤波的图像属性图,所述滤波器单元(103)被布置为针对所述经滤波的图像属性图中的第一位置进行以下操作:响应于邻域图像属性值的加权组合来确定组合的邻域图像属性值,所述邻域图像属性值是所述第一位置周围的邻域中的图像属性值,针对第二位置处的第一邻域图像属性值的权重取决于针对所述第一邻域图像属性值的置信度值以及针对所述第一位置的光强度值与针对所述第二位置的光强度值之间的差异;并且将针对所述第一位置的所述第一经滤波的图像属性值确定为所述图像属性图中所述第一位置处的第一图像属性值与组合的近邻图像属性值的组合;其中,所述滤波器单元(103)被布置为响应于针对所述第一邻域图像属性值的置信度值与针对所述第一图像属性值的置信度值的差异量度来确定针对所述第一邻域图像属性值的所述权重。...

【技术特征摘要】
【国外来华专利技术】2017.02.07 EP 17155076.71.一种用于处理图像属性图的装置,所述装置包括:接收器(101),其用于接收光强度图像、置信度图和图像属性图,所述光强度图像包括针对所述光强度图像的像素的光强度值,所述图像属性图包括针对所述光强度图像的所述像素的图像属性值,并且所述置信度图包括针对所述图像属性值的置信度值;滤波器单元(103),其被布置为响应于所述光强度图像和所述置信度图来对所述图像属性图进行滤波,以生成经滤波的图像属性图,所述滤波器单元(103)被布置为针对所述经滤波的图像属性图中的第一位置进行以下操作:响应于邻域图像属性值的加权组合来确定组合的邻域图像属性值,所述邻域图像属性值是所述第一位置周围的邻域中的图像属性值,针对第二位置处的第一邻域图像属性值的权重取决于针对所述第一邻域图像属性值的置信度值以及针对所述第一位置的光强度值与针对所述第二位置的光强度值之间的差异;并且将针对所述第一位置的所述第一经滤波的图像属性值确定为所述图像属性图中所述第一位置处的第一图像属性值与组合的近邻图像属性值的组合;其中,所述滤波器单元(103)被布置为响应于针对所述第一邻域图像属性值的置信度值与针对所述第一图像属性值的置信度值的差异量度来确定针对所述第一邻域图像属性值的所述权重。2.根据权利要求1所述的装置,其中,所述滤波器单元(103)被布置为:响应于针对所述第一图像属性值的置信度值,确定所述第一图像属性值相对于所述组合的近邻图像属性值的权重的权重。3.根据权利要求1或2所述的装置,其中,所述滤波器单元(103)被布置为将所述组合的近邻图像属性值基本上确定为:其中,fj表示针对所述第二位置处的光强度值与针对所述第二位置的近邻图像属性值的光强度值的差异量度;gj表示针对所述第一深度值的置信度值与针对所述第二位置处的所述邻域图像属性值的置信度值的置信度差异量度;Dj表示所述第二位置处的所述邻域图像属性值;αj表示设计参数,并且加和是在属于所述邻域的所有位置j上进行的。4.根据任一前述权利要求所述的装置,其中,所述权重的所述确定关于针对所述第一邻域图像属性值的置信度值和针对所述第一图像属性值的置信度值是不对称的。5.根据任一前述权利要求所述的装置,其中,当针对所述第一邻域图像属性值的置信度值不超过针对所述第一图像属性值的置信度一阈值时,所述差异量度被限制为最小值,并且如果针对所述第一邻域图像属性值的置信度值超过针对所述第一图像属性值的置信度值所述阈值,则所述差异量度超过所述最小值。6.根据任一前述权利要求所述的装置,其中,所述光强度图像、所述置信度图和所述图像属性图是光...

【专利技术属性】
技术研发人员:C·韦雷坎普P·L·E·万德瓦勒
申请(专利权)人:皇家飞利浦有限公司
类型:发明
国别省市:荷兰,NL

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1