图像处理装置和方法制造方法及图纸

本发明专利技术涉及一种用于为当前数字图像的当前片段选择深度信息值(dbest)的图像处理装置(100)。所述图像处理装置(100)包括：存储器(101)，用于存储为先前处理片段选择的先前选定深度信息值(dprev)；以及信号处理逻辑(103)。所述信号处理逻辑(103)用于：基于定义数字参考图像的参考片段候选的深度信息值候选，计算所述当前片段的相似性度量；将所述深度信息值候选与所述先前选定深度信息值(dprev)进行比较；基于所述深度信息值候选与所述先前选定深度信息值(dprev)之间的所述比较，将加权函数应用到所述计算出的相似性度量以获得所述当前片段的加权相似性度量；以及根据所述深度信息值候选的所述加权相似性度量，确定是否选择所述深度信息值候选作为所述当前片段的所述深度信息值((dbest)。

Image processing devices and methods

【技术实现步骤摘要】
【国外来华专利技术】图像处理装置和方法
本专利技术涉及一种图像处理装置和方法。具体而言，本专利技术涉及一种用于为数字图像的片段选择深度信息值的图像处理装置和方法。
技术介绍
在为数字图像的给定片段，例如数字图像的一个像素或一组像素，估计视差或深度(本文中统称为深度信息值)的许多已知算法中，从考虑范围内的一组深度信息值中选择该深度信息值作为最佳深度信息值。选择常通过以下方式进行：参照当前处理片段的深度信息值d将成本函数Ccurrent(d)最小化。该成本函数可以是一个纯粹的局部片段匹配误差或匹配成本Mcurrent(d)，如D.Scharstein和R.Szeliski在2002年的国际计算机视觉杂志(InternationalJournalofComputerVision)第47卷7-42页发表的“(Ataxonomyandevaluationofdensetwo-framestereocorrespondencealgorithms)”等中描述的众所周知的“胜者全拿(Winner-Takes-All，WTA)算法”中的局部片段匹配误差或匹配成本。其中，表示深度信息值d的选择，方括号中的表达式对于该深度信息值最小。图像中片段的位置(x，y)的匹配误差或匹配成本Mcurrent(d)以及与该片段相关的深度信息值d通常使用误差函数来计算，误差函数确定位置(x，y)中的图像I的值与位置(x+d，y)中的参考图像Iref(或多个图像)的值之间的差。通常，术语图像的值是指纹理图像的颜色通道或亮度值，但是也可加上水平和垂直梯度。常用的误差函数是由以下等式(2)给出的绝对差异和(sumofabsolutedifference，SAD)或者由以下等式(3)给出的平方差异和(sumofsquareddifference，SSD)(参见例如H.Hirschmueller和D.Scharstein在2007年的IEEE计算机视觉和模式识别会议上发表的“用于立体匹配的成本函数的评估(EvaluationofCostFunctionsforStereoMatching)”)：Mcurrent(d)＝SAD(I(x，y)，Iref(x+d，y)＝|I(x，y)-Iref(x+d，y)|(2)Mcurrent(d)＝SSD(I(x，y，Iref(x+d，y))＝(I(x，y)-Iref(x+d，y))2(3)在更高级的算法中(如在维特比、前向或置信传播算法中，这些算法同样在上文引用的D.Scharstein和R.Szeliski的文章中描述)，使用更复杂的成本函数Ccurrent(d)对产生的深度信息值进行最小化和选择。在这种情况下，Ccurrent(d)通常是Mcurrent(d)与转换成本函数T的最小卷积之和，其中成本涉及邻近片段中的所有考虑在内的深度信息值，即，还包括平滑项。在前向和维特比算法中，邻近片段是已经经过处理来获得它们的深度信息值d的那些片段，因此给定深度信息值d的Ccurrent(d)累积了针对当前处理片段(通过脚标“currengt”指定)的深度信息值估计而考虑的所有先前处理片段(通过脚标“prev”指定)的成本。其中，Mcurrent(d)是如前所述的深度信息值d的局部片段匹配误差，Cprev(d)是针对深度信息值d的先前处理片段的成本，T(q，d)是双参数转换成本函数(从深度信息值q变为深度信息值d的成本)，运算符表示最小卷积，定义如下：其中，minq表示关于q的最小值，q和d都在深度信息值的考虑范围(其通常根据在考虑范围内的视觉影像的参数，即到照相机的物距，来先验设置)内。从文献获知的一种示例性转换成本函数是Potts模型：为针对当前处理片段的深度信息值估计而考虑的所有深度信息值d计算当前片段的成本Ccurrent(d)。在置信传播算法中，可以在对算法多次迭代之后进行片段的深度信息值的最终选择。在前向算法中，基于累积成本即时决定对深度信息值的选择。在维特比算法中，深度信息值的最终选择推迟到回溯法的额外一次递回，其在获知所有成本值时执行。当前已知算法提供估计深度信息值的高保真度，具体来说是视差值或深度值的高保真度，在计算上较复杂并且不适合在移动设备上等进行实时处理。另一方面，当前已知的能够在移动设备上等实时估计深度信息值的简单深度信息值估计算法所获得的结果的保真度有限。因此，需要一种改进的图像处理装置和方法，具体而言是一种通过计算效率高的方式提供估计深度信息值的高保真度的图像处理装置和方法。
技术实现思路
本专利技术的目的是提供一种改进的图像处理装置和方法，具体而言是一种通过计算效率高的方式提供估计深度信息值的高保真度的图像处理装置和方法。该目的由独立权利要求的特征来实现。更多实施方式从从属权利要求、描述内容和附图中显而易见。根据第一方面，本专利技术涉及一种用于为当前数字图像的当前片段选择深度信息值的图像处理装置，其中所述图像处理装置包括：存储器，用于存储为相同或不同视图和/或相同或先前时间点的相同当前数字图像或先前处理数字图像的先前处理片段选择的先前选定深度信息值。此外，所述图像处理装置包括信号处理逻辑。所述信号处理逻辑用于：基于定义数字参考图像的参考片段候选的深度信息值候选，计算所述当前片段的相似性度量；将所述深度信息值候选与所述先前选定深度信息值进行比较；基于所述深度信息值候选与所述先前选定深度信息值之间的比较结果，将加权函数应用到所述计算出的相似性度量以获得所述当前片段的加权相似性度量；以及根据所述深度信息值候选的所述加权相似性度量，确定是否选择当前深度信息值候选作为所述当前片段的所述深度信息值。通过基于当前片段的当前深度信息值候选与先前片段的先前选定/确定的深度信息值的比较对该相似性度量，例如匹配成本进行加权，本专利技术的第一方面提供了一种用于以强有力而计算效率高的方式确定当前处理片段的深度信息值的图像处理装置。术语当前片段还可称为当前处理片段，术语当前数字图像还可称为当前处理数字图像，等等。所述信号处理逻辑可以是处理器，例如，多用途处理器或数字信号处理器(digitalsignalprocessor，DSP)、ASIC、FPGA、CPU、GPU等等。所述深度信息值可以是深度值、视差值，或者表示深度值或视差值的标记或标签，等等。所述片段可以是所述当前数字图像和/或所述数字参考图像的一个像素或一组像素，等等。所述相似性度量可以是匹配成本或匹配概率等，其中所述匹配成本是指示所述当前片段与所述参考片段之差的度量且随着差的不断增加而增加，所述匹配概率是指示所述当前片段与所述参考片段匹配的可能性/概率的度量且随着差的不断增加而降低。所述先前处理片段可以是相同当前数字图像的或先前处理数字图像的，即从相同视图来看是指时间上在前的数字图像的，或者从不同视图来看是指相同或先前时间点的。所述信号处理逻辑可以用于，通过前向算法或通过其中的卷积步骤可以基于所述先前深度信息值由所提出的加权来替代的任何其它优化算法，以分别串行的有序方式或以并行方式来处理片段。根据本专利技术所述第一方面，在所述图像处理装置的第一可能实施形式中，所述相似性度量是匹配成本，所述加权相似性度量是加权匹配成本，其中配置所述加权函数使得：如果所述深度信息值候选与所述先前选定深度信息值不本文档来自技高网...

【技术保护点】
一种用于为当前数字图像的当前片段选择深度信息值(dbest)的图像处理装置(100)，其特征在于，所述图像处理装置(100)包括：存储器(101)，用于存储为先前处理片段选择的先前选定深度信息值(dprev；dprevk)；以及信号处理逻辑(103)，用于：基于定义数字参考图像的参考片段候选的深度信息值候选(di)，计算所述当前片段的相似性度量(成本，MCurrent(di))；将所述深度信息值候选(di)与所述先前选定深度信息值(dprev；dprev,k)进行比较；基于所述深度信息值候选(di)与所述先前选定深度信息值(dprev；dprev,k)之间的所述比较，将加权函数应用到所述计算出的相似性度量以获得所述当前片段的加权相似性度量(成本，CCurrent(di))；以及根据所述深度信息值候选(di)的所述加权相似性度量，确定是否选择所述深度信息值候选(di)作为所述当前片段的所述深度信息值(dbest)。

【技术特征摘要】
【国外来华专利技术】1.一种用于为当前数字图像的当前片段选择深度信息值(dbest)的图像处理装置(100)，其特征在于，所述图像处理装置(100)包括：存储器(101)，用于存储为先前处理片段选择的先前选定深度信息值(dprev；dprevk)；以及信号处理逻辑(103)，用于：基于定义数字参考图像的参考片段候选的深度信息值候选(di)，计算所述当前片段的相似性度量(成本，MCurrent(di))；将所述深度信息值候选(di)与所述先前选定深度信息值(dprev；dprev,k)进行比较；基于所述深度信息值候选(di)与所述先前选定深度信息值(dprev；dprev,k)之间的所述比较，将加权函数应用到所述计算出的相似性度量以获得所述当前片段的加权相似性度量(成本，CCurrent(di))；以及根据所述深度信息值候选(di)的所述加权相似性度量，确定是否选择所述深度信息值候选(di)作为所述当前片段的所述深度信息值(dbest)。2.根据权利要求1所述的图像处理装置(100)，其特征在于，所述相似性度量是匹配成本，所述加权相似性度量是加权匹配成本，配置所述加权函数使得：如果所述深度信息值候选(di)与所述先前选定深度信息值(dprev；dprev,k)不同，则所述匹配成本增加(补偿)，和/或如果所述深度信息值候选(di)与所述先前选定深度信息值(dprev；dprev,k)相同，则所述匹配成本保持不变，或者相比于所述深度信息值候选(di)与所述先前选定深度信息值(dprev；dprev,k)不同的情况，所述匹配成本仅较小程度地增加。3.根据权利要求2所述的图像处理装置(100)，其特征在于，配置所述加权函数使得：如果所述深度信息值候选(di)与所述先前选定深度信息值(dprev；dprev,k)不同，则通过以下方式来增加所述匹配成本：将第一匹配成本补偿添加到所述匹配成本以获得所述加权匹配成本，或者将所述匹配成本与第一匹配成本补偿相乘以获得所述加权匹配成本，和/或如果所述深度信息值候选(di)与所述先前选定深度信息值(dprev；dprev,k)相同，则所述匹配成本保持不变或通过以下方式增加：将第二匹配成本补偿添加到所述匹配成本以获得所述加权匹配成本，或者将所述匹配成本与第二匹配成本补偿相乘以获得所述加权匹配成本，其中所述第二匹配成本补偿小于所述第一匹配成本补偿。4.根据权利要求1所述的图像处理装置(100)，其特征在于，所述相似性度量是匹配概率，所述加权相似性度量是加权匹配概率，配置所述加权函数使得：如果所述深度信息值候选(di)与所述先前选定深度信息值(dprev；dprev,k)不同，则所述匹配概率降低，和/或如果所述深度信息值候选(di)与所述先前选定深度信息值(dprev；dprev,k)相同，则所述匹配概率保持不变，或者相比于所述深度信息值候选(di)与所述先前选定深度信息值(dprev；dprev,k)不同的情况，所述匹配概率仅较小程度地降低。5.根据权利要求4所述的图像处理装置(100)，其特征在于，配置所述加权函数使得：如果所述深度信息值候选(di)与所述先前选定深度信息值(dprev；dprev,k)不同，则通过以下方式来降低所述匹配概率：将第一匹配概率补偿从所述匹配概率减去以获得所述加权匹配概率，或者将所述匹配概率除以第一匹配概率补偿以获得所述加权匹配概率，和/或如果所述深度信息值候选(di)与所述先前选定深度信息值(dprev；dprev,k)相同，则所述匹配概率保持不变或通过以下方式降低：将第二匹配概率补偿从所述匹配概率减去以获得所述加权匹配概率，或者将所述匹配概率除以第二匹配概率补偿以获得所述加权匹配概率，其中所述第一匹配概率补偿大于所述第二匹配概率补偿。6.根据权利要求1至5中的任一项所述的图像处理装置(100)，其特征在于，所述信号处理逻辑(103)用于：为深度信息值候选集中的每个深度信息值候选计算相似性度量，每个深度信息值候选(di)定义所述数字参考图像的一个参考片段候选；将所述深度信息值候选集中的每个所述深度信息值候选(di)与所述先前选定深度信息值(dprev；dprev,k)进行比较；针对每个所述深度信息值候选(di)将加权函数应用到所述计算出的相似性度量，以便为每个所述深度信息值候选(di)获得所述当前片段的对应加权相似性度量，其中对于每个所述深度信息值候选(di)，所述加权函数基于所述比较的对应结果来应用；以及基于所述加权相似性度量，从所述深度信息值候选集中的所述深度信息值候选(di)中选择所述当前片段的所述深度信息值(dbest)。7.根据权利要求6所述的图像处理装置(100)，其特征在于，所述相似性度量是匹配成本，所述信号处理逻辑(103)用于从所述深度信息值候选集中的所述深度信息值候选(di)中选择所述具有最小加权匹配成本的深度信息值(dbest)；或所述相似性度量是匹配概率，所述信号处理逻辑(103)用于从所述深度信息值候选集中的所述深度信息值候选(di)中选择所述具有最大加权匹配概率的深度信息值(dbest)。8.根据权利要求1至6中的任一项所述的图像处理装置(100)，其特征在于，所述信号处理逻辑(103)用于通过按序处理深度信息值候选集中的深度信息值候选(di)来确定所述当前片段的所述深度信息值(dbest)；其中，所述信号处理逻辑(103)用于：为所述深度信息值候选集中的当前深度信息值候选(di)计算相似性度量；将所述当前深度信息值候选(di)与所述先前选定深度信息值(dprev；dprev,k)进行比较；根据所述比较将所述加权函数应用到所述深度信息值候选集中的所述当前深度信息值候选(di)的所述相似性度量，以获得加权...

【专利技术属性】
技术研发人员：亚采克·科涅奇，马雷克·多曼斯基，奥尔盖尔德·斯坦基耶维奇，克日什托夫·魏格纳，亚当·卢察克，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44