基于Ｌ１差距量度来测量局部图像相似度的方法技术

公开了一种基于Ｌ１差距量度来测量局部图像相似度的方法。基于Ｌ１差距量度来适应性地测量局部图像相似度的方法被描述。差距量度间的关系被用来估计用于各个碎片尺寸的阈值。对碎片尺寸的选择取决于图像中所包含的劣化和应用。相似度量度间的关系是利用用于各个碎片尺寸的Ｌ１差距的分布来建立的。对于较大的劣化，具有较大碎片尺寸的相似度量度被采用。对于较少的瑕疵，较小的碎片尺寸产生可接受的结果。为了保持计算开销可管理，采用给出所希望图像质量的最小碎片尺寸。

【技术实现步骤摘要】

本专利技术涉及图像处理领域。更具体地，本专利技术涉及局部图像相似度测量。技术背景局部图像相似度估计是图像处理中的重要问题。从概念上讲，如 GregShakhnarovich 在Learning Task-Specific Similarity, PhD Thesis，，(2005 年，麻 省理工学院，电子工程和计算机科学系，该论文通过引用被结合于此)中描述的，图像相似 度可被分类为3类，包括1)低水平相似度。如果某种差距量度(distance measure)(例 如，p-norm，EarthMovers，Mahalanobis)在某一阈值范围内，则碎片(patch)被认为是相似 的；2)中等水平相似度。这里碎片共享某一简单的语意特性；和幻高水平相似度。在这种 情况下，相似度主要通过语意来定义。使得两个碎片相似的特性是不可见的，但是它们可从 诸如姿态(gesture)之类的可见信息推断出来。在大多数单一传感器颜色成像系统中，每一像素仅一种颜色被测量。其余成分 必须被估计以完成每个位置处的颜色信息。该处理称为去马赛克(demosaicking)。滤 色阵列(CFA)的若干配置可被使用。最流行的CFA是如B. E.Bayer在“Color Imaging Array”(US专利3，971，065，1976年7月20日，该专利通过引用被结合于此)中描述的 Bayer模式，其由三种颜色构成(25%红色，50%绿色和25%蓝色像素)。近来，为了获得更 好的颜色准确度和/或更高的图像保真度，已经提出了其他的CFA。例如，如T. Mizukura等 Α “ Image pick-up device and image pick-up methodadapted with image pick-up sensitivity”(US专利7，489，346，2009年2月10日，该专利通过引用被结合于此)中描 述的，四色CFA改善了颜色再现准确度，如^shihara等人在“A 1/1.8-inch 6. 4Mpixel 60frames/s COMSImage Sensor With Seamless Mode Change (IEEE J. Solid-State Circuits，第41卷，第12号，2006年12月，第^98-3006页，此文通过引用被结合于此)中 描述的，以Z字形布置而非矩形阵列来布置Bayer颜色改善了填充因数和像素灵敏度，并且 如 F· Baqai 在“Identifying optimal colors forcalibration and color filter array deSign”(美国专利申请20070230774，2007年10月4日，该专利通过引用被结合于此)中 描述的机器学习方法统计地估计了最佳CFA颜色。去马赛克算法是基于如下的观察而被断 言的颜色通道中的高频信息是高度相关的。由于CFA中的绿色像素通常在数量上比其他 颜色多许多，所以去马赛克算法在给定的像素位置处，将来自绿色通道的高频信息拷贝到 未知的其他颜色通道。为了有效地进行此操作，去马赛克算法需要通过识别共享相似局部 几何形状的像素集合或区域集合来推断局部图像结构。与去马赛克相似，去噪也是一个估计问题。目的在于从劣化(degrade)的观察中 估计出无噪声的像素值。为了取得好的估计，共享相似局部结构的像素集合需要在劣化的 图像内被找出。经过去噪的值通常是相似像素集合中像素的加权平均。可以多种方式来确 定权重，比如接近度、相似度、噪声水平或其组合。例如，参见2008年9月18日递交的美 国专禾Ij 申请序列号 12/284，055 的 F. Baqai 的 “System and method fordenoising usingsignal dependent adaptive weights”，该专利申请通过引用被整体结合于此。有趣的是注意到对于去马赛克和去噪二者，估计出的像素值都是相似像素集合 的加权组合。权重用于不同目的。在去噪时，权重被选择以平滑掉不希望的振动；而在 去马赛克时，权重被选择以使得在未知像素估计中高频信息被保留。某些方法致力于通 过首先估计基本结构然后迭代地精细调节结果来使去马赛克和去噪相接合，如A. Buades ^ A ￠:Self-similaritydriven color demosaicking，，(IEEE TIP,第 18 卷，第 6 号， 2009 年 6 月，第 1192-1202 页)中和 K. Hirakawa 和 T. Parks 在Joint demosaicing anddenoising”(IEEE TIP，第 15 卷，第 8 号，2006 年 8 月，第 2146-2157 页)中所描述的， 这两篇文章都通过引用而被结合于此。对于所有这些情形，共同的问题是在存在诸如模糊、 失真和噪声之类的劣化的情况下找出相似的图像结构。在文献记载中，低水平图像相似度具有许多表现形式。例如，像素间的基于欧几 里得差距(L2norm)的相似度是十分常见的，如C. Tomasi和R. Manduchi在“Bilateral Filtering for Gray and Color Images”(关于计算机视觉的IEEE国际会议文集，第 841-846页，1998年，该文章通过引用被结合于此)中所描述的。该量度对采光条件和噪 声十分敏感。它并不比较局部图像结构。为了使得该量度更健壮(robust)并且可修改来 估计局部几何形状，基于碎片的欧几里得差距已经在以上引用的“klf-similaritydriven color demosaicking，，中被提出。相似度量度的关键部分是像素或图像碎片被认为相似时的阈值。阈值是依应用而 定的。它需要基于对图像中劣化程度、相似度标准和差距量度(Lp L2及其他)的估计来调 节。如果阈值被不正确地选择，则相似度量度将或者包括不相似的像素或者不产生相似像 素的在统计上有意义的数目。这引起若干挑战。例如，如果对局部几何形状的估计不正确， 则诸如拉链效应(zipper effect)、模糊和虚假色彩之类的若干假象可能出现在去马赛克 后的图像中。类似地，去噪可能不充分地去除噪声(平滑不足)，或者它可能模糊了边缘和 纹理(平滑过度)。还要注意的重要一点是计算复杂度与碎片中的像素数目成正比。例如，针对3X3 的碎片计算相似像素的计算开销是1X1的碎片的计算复杂度的9倍，并且5X5的碎片的 计算开销是1X1的碎片的25倍。很清楚地，随着碎片尺寸增大，计算开销迅速增长。因此， 希望采用实现所希望结构相似度的最小的碎片尺寸。
技术实现思路
描述了利用各个碎片尺寸的基于碎片的相似度量度间的关系来测量低水平图像 相似度的方法。各个碎片尺寸的相似度量度间的关系是通过使用针对任意的碎片尺寸的L1 差距的概率分布来建立的。碎片尺寸取决于应用和/或诸如采光、照明、光圈、聚焦、曝光和 相机增益之类的成像条件。例如，如果图像大幅劣化，则可能需要较大的碎片尺寸来有效地 测量局部图像相似度。在存储很小劣化的一些情形中，1X1 (仅一个像素)的碎片尺寸可能 是足够的。类本文档来自技高网...

【技术保护点】
一种在设备上实现的用于测量图像中的局部相似度的方法，包括以下步骤：ａ．获得成像条件；ｂ．确定适当的碎片尺寸；ｃ．选择阈值；以及ｄ．测量局部图像相似度。

【技术特征摘要】
US 2009-9-25 12/567,4541.一种在设备上实现的用于测量图像中的局部相似度的方法，包括以下步骤a.获得成像条件；b.确定适当的碎片尺寸；c.选择阈值；以及d.测量局部图像相似度。2.根据权利要求1所述的方法，其中，所述成像条件是从包括采光、照明、曝光时间、光 圈、场景类别和相机增益的组中选出的。3.根据权利要求1所述的方法，其中，所述适当的碎片尺寸是基于所述成像条件确定的。4.根据权利要求1所述的方法，其中，所述阈值来自被存储在查找表中的阈值集合。5.根据权利要求1所述的方法，其中，选择阈值是基于所希望的相似度比率、成像条 件、碎片尺寸实现方式间的转变无缝性中的至少一个的。6.根据权利要求1所述的方法，还包括在碎片尺寸间适应性地进行切换。7.根据权利要求6所述的方法，其中，所述切换是自动的。8.根据权利要求1所述的方法，其中，所述碎片尺寸是从包括1X1、3X3、5X5、7X7、 9X9、11 X 11、13X 13、15X 15和17X17的碎片尺寸的组中选出的。9.根据权利要求1所述的方法，其中，所述设备是从包括个人计算机、膝上型计算机、 计算机工作站、服务器、大型计算机、手持计算机、个人数字助理、蜂窝/移动电...

【专利技术属性】
技术研发人员：法尔罕A巴卡伊，西尾研一，董晓刚，松下伸行，松井启，贵取二郎，
申请(专利权)人：索尼公司，索尼电子有限公司，
类型：发明
国别省市：JP[日本]