图像处理装置和方法、数字相机、计算机设备和程序产品制造方法及图纸

本发明专利技术涉及图像处理装置和方法、数字相机、计算机设备和程序产品。该图像处理装置用于通过处理数字相机的图像传感器的第一图像来改进像素质量值，所述图像传感器具有给定的像素质量值，其中图像处理装置构成为，从第一图像中计算第二图像，其中从第二图像中确定的像素质量值大于图像传感器的给定的像素质量值，并且其中对于由图像传感器在均匀的、恒定的亮度下记录的第一图像，用于第二图像的相邻像素的相关系数大于用于第一图像的相邻像素的相关系数。

Image processing devices and methods, digital cameras, computer equipment and program products

The invention relates to an image processing device and method, a digital camera, computer equipment and program products. The image processing device is used to improve the pixel quality value by processing the first image of the image sensor of the digital camera. The image sensor has a given pixel quality value, in which the image processing device is composed of calculating the second image from the first image, in which the pixel quality value determined from the second image is larger than that of the graph. The given pixel quality value of the image sensor, and for the first image recorded by the image sensor at uniform and constant brightness, the correlation coefficient of the adjacent pixels for the second image is larger than that of the adjacent pixels for the first image.

【技术实现步骤摘要】
图像处理装置和方法、数字相机、计算机设备和程序产品
本专利技术涉及一种图像处理装置，所述图像处理装置用于通过处理数字相机的图像传感器的第一图像来改进像素质量值，所述图像传感器具有给定的像素质量值，以及涉及一种数字相机，所述数字相机包括用于产生第一图像的图像传感器和图像处理装置。本专利技术还涉及一种图像处理装置的应用、一种相应的图像处理方法、一种用于设计数字相机的设计方案以及一种计算机程序设备和一种计算机程序产品。
技术介绍
数字相机通常使用在工业领域中。这例如在德国专利申请DE102013000301A1中描述。在此，使用具有多种不同的图像传感器的多种不同的模型。图1示意地并且示例性地示出具有物镜12的数字相机10。图像场景11经由物镜12成像到图像传感器上，所述图像传感器具有规则布置的光敏元件、所谓的像素。图像传感器将呈电子数据的形式的第一图像13传输给通常位于相机10中的计算单元14，所述计算单元例如包括处理器、数字信号处理器(DSP)或所谓的现场可编辑门阵列(FPGA)。在此会需要的是，将模拟的图像数据转换成数字的图像数据，例如借助于模数转换器(在图中未示出)。在计算单元14中可能还对图像数据执行期望的数学运算、例如色彩校正或换算成其他图像格式。由此，得到第二图像15，所述第二图像随后经由接口(Interface)16输出。替选地，初始图像也能够在数字相机10之外被计算，例如借助于计算机。数字相机的图像质量参数通常根据欧洲机器视觉协会的标准1288、所谓的EMVA标准1288(2010年11月29日的3.0发布)来确定。这特别适用于工业应用的相机。所述标准在此描述相机的物理模型，测量的执行，测量数据的评估和呈EMVA标准1288数据手册形式的结果的显示。通过所述标准，使用者能够将不同的制造商的不同的相机模型彼此比较和进而做出适合的购买决定。在EMVA标准1288数据手册中的重要的值是量子效率(QE，英语为“quantumefficiency”)，所述量子效率在那里描述为η(λ)。与射入的波长λ相关的所述值描述在每像素单位曝光时间产生的光电子μe的平均统计数量与在相同的曝光时间之入射到像素上的光子μp的平均数量的比值。小的QE值表示：在统计平均中，仅少量光子转换成光电子。那么图像传感器几乎是瞎的。大的QE值表示：大量光子转换成光电子。那么相机是更为光敏的。这由大多数使用者偏爱。图2以简化的形式示出数字相机的像素的基于EMVA标准1288的物理模型。在曝光时间期间，数量np的光子p射到像素上。光子的一部分在那里转换成电子e并且存储。电子的数量于是为ne。所述转换以统计概率进行，所述概率称作为量子效率。在曝光时间结束之后，数量ne的电子e转换成像素值y，所述像素值以数字单位(DN，英语为“digitalnumber”)说明。所述转换以所述的转换增益(K)进行，所述转换增益因此是比例常数。在EMVA标准1288中描述的其他项、如例如暗噪声nd或量子化噪声σq在该处出于简化的原因忽略。大量专利文献关注于如下问题，如何能够改进QE。示例性地在此提到美国专利文献US4,822,748、US5,005,063、US5,055,900、US6,005,619、US6,259,085、US6,825,878、US7,038,232和US8,304,759。量子效率的改进在此分别通过在开发或制造图像传感器期间的措施来实现。图像传感器的开发是非常成本高昂的并且通常要求在至少七位数欧元范围中的投资。开发或改进用于图像传感器的制造方法也是相当昂贵的。此外，这些方式的缺点是，由此总是只改进特定的图像传感器类型、特定的生产技术、如例如CCD(英语为“charge-coupleddevice”)或CMOS(英语为“complementarymetaloxidesemiconductors”)、或只改进制造商的特定的图像传感器族。如果为大量的相机模型使用大量不同的图像传感器，那么必须为每种图像传感器执行这些措施，由此所述成本甚至多倍增长。用于改进量子效率的其他方式存在于KodakApplicationNote“NIR-EnhancedModeOperationofKodakInterlineCCDsforusewithKodakKAI-1003,KAI-2000,KAI-2093,KAI-4000,KAI-4010andKAI-4020interlineCCDimagesensors(2002年11月11日的第一版)”。在此阐述，用于红外光的QE如何能够通过所述的CCD图像传感器的特殊的电运行方式提高。所述方式的缺点是，所述方式仅在特定的波长范围中、即在红外中改进QE，仅可用于特定制造商、即柯达的特定的CCD图像传感器，需要相机的运行和布线中的电子变化，并且此外会出现在过度曝光情况下变严重的“敷霜”伪像的问题。EMVA标准1288数据手册中的第二重要值是饱和容量(Csat，英语为“saturationcapacity”)。该值描述一个像素最大能够接收的电子的数量ne。因为每个检测到的电子都是随机过程的结果，电子的数量经受统计学波动。根据大数法则，相对误差以ne的根降低。高的饱和容量允许大数量的电子和进而小的相对误差，并且从而对于大量应用是优选的。大量专利文献，如例如美国专利文献US6,515,703和US7,115,855专注于饱和电容的提高。所述专利文献涉及图像传感器的开发和制造并且具有在上文中关于此提到的缺点。EMVA标准1288数据手册中的第三重要值是最大的信噪比(maxSNR，用于为“maximumsignal-to-noiseratio”)。SNR值允许好的预测：图像中的弱的细节在其消失于噪声中之前能够以何种程度识别。光子p和从中生成的电子e的统计性质仅允许给出最大的SNR值，所述最大的SNR值最好对应于电子的数量ne的根。对于高品质的数字相机，高的maxSNR值是值得期望的，而因此是对于用户重要的选择标准。此外，美国专利文献US5,250,824、6,124,606和US6,822213专注于SNR的提高。所述参考文献又涉及图像传感器的开发和制造并且具有如上关于此提到的缺点。EMVA标准1288数据手册中的第四重要值是动态范围(DR，英语为“dynamicrange”)。高动态范围有助于，能够同时识别在图像的亮的和暗的区域中的细节。因此，DR对于用户而言也具有大的实际意义，并且能够是选择数据相机的重要标准。提到的大量专利文献专注于动态范围的提高。在此示例性地提到美国专利文献US6,864,920、US7,446,812、US7,518,645、US7,554,588和US7,636,115。这些专利文献又涉及在开发、制造或运行图像传感器时的措施。关于开发和制造图像传感器，又提到上述缺点。关于图像传感器的运行，得到如下缺点：相机必须以相应的耗费关于此适配。适配通常仅对于特定的图像传感器或图像传感器族起作用，并且对于其他图像传感器或图像传感器族必须以相应的耗费重新执行。此外，图像传感器的改变的运行通常引起问题，所述问题的原因在于，不同于如何记录图像的常见的方式和方法。例如，双重曝光的前提是：在记录的场景中不发生运本文档来自技高网...

【技术保护点】
1.一种图像处理装置，所述图像处理装置用于通过处理数字相机的图像传感器的第一图像(13)来改进像素质量值，所述图像传感器具有给定的像素质量值，其中所述图像处理装置构成为，从所述第一图像(13)中计算第二图像(15)，其中从所述第二图像(15)中确定的像素质量值大于所述图像传感器的所述给定的像素质量值，并且其中对于由所述图像传感器在均匀的、恒定的亮度下记录的所述第一图像(13)，用于所述第二图像(15)的相邻像素的相关系数大于用于所述第一图像(13)的相邻像素的相关系数。

【技术特征摘要】
2017.05.10 DE 102017110129.21.一种图像处理装置，所述图像处理装置用于通过处理数字相机的图像传感器的第一图像(13)来改进像素质量值，所述图像传感器具有给定的像素质量值，其中所述图像处理装置构成为，从所述第一图像(13)中计算第二图像(15)，其中从所述第二图像(15)中确定的像素质量值大于所述图像传感器的所述给定的像素质量值，并且其中对于由所述图像传感器在均匀的、恒定的亮度下记录的所述第一图像(13)，用于所述第二图像(15)的相邻像素的相关系数大于用于所述第一图像(13)的相邻像素的相关系数。2.根据权利要求1所述的图像处理装置，其中所述图像处理装置构成为，通过局部的图像处理算子来计算所述第二图像(15)的像素的值，所述图像处理算子分别应用于所述第一图像(13)的相应的像素,并且对所述第一图像(13)的关于所述相应的像素的预定的且包括多个像素的周围区域的像素的值进行处理。3.根据权利要求2所述的图像处理装置，其中预定的所述周围区域具有相应的像素作为第一、优选中心的像素，和/或其中预定的所述周围区域是具有相同数量的、尤其奇数的行以及列、优选大小为3×3或更多像素的周围区域。4.根据权利要求2或3所述的图像处理装置，其中局部的所述图像处理算子适配为，将所述第二图像(15)的像素的值作为预定的所述周围区域的像素的值的加权和来计算。5.根据权利要求4当其回引权利要求3时所述的图像处理装置，其中相应的像素的值的权重与预定的所述周围区域的其余的像素的值的权重的和之间的比值处于2.2247至40.4298、优选4.2913至40.4298、更优选10.3385至40.4298、最优选20.3562至40.4298的比值范围中。6.根据权利要求4或5所述的图像处理装置，其中所述像素质量值在给定波长带时是量子效率或者是饱和容量或者是动态范围，其中权重的和的平方除以局部的所述图像处理算子的L2范数的平方的商等于像素质量改进因数，或者其中所述像素质量值是最大的信噪比，其中权重的和的平方除以局部的所述图像处理算子的L2范数的商等于所述像素质量改进因数的平方，其中从所述第二图像(15)中确定的像素质量值基本上比所述图像传感器的给定的像素质量值大了所述像素质量改进因数。7.根据权利要求4至6中任一项所述的图像处理装置，其中权重的和等于亮度变化因数，其中从所述第二图像(15)中确定的亮度相对于从所述第一图像(13)中确定的亮度以所述亮度变化因数变化。8.根据权利要求1至4中任一项所述的图像处理装置，从所述第二图像(15)中确定的像素质量值基本上比所述图像传感器的给定的像素质量值大了像素质量改进因数，其中所述像素质量改进因数处于5％至100％、优选5％至50％、更优选5％...

【专利技术属性】
技术研发人员：约尔格·孔策，
申请(专利权)人：宝视纳股份公司，
类型：发明
国别省市：德国,DE