【技术实现步骤摘要】
本专利技术涉及图像处理的。具体而言，本专利技术涉及一种用于生成经摩尔纹校正的图像文件的方法和对应的相机设备。此外，本专利技术还可以应用于视频处理和显示技术的。
技术介绍
1、许多相机设备面临着通常被称为摩尔纹图案的伪影的问题。特别是，现代智能手机相机经常配备有相对较大的图像传感器(常常高达1英寸的传感器直径)和清晰的透镜。这样的设置通常会导致改善的图像质量。首先，信噪比随着传感器大小的增加而增加。其次，清晰的透镜允许在广泛的用例中提高细节水平，诸如不同的分辨率和变焦系数。
2、然而，所讨论的两种特征都会导致混叠，这是在模数转换(采样)过程中发生的信号破坏现象。根据捕获参数和输入内容，空间采样速率可能会变得不足，并低于众所周知的奈奎斯特极限。因此，输入信号频谱的高频分量被折叠到其其余部分上，从而产生不存在的谐波。因此，在所捕获的图像中会产生伪影。
3、捕获彩色图像所需的色彩滤波阵列(cfa)的使用进一步增加了最终得到混叠信号的可能性。特别是，cfa引入了每个颜色通道(r、g、b)都不同的相移，导致在包含高频细节的图像区域中出现明亮的低频和看起来不自然的彩色条纹(也被称为彩色摩尔纹)。
4、从信号处理的角度来看，混叠问题通常通过在模数转换(adc)之前使用抗混叠滤波器来解决，其中应用低通滤波器来衰减输入信号频谱中超出奈奎斯特极限的极高频率。
5、在相机和传感器领域，这种滤波器是用于使所得到的图像模糊的透镜，因此它的使用将简单地等同于降低相机光学器件的清晰度。
6、然而，只要
7、当对输入信号进行采样时，就无法完美重构其高频对应部分。也不可能用普通的滤波技术来修复其频谱的受损部分。假谐波成为图像内容的组成部分，并且将它们与实际图像内容区分开来是一个困难的、不适定的和研究相对较少的问题。
8、现代人工神经网络(ann)在学习适用于不同的重构问题(诸如图像去噪或去模糊)的自然图像先验方面表现出了优越的能力。本专利技术提出应用ann模型来重构被强彩色摩尔纹破坏的图像区域。
技术实现思路
1、为了解决上述问题，本专利技术提出实施一种用于生成经摩尔纹校正的图像文件的方法，包括以下步骤：
2、-使用图像传感器捕获原始(raw)图像文件；
3、-将所捕获的原始图像文件输入到预训练的人工神经网络(ann)中，其中ann被配置为基于输入的原始图像文件输出表示具有模糊区域的图像的计算的原始图像文件；
4、-将该计算的原始图像文件输入到图像处理单元(ipu)中；和
5、-由ipu基于计算的原始图像文件来计算rgb图像文件。
6、实施根据本专利技术的ann允许高效的图像处理，而不需要任何硬件滤波。ann被训练来计算正在进行摩尔纹校正的原始图像文件。通过从先前提供的包括未经校正和经校正的图像文件的训练数据中学习来训练ann。根据本专利技术，原始图像/cfa图像被用作ann的输入，并且由ann输出相同类型的图像。通过选择这种“原始到原始”的方法，本专利技术与现有的硬件(诸如图像信号处理器(isp)或现有的软件实现的ipu)兼容，其中在相机设备中实现根据本专利技术的方法所需的工程工作量显著减少。
7、此外，本专利技术允许在成像流水线的开始处校正摩尔纹效应。这是有利的，因为典型的ipu中的处理单元影响信号的性质(去马赛克、白平衡和颜色校正、去噪、色调映射等)，从而通过以复杂的数据相关的方式混合相邻像素值来显著改变基础信号统计。与之相反，通过对原始图像应用ann，只有图像传感器的属性会影响图像处理。
8、优选地，图像传感器可以实现为电荷耦合器件(ccd)或互补金属氧化物半导体(cmos)传感器。
9、优选地，该方法还包括通过执行以下步骤来提供预训练的ann：
10、-通过使用训练数据来训练ann，其中训练数据包括成对的训练图像，并且每对训练图像包括表示没有任何模糊区域的训练图像的第一训练原始图像文件，和表示具有模糊区域的训练图像的第二训练原始图像文件。
11、因此，提供了高效的训练过程，允许ann从先前捕获的训练图像数据中学习。
12、优选地，可以通过旋转或缩放包括在训练数据中的可用图像来扩充现有的训练数据。此外，可以通过添加噪声、颜色偏移或通过引入关于可用图像的亮度或清晰度的变化来扩充训练数据。
13、此外，训练数据可以包括表示原始训练图像的区域的可用训练图像的摘录或部分。
14、根据一些实施例，模糊区域可以与整个图像区域相同。换句话说，模糊区域的尺寸和整个图像的尺寸可以是相同的。
15、根据一些实施例，模糊区域可以小于整个图像。换句话说，模糊区域的尺寸可以小于整个图像的尺寸。因此，可以选择性地仅对图像中预期或检测到伪影的那些区域执行摩尔纹校正。
16、优选地，第一训练原始图像文件是通过对训练rgb图像文件应用色彩滤波阵列(cfa)而生成的。因此，可以从训练rgb图像文件高效地生成第一训练原始图像文件。
17、优选地，第二训练原始图像文件是通过对训练rgb图像文件应用抗混叠滤波器以及通过对经抗混叠滤波的训练rgb图像文件应用cfa而生成的。因此，第二训练原始图像文件可以从训练rgb图像文件中高效地生成。根据该实施例，训练数据可以以高计算效率提供，而第一训练原始图像文件和第二训练原始图像文件可以从单个训练rgb图像文件中计算。
18、优选地，可以在原始图像域中计算ann的损失函数。
19、优选地，可以在rgb图像域中计算ann的损失函数。
20、优选地，ann被实现为卷积神经网络(cnn)。实验工作已经表明，实施cnn在摩尔纹校正的应用中产生相当好的结果。
21、为了解决上述问题，本专利技术还提出了一种包括图像传感器、处理单元和图像处理单元(ipu)的相机设备，其中
22、-图像传感器被配置为捕获原始图像文件；
23、-处理单元被配置为：
24、-将所捕获的原始图像文件输入到预训练的人工神经网络(ann)中，其中ann被配置为基于输入的原始图像文件输出表示具有模糊区域的图像的计算的原始图像文
25、件；和
26、-将计算的原始图像文件输入到信号处理器中；和
27、-ipu被配置为基于计算的原始图像文件来计算rgb图像文件。
28、优选地，处理单元还被配置为：
29、-通过使用训练数据来训练ann，其中训练数据包括成对的训练图像，并且每对训练图像包括表示没有任何模糊区域的训练图像的第一训练原始图像文件，和表示具有模糊区域本文档来自技高网...
【技术保护点】
1.一种用于生成经摩尔纹校正的图像文件的方法，包括以下步骤：
2.根据权利要求1所述的方法，还通过执行以下步骤来提供所述预训练的ANN：
3.根据权利要求2所述的方法，其中所述第一训练原始图像文件是通过对训练RGB图像文件应用色彩滤波阵列(CFA)而生成的。
4.根据权利要求3所述的方法，其中所述第二训练原始图像文件是通过对所述训练RGB图像文件应用抗混叠滤波器以及通过对经抗混叠滤波的训练RGB图像文件应用CFA而生成的。
5.根据权利要求2至4中任一项所述的方法，其中在原始域中计算所述ANN的损失函数。
6.根据权利要求2至4中任一项所述的方法，其中在RGB域中计算所述ANN的损失函数。
7.根据权利要求1至6中任一项所述的方法，其中所述ANN被实现为卷积神经网络(CNN)。
8.一种相机设备(10)，包括图像传感器、处理单元和图像处理单元(IPU)，其中
9.根据权利要求8所述的相机设备(10)，其中所述处理单元还被配置为：
10.根据权利要求9所述的相机设备(10)，
11.根据权利要求10所述的相机设备(10)，其中所述处理单元被配置为通过对所述训练RGB图像文件应用抗混叠滤波器以及通过对经抗混叠滤波的训练RGB图像文件应用CFA来生成所述第二训练原始图像文件。
12.根据权利要求9至11中任一项所述的相机设备(10)，其中所述处理单元被配置为计算原始域中的所述ANN的损失函数。
13.根据权利要求9至11中任一项所述的相机设备(10)，其中所述处理单元被配置为计算RGB域中的所述ANN的损失函数。
14.根据权利要求8至13中任一项所述的相机设备(10)，其中所述ANN被实现为卷积神经网络(CNN)。
...【技术特征摘要】
1.一种用于生成经摩尔纹校正的图像文件的方法，包括以下步骤：
2.根据权利要求1所述的方法，还通过执行以下步骤来提供所述预训练的ann：
3.根据权利要求2所述的方法，其中所述第一训练原始图像文件是通过对训练rgb图像文件应用色彩滤波阵列(cfa)而生成的。
4.根据权利要求3所述的方法，其中所述第二训练原始图像文件是通过对所述训练rgb图像文件应用抗混叠滤波器以及通过对经抗混叠滤波的训练rgb图像文件应用cfa而生成的。
5.根据权利要求2至4中任一项所述的方法，其中在原始域中计算所述ann的损失函数。
6.根据权利要求2至4中任一项所述的方法，其中在rgb域中计算所述ann的损失函数。
7.根据权利要求1至6中任一项所述的方法，其中所述ann被实现为卷积神经网络(cnn)。
8.一种相机设备(10)，包括图像传感器、处理单元和图像处理单元(ipu)，...
【专利技术属性】
技术研发人员：马克西姆·卡尔普申，巴尔萨扎·内维，伊梅娜·塔尔丘纳，
申请(专利权)人：北京小米移动软件有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。