数字图像处理方法技术

本发明专利技术涉及一种数字图像处理方法，包括：对原始数字图像(DI1)进行图像处理，以生成经图像处理的数字图像(DI2)；降低经图像处理的数字图像(DI2)的分辨率，以生成起始数字图像(DI7)，其中，原始数字图像(DI1)和起始数字图像(DI7)用来形成用于提高数字图像分辨率的机器学习系统的训练数据集，该机器学习系统特别是神经网络学习系统。此外，本发明专利技术涉及一种数字图像处理方法，该方法用来由原始数字图像生成具有增加的分辨率的数字图像。本发明专利技术还涉及一种计算机程序产品和一种用于执行上述方法的设备。的设备。的设备。

【技术实现步骤摘要】
【国外来华专利技术】数字图像处理方法


[0001]本专利技术涉及一种用于生成数字图像的数字图像处理方法，所述数字图像可用于训练机器学习系统、特别是神经网络学习系统。
[0002]此外，本专利技术涉及一种用于由原始数字图像生成具有增加的分辨率的数字图像的数字图像处理方法。
[0003]此外，本专利技术涉及一种计算机程序产品和一种被设置用于执行上述方法的设备。

技术介绍

[0004]通常，图像采集系统的图像分辨率存在限制，因为它们的技术组件存在各种制约。其中，限制是由于衍射(即当光通过有限的开口或孔时发生的光波的弯曲)、以及图像采集系统的光学镜头的实际技术限制。例如，光学镜头可能存在像差，记录光强度的传感器元件只能封装到一定密度，并且记录过程总是会在测量中引入噪声。这些制约共同限制了图像采集系统的分辨率，这导致其记录的图像中对象的精细细节丢失。
[0005]从低分辨率图像生成高分辨率图像在现有技术中是已知的。大多数方法旨在模拟适配于输入的低分辨率图像的细节和纹理，并生成逼真的高分辨率图像以实现此目标。大多数此类方法依赖于由成对的低分辨率图像和高分辨率图像组成的数据库。讨论该主题的科学出版文献有：William T Freeman、Thouis R Jones和Egon C Pasztor在《IEEE计算机图形与应用》22.2(2002)第56
‑
65页发表的“Example
‑
based super
‑
resolution”，以及Hong Chang、Dit/>‑
Yan Yeung和Yimin Xiong在2004年IEEE计算机协会计算机视觉和模式识别会议的论文集，2004.CVPR2004第1卷IEEE2004，中发表的“Super
‑
resolution through neighbor embedding”。
[0006]即使在提高计算机生成的数字图像的分辨率增加的质量方面取得了一些进展，增加用表现出上述制约的真实图像采集系统采集的数字图像的分辨率仍然是个问题，因为生成的数字图像通常看起来不自然。

技术实现思路

[0007]本专利技术的目的是找到提高分辨率增加的图像的质量的方法。
[0008]根据本专利技术的数字图像处理方法包括：提供原始数字图像、对原始数字图像进行图像处理以生成经图像处理的数字图像、降低经图像处理的数字图像的分辨率以生成起始数字图像，其中，原始数字图像和起始数字图像用于形成用来提高数字图像分辨率的机器学习系统的训练数据集，该机器学习系统特别是神经网络学习系统。
[0009]该图像处理的方法步骤用于模拟图像采集系统的上述制约。优选地，该图像处理包括改变原始数字图像。在进行图像处理后，将所得数字图像的分辨率降低，以形成包括原始数字图像和起始图像的训练数据集。
[0010]适宜地，机器学习系统使用人工智能例程，特别是提供用于增加数字图像的分辨率的人工智能例程。优选地，机器学习系统为深度学习系统，例如卷积神经网络系统。众所
周知，卷积神经网络系统可应用于视觉图像分析。它们通常用于图像和视频识别、图像分类和医学图像分析等。此外，机器学习系统可以是深度神经网络系统、深度信念网络系统或递归神经网络系统。
[0011]适宜地，机器学习系统被适当地初始化或预训练以用于改变数字图像，特别是用于增加数字图像的分辨率。优选地，合适的人工智能初始化或训练例程用于初始化或预训练机器学习系统。示例为Xintao Wang、Ke Yu、Shixiang Wu、Jinjin Gu、Yihao Liu、Chao Dong、Yu Qiao和Chen Chang Loy在欧洲计算机视觉会议施普林格2018第63
‑
79页发表的“ESRGAN：Enhanced Super
‑
Resolution Generative Adversarial Networks”中提出的残差套残差密集网络(RRDBNet)。但是，也可以使用其他合适的网络。
[0012]所提到的图像处理适宜地包括改变原始数字图像。在本专利技术的优选实施例中，该图像处理和/或该改变包括去噪和/或模糊。备选地或附加地，该图像处理可以包括改变数字图像的至少部分的强度、亮度和/或着色，改变至少个别像素的位置，改变至少这些像素中个别像素的表示的强度，晕化或去晕，和/或数字图像过滤，例如用于改变颜色、亮度和/或着色。
[0013]可选地，该方法包括初始图像处理步骤，包括使用3x3、5x5、7x7和/或9x9高斯模糊核和/或小波滤波器核和/或另一模糊滤波器核对原始图像进行初始模糊。附加地或备选地，初始图像处理步骤可以包括初始分辨率降低。如果原始图像是用光学图像采集设备采集的，则优选执行初始图像处理步骤。
[0014]适宜地，模糊对应于和/或等同于真实光学设备的模糊和/或从真实光学设备的模糊中得出，其中优选地测量真实光学设备的模糊。执行该步骤是为了模拟通常在光通过真实光学成像系统(例如光学镜头)时发生的模糊。优选地，为了执行模糊，使用真实光学设备的和/或表示真实光学设备的模糊的模糊核或/和点扩散函数。已经发现，使用真实光学设备的模糊导致生成特别适合机器学习系统的训练的起始图像。优选地使用光学测量设备来测量真实光学设备的这种模糊。
[0015]在本专利技术的另一个实施例中，使用不同的原始数字图像多次执行该方法以生成更大量的数字图像用于训练目的。
[0016]附加地或者在本专利技术的另一个实施例中，通过使用不同的图像处理来多次执行该方法以生成更大量的数字图像用于训练目的。
[0017]有利地，通过使用不同的原始数字图像和/或通过使用不同的图像处理，可以分别生成多个试验图像或成对的试验图像和原始图像。
[0018]在本专利技术的另一个实施例中，该方法使用不同的模糊、特别是模糊核或/和点扩散函数而多次执行，这些模糊对应于不同的真实光学设备和/或对应于不同的高斯滤波器，特别是9x9、7x7和/或5x5高斯滤波器。
[0019]适宜地，提供包括用于模糊图像处理的不同数据集的数据库，并且优选地随机地，不同的数据集用于模糊。
[0020]适宜地，数据集包括不同的模糊核和/或点扩散函数，特别是上述模糊核和/或点扩散函数。在本专利技术的特别优选的实施例中，不同的模糊包含在对应于不同的真实光学设备的数据集中，这些数据集优选地对应于市场上常用的光学设备。
[0021]适宜地，为了生成可用于训练的附加的起始数字图像，翻转经图像处理的、特别是
经改变的数字图像，该翻转优选地在不同的方向上(例如水平和/或垂直)进行。
[0022]在本专利技术的特别优选的实施例中，真实光学设备是全光成像系统、特别是万花筒，优选地同时生成要采集的对象的多个图像。优选地，所述多个图像中的每一个图像是从不同的有利位置采集的。适宜地，使用模糊核和/或点扩散函数对每个生成的图像单独执行模糊。优选地，对于每个生成的图像，使用不同的模糊核和/本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种数字图像处理方法，包括：对原始数字图像(DI1)进行图像处理，以生成经图像处理的数字图像(DI2)，降低经图像处理的数字图像(DI2)的分辨率，以生成起始数字图像(DI7)，其中，原始数字图像(DI1)和起始数字图像(DI7)用于形成用来提高数字图像分辨率的机器学习系统的训练数据集，该机器学习系统特别是神经网络学习系统。2.根据权利要求1所述的方法，其特征在于，图像处理包括改变原始数字图像、优选为去噪(DN)和/或模糊(B)。3.根据权利要求1或2所述的方法，其特征在于，模糊(B)对应于真实光学设备的模糊，其中，模糊优选地使用模糊核和/或点扩散函数来进行。4.根据权利要求1至3中任一项所述的方法，其特征在于，该方法使用不同的原始数字图像(DI1、DI1a、DI1b、
…
、DI1n)而多次执行和/或通过执行不同的图像处理而多次执行，所述不同的图像处理特别是不同的模糊(B、B1、B2、
…
、Bn)。5.根据权利要求2至4中任一项所述的方法，其特征在于，该方法使用不同的模糊(B、B1、B2、
…
、Bn)而多次执行，每个模糊对应于不同的真实光学设备。6.根据权利要求2至5中任一项所述的方法，其特征在于，该方法使用不同的模糊(B、B1、B2、
…
、Bn)而多次执行，每个模糊对应于不同的高斯滤波器，特别是9x9、7x7和/或5x5高斯滤波器。7.根据权利要求2至6中任一项所述的方法，其特征在于，该模糊(B)或这些模糊(B、B1、B2、
…
、Bn)、特别是模糊的强度或类型在表示图像的图像平面中不同。8.根据权利要求1至7中任一项所述的方法，其特征在于，真实光学设备是全光成像系统、特别是万花筒，优选地真实光学设备生成要采集的对象的多个图像。9.根据权利要求1至8中任一项所述的方法，其特征在于，图像处理包括噪声注入，该噪声特别是根据泊松
‑
高斯噪声模型的真实噪声。10.根据权利要求1至9中任一项所述的方法，其特征在于，改变图像数据格式，特别是将图像数据格式改变成被设置为用于包括来自图像传感器的未处理的或最少处理的数据的图像数据格式，优选地将图像数据格式改变成RAW图像格式。11.根据权利要求10所述的方法，其特征在于，“改变成被设置为用于包括来自图像传感器的未处理的或最少处理的数据的图像数据格式，优选地改...

【专利技术属性】
技术研发人员：K，
申请(专利权)人：K莱恩斯有限公司，
类型：发明
国别省市：