图像重建模型构建、图像重建方法及其装置和电子设备制造方法及图纸

本发明专利技术实施例涉及计算机视觉领域，特别涉及一种图像重建模型构建、图像重建方法及其装置和电子设备。上述图像重建模型构建方法，包括：将样本图像输入至图像重建模型的训练结构进行训练，得到训练结构的训练模型权重，图像重建模型包括训练结构及推理结构，训练结构包括至少一个用于表征图像局部纹理特征的局部特征处理分支；基于训练结构和推理结构的参数对应关系，对训练模型权重进行结构重参数化处理得到推理结构的推理模型权重；基于推理模型权重以及推理结构，构建图像重建模型。本发明专利技术实施例提供的图像重建模型构建方法，旨在实现更优化的图像重建性能的同时，减小计算量，使得图像重建能够应用在低算力场景。得图像重建能够应用在低算力场景。得图像重建能够应用在低算力场景。

【技术实现步骤摘要】
图像重建模型构建、图像重建方法及其装置和电子设备


[0001]本申请实施例涉及计算机视觉领域，特别涉及一种图像重建模型构建、图像重建方法及其装置和电子设备。

技术介绍

[0002]图像重建作为计算机视觉领域存在已久的一种研究方向，其在不同平台有着不同的应用需求，例如，手机端的图像画质增强，包含图像超分、降噪、细节增强等，在TV端以及其他工业场景同样有不少类似的需求。自深度学习的兴起之后，卷积神经网络(Convolutional Neural Network，CNN)方案成为了图像复原技术的主流，比如用于图像超分的超分辨率神经网络(Super Resolution Convolutional Neural Network，SRCNN)、增强的深度学习超分辨率重建网络(enhanced deep super
‑
resolution network，EDSR)、残差通道注意力网络(Residual Channel Attention Networks，RCAN)等技术，用于图像降噪的去噪卷积神经网络(De
‑
nosing Convolutional Neural Network，DnCNN)、图像去噪深度网络FFDNet等技术。
[0003]在图像重建过程中，更深更大的模型可以取得更优异的性能，因此，图像重建所使用的模型往往都是三十层以上，然而，这些模型运算量高，难以应用在低算力场景。

技术实现思路

[0004]本申请实施例的主要目的在于提出一种图像重建模型构建、图像重建方法及其装置和电子设备，旨在实现更优化的图像重建性能的同时，还能够减小计算量，使得图像重建能够应用在低算力场景。
[0005]为实现上述目的，本申请实施例提供了一种图像重建模型构建方法，包括：将样本图像输入至图像重建模型的训练结构进行训练，得到所述训练结构的训练模型权重，所述图像重建模型包括训练结构及推理结构，所述训练结构包括至少一个用于表征图像局部纹理特征的局部特征处理分支；基于所述训练结构和所述推理结构的参数对应关系，对所述训练模型权重进行结构重参数化处理，得到所述推理结构的推理模型权重；基于所述推理模型权重以及所述推理结构，构建所述图像重建模型。
[0006]为实现上述目的，本申请实施例还提供一种图像重建方法，包括：将待处理图像输入图像重建模型进行图像重建处理得到重建图像，其中，图像重建模型根据上述图像重建模型构建方法构建。
[0007]为实现上述目的，本申请实施例还提供一种图像重建模型构建装置，包括：训练模块，用于将样本图像输入至所述图像重建模型的训练结构进行训练，得到所述训练结构的训练模型权重，所述图像重建模型包括训练结构及推理结构，所述训练结构包括至少一个用于表征图像局部纹理特征的局部特征处理分支；转换模块，用于基于所述训练结构和所述推理结构的参数对应关系，对所述训练模型权重进行结构重参数化处理，得到所述推理结构的推理模型权重；构建模块，用于基于所述推理模型权重以及所述推理结构，构建所述
图像重建模型。
[0008]为实现上述目的，本申请实施例还提供了一种图像重建装置，包括：重建模块，用于将待处理图像输入图像重建模型进行图像重建处理，得到重建图像；其中，所述图像重建模型通过上述图像重建模型构建方法构建。
[0009]为实现上述目的，本申请实施例还提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的图像重建模型构建方法，或者图像重建方法。
[0010]为实现上述目的，本申请实施例还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述的图像重建模型构建方法，或者图像重建方法。
[0011]本申请提出的图像重建模型构建方法，通过局部特征处理分支，将图像局部纹理特性嵌入到训练模型，充分的利用了图像自有特性，提升了图像重建效果，在此基础上，本实施例还通过结构重参化技术，将训练时的多分支结构中的训练模型权重，转换成推理时的单分支结构中的推理模型权重，以此，减小推理时的开销，降低了推理的计算量，即，本实施例在实现更优化的图像重建性能的同时，还能够尽量减小计算量，使得图像重建能够应用在低算力场景。
[0012]另外，推理结构包括3x3卷积。本实施例的推理结构是多分支结构，通过多分支结构训练权重，有利于取得优异的性能，通过3x2卷积，这一简单的推理结构进行推理，减小了推理时的开销。
[0013]另外，局部特征处理分支包括：局部二值模式算子(Local Binary Pattern，LBP)，训练结构包括三个并列的分支，其中，所述三个并列的分支分别为：包括1x1卷积核和3x3卷积核的分支，包括3x3卷积核和所述局部二值模式算子的分支，以及包括3x3卷积核的分支。本实施例使用该训练结构易于实现权重的转换，而且，本实施例使用局部二值模式算子，其具有与卷积相同的局部感受野特性，使用LBP算子便于针对性的进行感受野定制。
[0014]另外，局部特征处理分支包括：局部二值模式算子，训练结构包括：五个并列的分支；其中，所述五个并列的分支分别为：包括3x3卷积核和所述局部二值模式算子的分支，包括3x3卷积核的分支，包括1x1卷积核和水平向索贝尔算子的分支，包括1x1卷积核和垂直向索贝尔算子的分支，以及包括1x1卷积核和拉普拉斯算子的分支。本实施例嵌入图像的梯度信息，进一步提升图像重建效果。
[0015]另外，参数对应关系为：
[0016][0017]其中，所述i为0至8之间的整数，所述ω
i
为第i个训练模型权重，所述为第i个推理模型权重。
[0018]另外，参数对应关系为：
[0019][0020][0021]其中，ω
i
为第i个训练模型权重，为第i个推理模型的权重，所述i为0至8之间的整数。
[0022]另外，将样本图像输入至所述图像重建模型的训练结构进行训练，包括：当样本图像的频率低于预设频率，使用结构相似损失函数进行优化；当样本图像的频率高于预设频率，使用沙博尼耶损失函数进行优化。本实施例针对不同图像使用不同损失函数，优化训练过程。
[0023]另外，将所述待处理图像输入所述图像重建模型进行图像重建处理得到重建图像，包括：根据所述图像重建模型得到图像的深层特征；根据设置的图像重建任务处理所述深层特征，得到所述重建图像。本实施例基于设置的图像重建任务处理深层特征，能够满足不同图像处理需求。
[0024]另外，根据设置的图像重建任务处理所述深层特征，得到所述重建图像，包括：在所述设置的图像重建任务为图像超分任务的情况下，使用像素重组方法处理所述深层特征，得到所述重建图像；在所述设置的图像重建任务为图像降噪或图像去模糊任务的情况下，对所述深层特征进行卷积处理，得到所述重建图像。
...

【技术保护点】

【技术特征摘要】
1.一种图像重建模型构建方法，其特征在于，包括：将样本图像输入至图像重建模型的训练结构进行训练，得到所述训练结构的训练模型权重，所述图像重建模型包括训练结构及推理结构，所述训练结构包括至少一个用于表征图像局部纹理特征的局部特征处理分支；基于所述训练结构和所述推理结构的参数对应关系，对所述训练模型权重进行结构重参数化处理，得到所述推理结构的推理模型权重；基于所述推理模型权重以及所述推理结构，构建所述图像重建模型。2.根据权利要求1所述的图像重建模型构建方法，其特征在于，所述推理结构包括3x3卷积。3.根据权利要求1所述的图像重建模型构建方法，其特征在于，所述局部特征处理分支包括：局部二值模式算子，所述训练结构包括三个并列的分支，其中，所述三个并列的分支分别为：包括1x1卷积核和3x3卷积核的分支，包括3x3卷积核和所述局部二值模式算子的分支，以及包括3x3卷积核的分支。4.根据权利要求1所述的图像重建模型构建方法，其特征在于，所述局部特征处理分支包括：局部二值模式算子，所述训练结构包括：五个并列的分支；其中，所述五个并列的分支分别为：包括3x3卷积核和所述局部二值模式算子的分支，包括3x3卷积核的分支，包括1x1卷积核和水平向索贝尔算子的分支，包括1x1卷积核和垂直向索贝尔算子的分支，以及包括1x1卷积核和拉普拉斯算子的分支。5.根据权利要求1所述的图像重建模型构建方法，其特征在于，所述参数对应关系为：5.根据权利要求1所述的图像重建模型构建方法，其特征在于，所述参数对应关系为：其中，所述i为0至8之间的整数，所述ω
i
为第i个训练模型权重，所述为第i个推理模型权重。6.根据权利要求1所述的图像重建模型构建方法，其特征在于，所述参数对应关系为：6.根据权利要求1所述的图像重建模型构建方法，其特征在于，所述参数对应关系为：其中，ω
i
为第i个训练模型权重，为第i个推理模型的权重，所述i为0至8之间的整数。7.根据权利要求1至6中任一项所述的图像重建模型构建方法，其特征在于，所述将样...

【专利技术属性】
技术研发人员：王树朋，刘阳兴，
申请(专利权)人：武汉TCL集团工业研究院有限公司，
类型：发明
国别省市：