图像处理模型的训练方法、图像处理方法及装置制造方法及图纸

本发明专利技术提供了一种图像处理模型的训练方法、图像处理方法及装置。其中，所述图像处理模型的训练方法包括：获取样本图像组的第一分辨率数据和第二分辨率数据；所述第二分辨率低于所述第一分辨率；利用至少包含双边滤波网络(BNN)模型的图像处理模型对所述第二分辨率数据进行超分辨率重建，得到第三分辨率数据；所述第三分辨率高于所述第二分辨率；基于所述第一分辨率数据与所述第三分辨率数据，确定所述图像处理模型的损失函数的值；基于所述损失函数的值，更新所述图像处理模型的模型参数。如此，能够实现用于完成视频超分辨率重建的图像处理模型的训练，以利用该图像处理模型获得高质量的超分辨率处理效果。

【技术实现步骤摘要】
图像处理模型的训练方法、图像处理方法及装置
本专利技术涉及图像处理领域，尤其涉及一种图像处理模型的训练方法、图像处理方法及装置。
技术介绍
近年来，为了适应人们对视频质量的要求的不断提高，视频的分辨率越来越高。通过数字图像处理技术来提高视频分辨率的超分辨率(英文表达为Super-Resolution)重建技术既节约成本又具有可实现性。然而，相关技术中进行超分辨率重建处理后的超分辨率图像的效果较差。
技术实现思路
本专利技术实施例提供一种图像处理模型的训练方法、图像处理方法及装置，能够实现用于完成视频超分辨率重建的图像处理模型的训练，以利用该图像处理模型获得高质量的超分辨率处理效果。本专利技术实施例提供一种图像处理模型的训练方法，包括：获取样本图像组的第一分辨率数据和第二分辨率数据；所述第二分辨率低于所述第一分辨率；利用至少包含双边滤波网络(BNN，BilateralNetworks)模型的图像处理模型对所述第二分辨率数据进行超分辨率重建，得到第三分辨率数据；所述第三分辨率高于所述第二分辨率；基于所述第一分辨率数据与所述第三分辨率数据，确定所述图像处理模型的损失函数的值；基于所述损失函数的值，更新所述图像处理模型的模型参数。上述方案中，所述利用至少包含BNN模型的图像处理模型对所述第二分辨率数据进行超分辨率重建，得到第三分辨率数据，包括：利用包含BNN模型和卷积神经网络(CNN，ConvolutionalNeuralNetworks)模型的图像处理模型对所述第二分辨率数据进行超分辨率重建，得到第三分辨率数据。上述方案中，所述利用至少包含BNN模型的图像处理模型对所述第二分辨率数据进行超分辨率重建，得到第三分辨率数据，包括：针对所述第二分辨率数据中的每帧图像，进行上采样处理，得到上采样处理后的相应帧图像；利用所述上采样处理后的相应帧图像和第一图像帧序列，提取图像中各像素点的特征，得到特征集合；所述第一图像帧序列是所述第二分辨率数据中所述相应帧图像之前各帧图像进行超分辨率重建后形成的；利用BNN模型对所述特征集合进行融合处理，得到所述相应帧图像的超分辨率图像；所述第二分辨率数据中所有帧图像的超分辨率图像形成所述第三分辨率数据。上述方案中，所述利用BNN模型对所述特征集合进行融合处理，得到所述相应帧图像的超分辨率图像，包括：利用至少一组滤波器对所述特征集合进行过滤处理，得到过滤处理后的各特征；利用第一滤波器对得到的处理后的各特征进行降维处理，得到所述相应帧图像的超分辨率图像。上述方案中，所述利用至少一组滤波器对所述特征集合进行过滤处理，包括：将所述特征集合中的各特征在预设维度的空间中进行映射，得到映射后的各特征；对映射后的各特征进行卷积处理，得到卷积处理后的各特征；利用质心插值方法将得到的卷积处理后的各特征在所述预设维度的空间中进行映射。上述方案中，所述利用包含BNN模型和CNN模型的图像处理模型对所述第二分辨率数据进行超分辨率重建，得到第三分辨率数据，包括：针对所述第二分辨率数据中的每帧图像，进行上采样处理，得到上采样处理后的相应帧图像；利用所述上采样处理后的相应帧图像和第一图像帧序列，提取图像中各像素点的特征，得到特征集合；所述第一图像帧序列是所述第二分辨率数据中所述相应帧图像之前各帧图像进行超分辨率重建后形成的；利用BNN模型对所述特征集合进行融合处理，得到处理后的数据；利用CNN模型对得到的处理后的数据进行滤波处理，得到所述相应帧图像的超分辨率图像；所述第二分辨率数据中所有帧图像的超分辨率图像形成所述第三分辨率数据。上述方案中，所述基于所述第一分辨率数据与所述第三分辨率数据，确定所述图像处理模型的损失函数的值，包括：基于所述第一分辨率数据与所述第三分辨率数据，确定所述第一分辨率数据与所述第三分辨率数据之间的残差；基于所述第一分辨率数据与所述第三分辨率数据之间的残差，确定所述图像处理模型的损失函数的值。上述方案中，所述基于所述损失函数的值，更新所述图像处理模型的模型参数，包括：确定所述图像处理模型的损失函数的值达到第一阈值，基于所述图像处理模型的损失函数确定相应的第一误差信号；将所述第一误差信号在所述图像处理模型中反向传播，并在传播的过程中利用随机梯度下降法更新所述图像处理模型的各网络层的模型参数。上述方案中，所述获取样本图像组的第一分辨率数据和第二分辨率数据，包括：获取样本图像组；以第一帧速率对所述样本图像组进行提取处理，得到样本图像帧序列；对得到的样本图像帧序列以两种不同的采样率分别进行下采样处理，得到第一分辨率图像帧序列和第二分辨率图像帧序列；按预设的时间规则分别对所述第一分辨率图像帧序列和所述第二分辨率图像帧序列进行标识，得到第一分辨率数据和第二分辨率数据。本专利技术实施例还提供一种图像处理模型的训练装置，包括：获取单元，用于获取样本图像组的第一分辨率数据和第二分辨率数据；所述第二分辨率低于所述第一分辨率；第一超分辨率重建单元，用于利用至少包含BNN模型的图像处理模型对所述第二分辨率数据进行超分辨率重建，得到第三分辨率数据；所述第三分辨率高于所述第二分辨率；损失确定单元，用于基于所述第一分辨率数据与所述第三分辨率数据，确定所述图像处理模型的损失函数的值；参数更新单元，用于基于所述损失函数的值，更新所述图像处理模型的模型参数。本专利技术实施例还提供一种图像处理方法，包括：以第二帧速率对第一图像组进行提取处理，得到第一图像帧序列；通过图像处理模型，对所述第一图像帧序列中的各图像帧分别进行超分辨率重建，得到对应的第二图像帧序列；所述第二图像帧序列的分辨率高于所述第一图像帧序列；对所述第二图像帧序列进行合成处理，得到第二图像组；其中，所述图像处理模型基于本专利技术实施例提供的图像处理模型的训练方法训练得到。本专利技术实施例还提供一种图像处理装置，包括：预处理单元，用于以第二帧频速率对第一图像组进行提取处理，得到第一图像帧序列；第二超分辨率重建单元，用于通过图像处理模型，对所述第一图像帧序列中的各图像帧分别进行超分辨率重建，得到对应的第二图像帧序列；所述第二图像帧序列的分辨率高于所述第一图像帧序列；后处理单元，对所述第二图像帧序列进行合成处理，得到第二图像组；其中，所述图像处理模型基于本专利技术实施例提供的图像处理模型的训练方法训练。本专利技术实施例还提供一种图像处理模型的训练装置，包括：存储器，用于存储可执行指令；处理器，用于执行所述存储器中存储的可执行指令时，实现本专利技术实施例提供的图像处理模型的训练方法、或实现本专利技术实施例提供的图像处理方法。本专利技术实施例还提供一种存储介质，所述存储介质存储有可执行指令，当所述可执行指令被至少一个处理器执行时，实现本本文档来自技高网...

【技术保护点】
1.一种图像处理模型的训练方法，其特征在于，所述方法包括：/n获取样本图像组的第一分辨率数据和第二分辨率数据；所述第二分辨率低于所述第一分辨率；/n利用至少包含双边滤波网络BNN模型的图像处理模型对所述第二分辨率数据进行超分辨率重建，得到第三分辨率数据；所述第三分辨率高于所述第二分辨率；/n基于所述第一分辨率数据与所述第三分辨率数据，确定所述图像处理模型的损失函数的值；/n基于所述损失函数的值，更新所述图像处理模型的模型参数。/n

【技术特征摘要】
1.一种图像处理模型的训练方法，其特征在于，所述方法包括：
获取样本图像组的第一分辨率数据和第二分辨率数据；所述第二分辨率低于所述第一分辨率；
利用至少包含双边滤波网络BNN模型的图像处理模型对所述第二分辨率数据进行超分辨率重建，得到第三分辨率数据；所述第三分辨率高于所述第二分辨率；
基于所述第一分辨率数据与所述第三分辨率数据，确定所述图像处理模型的损失函数的值；
基于所述损失函数的值，更新所述图像处理模型的模型参数。


2.根据权利要求1所述的方法，其特征在于，所述利用至少包含BNN模型的图像处理模型对所述第二分辨率数据进行超分辨率重建，得到第三分辨率数据，包括：
利用包含BNN模型和卷积神经网络CNN模型的图像处理模型对所述第二分辨率数据进行超分辨率重建，得到第三分辨率数据。


3.根据权利要求1所述的方法，其特征在于，所述利用至少包含BNN模型的图像处理模型对所述第二分辨率数据进行超分辨率重建，得到第三分辨率数据，包括：
针对所述第二分辨率数据中的每帧图像，进行上采样处理，得到上采样处理后的相应帧图像；
利用所述上采样处理后的相应帧图像和第一图像帧序列，提取图像中各像素点的特征，得到特征集合；所述第一图像帧序列是所述第二分辨率数据中所述相应帧图像之前各帧图像进行超分辨率重建后形成的；
利用BNN模型对所述特征集合进行融合处理，得到所述相应帧图像的超分辨率图像；所述第二分辨率数据中所有帧图像的超分辨率图像形成所述第三分辨率数据。


4.根据权利要求3所述的方法，其特征在于，所述利用BNN模型对所述特征集合进行融合处理，得到所述相应帧图像的超分辨率图像，包括：
利用至少一组滤波器对所述特征集合进行过滤处理，得到过滤处理后的各特征；
利用第一滤波器对得到的处理后的各特征进行降维处理，得到所述相应帧图像的超分辨率图像。


5.根据权利要求4所述的方法，其特征在于，所述利用至少一组滤波器对所述特征集合进行过滤处理，包括：
将所述特征集合中的各特征在预设维度的空间中进行映射，得到映射后的各特征；
对映射后的各特征进行卷积处理，得到卷积处理后的各特征；
利用质心插值方法将得到的卷积处理后的各特征在所述预设维度的空间中进行映射。


6.根据权利要求2所述的方法，其特征在于，所述利用包含BNN模型和CNN模型的图像处理模型对所述第二分辨率数据进行超分辨率重建，得到第三分辨率数据，包括：
针对所述第二分辨率数据中的每帧图像，进行上采样处理，得到上采样处理后的相应帧图像；
利用所述上采样处理后的相应帧图像和第一图像帧序列，提取图像中各像素点的特征，得到特征集合；所述第一图像帧序列是所述第二分辨率数据中所述相应帧图像之前各帧图像进行超分辨率重建后形成的；
利用BNN模型对所述特征集合进行融合处理，得到处理后的数据；
利用CNN模型对得到的处理后的数据进行滤波处理，得到所述相应帧图像的超分辨率图像；所述第二分辨率数据中所有帧图像的超分辨率图像形成所述第三分辨率数据。


7.根据权利要求1所述的方法，其特征在于，所述基于所述第一分辨率数据与所述第三分辨率数据，确定所述图像处理模型的损失函数的值，包括：
基于所述第一分辨率数据与所述第三分辨...

【专利技术属性】
技术研发人员：张志华，武文静，
申请(专利权)人：中移苏州软件技术有限公司，中国移动通信集团有限公司，
类型：发明
国别省市：江苏;32