图像处理方法、装置、芯片、电子设备和存储介质制造方法及图纸

本公开是关于图像处理方法、装置、芯片、电子设备和存储介质，所述方法包括：获取待处理图像序列，并生成所述待处理图像序列的反向图像序列，其中，所述待处理图像序列包括按顺序排列的多帧待处理图像及每帧待处理图像的噪声图；分别提取所述待处理图像序列的第一深层特征和所述待处理图像序列的反向图像序列的第二深层特征；对所述第一深层特征进行特征对齐处理，并对所述第二深层特征进行特征对齐处理；将所述第一深层特征和所述第二深层特征进行融合处理，并根据融合处理的结果生成目标图像。像。像。

【技术实现步骤摘要】
图像处理方法、装置、芯片、电子设备和存储介质


[0001]本公开涉及图像处理
，具体涉及一种图像处理方法、装置、芯片、电子设备和存储介质。

技术介绍

[0002]近年来，随着人工智能技术的发展，可以对图像和视频进行各种自动化处理，例如图像细节增强、去噪等处理。图像细节增强技术是通过图像处理的方法在原有图像的基础上增加或还原细节的一种技术，经过处理的图像将比原始图像具有更精细的纹理和视觉表现。相关技术中，可以使用多帧融合的方式对图像进行处理，即通过将数张连续拍摄的图像来进行去噪和细节增强，但是所实现处理效果有待提高，处理结果的图像质量难以达到用户满意。

技术实现思路

[0003]为克服相关技术中存在的问题，本公开实施例提供一种图像处理方法、装置、芯片、电子设备和存储介质，用以解决相关技术中的缺陷。
[0004]根据本公开实施例的第一方面，提供一种图像处理方法，包括：
[0005]获取待处理图像序列，并生成所述待处理图像序列的反向图像序列，其中，所述待处理图像序列包括按顺序排列的多帧待处理图像及每帧待处理图像的噪声图；
[0006]分别提取所述待处理图像序列的第一深层特征和所述待处理图像序列的反向图像序列的第二深层特征；
[0007]对所述第一深层特征进行特征对齐处理，并对所述第二深层特征进行特征对齐处理；
[0008]将所述第一深层特征和所述第二深层特征进行融合处理，并根据融合处理的结果生成目标图像。
[0009]在一个实施例中，所述获取待处理图像序列，包括：
[0010]获取按顺序排列的多帧待处理图像，并根据采集待处理图像的采集设备的参数生成每帧待处理图像的噪声图；
[0011]将按顺序排列的多帧待处理图像，以及每帧待处理图像的噪声图生成待处理图像序列。
[0012]在一个实施例中，所述对所述第一深层特征进行特征对齐处理，并对所述第二深层特征进行特征对齐处理，包括：
[0013]针对所述待处理图像序列中待处理图像的各个颜色通道和噪声图，提取所述待处理图像序列的浅层特征；
[0014]以所述浅层特征作为特征对齐处理的引导信息，分别对所述第一深层特征和所述第二深层特征进行特征对齐处理。
[0015]在一个实施例中，所述图像处理方法利用神经网络模型执行，所述神经网络模型
包括特征提取模块、特征对齐模块和特征融合模块；
[0016]其中，所述特征提取模块用于分别提取所述待处理图像序列的第一深层特征和所述待处理图像序列的反向图像序列的第二深层特征；所述特征对齐模块用于对所述第一深层特征进行特征对齐处理，并对所述第二深层特征进行特征对齐处理；所述特征融合模块用于将所述第一深层特征和所述第二深层特征进行融合处理，并根据融合处理的结果生成目标图像。
[0017]在一个实施例中，所述神经网络模型还包括预处理模块，用于获取待处理图像序列，并生成所述待处理图像序列的反向图像序列，其中，所述待处理图像序列包括按顺序排列的多帧待处理图像及每帧待处理图像的噪声图。
[0018]在一个实施例中，还包括：
[0019]获取训练集中的训练图像序列，并对所述训练图像序列中的每帧训练图像增加噪声，得到每帧训练图像的噪声图；
[0020]将所述训练图像序列及每帧训练图像的噪声图，和所述训练图像序列的反向图像序列及每帧训练图像的噪声图输入至所述神经网络模型中，输出所述预测图像；
[0021]根据所述预测图像和所述训练图像序列的标签图像，确定网络损失值，并根据所述网络损失值对所述神经网络模型的网络参数进行调整，直至所述神经网络模型收敛。
[0022]在一个实施例中，在所述将所述训练图像序列及每帧训练图像的噪声图，和所述训练图像序列的反向图像序列及每帧训练图像的噪声图输入至所述神经网络模型中之前，还包括：
[0023]针对所述训练图像序列，保持中间帧的训练图像位置不变，对其他帧训练图像进行随机排列。
[0024]在一个实施例中，在所述将所述训练图像序列，和所述训练图像序列的反向图像序列及每帧训练图像的噪声图及每帧训练图像的噪声图输入至所述神经网络模型中之前，还包括：
[0025]分别对每一帧训练图像进行增强处理。
[0026]在一个实施例中，还包括：
[0027]获取多个原始图像序列，其中，每个原始图像序列均包括预设数量的原始图像；
[0028]对每个原始图像序列中的每个原始图像进行模糊处理，得到每个原始图像对应的训练图像；
[0029]按照每个原始图像序列中各个原始图像的排列顺序，对各个原始图像对应的训练图像进行排列，得到每个原始图像序列对应的训练图像序列，并根据全部训练图像序列确定训练集。
[0030]在一个实施例中，还包括：
[0031]将所述原始图像序列的中间帧原始图像，确定为对应的所述训练图像序列的标签图像。
[0032]根据本公开实施例的第二方面，提供一种图像处理装置，包括：
[0033]预处理模块，用于获取待处理图像序列，并生成所述待处理图像序列的反向图像序列，其中，所述待处理图像序列包括按顺序排列的多帧待处理图像及每帧待处理图像的噪声图；
[0034]特征提取模块，用于分别提取所述待处理图像序列的第一深层特征和所述待处理图像序列的反向图像序列的第二深层特征；
[0035]特征对齐模块，用于对所述第一深层特征进行特征对齐处理，并对所述第二深层特征进行特征对齐处理；
[0036]特征融合模块，用于将所述第一深层特征和所述第二深层特征进行融合处理，并根据融合处理的结果生成目标图像。
[0037]在一个实施例中，所述获取模块用于获取待处理图像序列时，具体用于：
[0038]获取按顺序排列的多帧待处理图像，并根据采集待处理图像的采集设备的参数生成每帧待处理图像的噪声图；
[0039]将按顺序排列的多帧待处理图像，以及每帧待处理图像的噪声图生成待处理图像序列。
[0040]在一个实施例中，所述特征对齐模块具体用于：
[0041]针对所述待处理图像序列中待处理图像的各个颜色通道和噪声图，提取所述待处理图像序列的浅层特征；
[0042]以所述浅层特征作为特征对齐处理的引导信息，分别对所述第一深层特征和所述第二深层特征进行特征对齐处理。
[0043]在一个实施例中，所述图像处理装置包括神经网络模型，所述神经网络模型包括所述特征提取模块、所述特征对齐模块和所述特征融合模块。
[0044]在一个实施例中，所述神经网络模型还包括所述预处理模块。
[0045]在一个实施例中，所述图像处理装置还包括训练模块，用于：
[0046]获取训练集中的训练图像序列，并对所述训练图像序列中的每帧训练图像增加噪声，得到每帧训练图像的噪声图；
[0047]将所述训练图像序列及每帧训练图像的噪声图，和所述训练图像序列的反向图像序列及每帧训练图像的噪本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：获取待处理图像序列，并生成所述待处理图像序列的反向图像序列，其中，所述待处理图像序列包括按顺序排列的多帧待处理图像及每帧待处理图像的噪声图；分别提取所述待处理图像序列的第一深层特征和所述待处理图像序列的反向图像序列的第二深层特征；对所述第一深层特征进行特征对齐处理，并对所述第二深层特征进行特征对齐处理；将所述第一深层特征和所述第二深层特征进行融合处理，并根据融合处理的结果生成目标图像。2.根据权利要求1所述的图像处理方法，其特征在于，所述获取待处理图像序列，包括：获取按顺序排列的多帧待处理图像，并根据采集待处理图像的采集设备的参数生成每帧待处理图像的噪声图；将按顺序排列的多帧待处理图像，以及每帧待处理图像的噪声图生成待处理图像序列。3.根据权利要求1所述的图像处理方法，其特征在于，所述对所述第一深层特征进行特征对齐处理，并对所述第二深层特征进行特征对齐处理，包括：针对所述待处理图像序列中待处理图像的各个颜色通道和噪声图，提取所述待处理图像序列的浅层特征；以所述浅层特征作为特征对齐处理的引导信息，分别对所述第一深层特征和所述第二深层特征进行特征对齐处理。4.根据权利要求1至3任一项所述的图像处理方法，其特征在于，所述图像处理方法利用神经网络模型执行，所述神经网络模型包括特征提取模块、特征对齐模块和特征融合模块；其中，所述特征提取模块用于分别提取所述待处理图像序列的第一深层特征和所述待处理图像序列的反向图像序列的第二深层特征；所述特征对齐模块用于对所述第一深层特征进行特征对齐处理，并对所述第二深层特征进行特征对齐处理；所述特征融合模块用于将所述第一深层特征和所述第二深层特征进行融合处理，并根据融合处理的结果生成目标图像。5.根据权利要求4所述的图像处理方法，其特征在于，所述神经网络模型还包括预处理模块，用于获取待处理图像序列，并生成所述待处理图像序列的反向图像序列，其中，所述待处理图像序列包括按顺序排列的多帧待处理图像及每帧待处理图像的噪声图。6.根据权利要求4所述的图像处理方法，其特征在于，还包括：获取训练集中的训练图像序列，并对所述训练图像序列中的每帧训练图像增加噪声，得到每帧训练图像的噪声图；将所述训练图像序列及每帧训练图像的噪声图，和所述训练图像序列的反向图像序列及每帧训练图像的噪声图输入至所述神经网络模型中，输出预测图像；根据所述预测图像和所述训练图像序列的标签图像，确定网络损失值，并根据所述网络损失值对所述神经网络模型的网络参数进行调整，直至所述神经网络模型收敛。7.根据权利要求6所述的图像处理方法，其特征在于，在所述将所述训练图像序列及每帧训练图像的噪声图，和所述训练图像序列的反向图像序列及每帧训练图像的噪声图输入
至所述神经网络模型中之前，还包括：针对所述训练图像序列，保持中间帧的训练图像位置不变，对其他帧训练图像进行随机排列。8.根据权利要求6所述的图像处理方法，其特征在于，在所述将所述训练图像序列，和所述训练图像序列的反向图像序列及每帧训练图像的噪声图及每帧训练图像的噪声图输入至所述神经网络模型中之前，还包括：分别对每一帧训练图像进行增强处理。9.根据权利要求6所述的图像处理方法，其特征在于，还包括：获取多个原始图像序列，其中，每个原始图像序列均包括预设数量的原始图像；对每个原始图像序列中的每个原始图像进行模糊处理，得到每个原始图像对应的训练图像；按照每个原始图像序列中各个原始图像的排列顺序，对各个原始图像对应的训练图像进行排列，得到每个原始图像序列对应的训练图像序列，并根据全部训练图像序列确定训练集。10.根据权利要求9所述的图像处理方法，其特征在于，还包括：将所述原始图像序列的中间帧原始图像，确定为对应的所述训练图像序列的标签图像。11.一种图像处理装置，其特征在于，包括：预处理模块，用于获取待处理...

【专利技术属性】
技术研发人员：韩炳男，尹玄武，管宪宇，
申请(专利权)人：北京小米移动软件有限公司，
类型：发明
国别省市：