图像处理方法及相关设备技术

本申请实施例提供一种图像处理方法及相关设备，所述方法包括：将原始图像输入特征提取模型，通过特征提取模型提取原始图像的多个特征向量；将原始图像的多个特征向量输入LUT预测模型，通过LUT预测模型确定原始图像对应的多个3DLUT；将原始图像输入参数预测模型，通过参数预测模型确定多个3DLUT的LUT参数；根据原始图像对应的多个3DLUT和多个3DLUT的LUT参数确定原始图像对应的目标3DLUT；根据原始图像对应的目标3DLUT对原始图像进行颜色转换，得到目标图像。本申请实施例采用特征提取模型、LUT预测模型及参数预测模型对图像进行优化处理，确定与图像自适应的3DLUT，并根据3DLUT对图像进行优化处理，可以有效地对图像中的局部区域进行优化处理，提升了图像优化效果。果。果。

【技术实现步骤摘要】
图像处理方法及相关设备


[0001]本申请涉及终端
，属于图像处理技术，尤其涉及一种图像处理方法及相关设备。

技术介绍

[0002]随着终端技术的发展，智能手机、个人电脑等智能电子设备都具有摄像功能，并且为了提升照片的美感，可以自动对照片进行优化，例如增加亮度、优化人物肤色等。智能电子设备通过LUT对照片进行颜色转换，从而对照片进行优化，然而，这种照片优化方式对于照片局部区域的调整有限，导致照片的优化效果较差。

技术实现思路

[0003]鉴于以上内容，有必要提供一种图像处理方法及相关设备，解决通过LUT对照片进行优化时对照片局部区域的调整有效而导致照片优化效果较差的问题。
[0004]第一方面，本申请提供一种图像处理方法，应用于电子设备，所述方法包括：将原始图像输入特征提取模型，通过所述特征提取模型提取所述原始图像的多个特征向量；将所述原始图像的所述多个特征向量输入LUT预测模型，通过所述LUT预测模型确定所述原始图像对应的多个3DLUT；将所述原始图像输入参数预测模型，通过所述参数预测模型确定所述多个3DLUT的LUT参数；根据所述原始图像对应的所述多个3DLUT和所述多个3DLUT的所述LUT参数确定所述原始图像对应的目标3DLUT；根据所述原始图像对应的目标3DLUT对所述原始图像进行颜色转换，得到目标图像。
[0005]通过上述技术方案，采用特征提取模型可以精确地提取原始图像的特征，采用LUT预测模型可以获取原始图像的全局特征关系，并根据原始图像的全局特征关系确定对应的目标3DLUT，采用参数预测模型可以确定3DLUT的参数，实现图像自适应的3DLUT，从而采用图像自适应的间隔采样方式对原始图像进行优化增强处理，提升了图像的全局和局部区域的优化效果。
[0006]在一种可能的实现方式中，所述特征提取模型为自编码器，所述自编码器包括第一输入层、第一编码器及第一输出层，所述自编码器根据多个训练图像的图像特征作为训练数据训练生成。
[0007]通过上述技术方案，采用自编码器作为特征提取模型，可以精确地提取出原始图像的特征，提升LUT预测模型确定的3DLUT对图像的自适应性，优化图像优化增强效果。
[0008]在一种可能的实现方式中，所述通过所述特征提取模型提取所述原始图像的多个特征向量，包括：所述第一输入层接收输入的所述原始图像，对所述原始图像进行预处理，将所述原始图像划分为多个图像块，并将所述多个图像块发送至所述第一编码器；所述第一编码器对所述多个图像块进行卷积处理，提取所述多个图像块的颜色特征，并对所述颜色特征进行降维，得到每个图像块的颜色特征向量；所述第一编码器还对每个图像块的位置进行编码，得到每个图像块的位置特征向量。
[0009]在一种可能的实现方式中，所述自编码器还包括隐藏层和第一解码器，所述方法还包括：将多个所述训练图像作为训练集，输入所述自编码器；所述第一输入层对所述多个训练图像进行预处理，并将预处理后的所述多个训练图像发送至所述第一编码器；所述第一编码器提取所述多个训练图像的特征向量，并将提取的所述多个训练图像的特征向量发送至隐藏层；所述隐藏层对所述多个训练图像的特征向量进行下采样处理，并将下采样处理后的所述特征向量发送至第一解码器；所述第一解码器根据下采样处理后的所述特征向量获取每个训练图像的重构图像；计算每个重构图像与对应的训练图像之间的差异值，若每个重构图像与对应的训练图像之间的差异值小于或等于第一预设差异值，确定所述自编码器完成训练；或若每个重构图像与对应的训练图像之间的差异值大于所述第一预设差异值，调整所述自编码器的参数，并继续对所述自编码器进行训练。
[0010]通过上述技术方案，对自编码器进行预训练，保证自编码器提取的图像特征的有效性，提升LUT预测模型确定的3DLUT对图像的自适应性，优化图像优化增强效果。
[0011]在一种可能的实现方式中，所述LUT预测模型为视觉转换器模型，所述视觉转换器模型包括第二输入层、编码器块、分类网络及第二输出层，所述编码器块包括至少一个第二编码器，所述第二编码器包括注意力模块、归一化模块及多层感知机，所述视觉转换器模型根据多个原始训练图像、每个原始训练图像对应的目标训练图像及将每个原始训练图像转换为目标训练图像的至少一个3DLUT作为训练数据进行训练生成。
[0012]通过上述技术方案，将视觉转换器模型作为LUT预测模型，可以获取原始图像的全局特征关系，并根据原始图像的全局特征关系确定对应的多个3DLUT，提升了3DLUT对图像全局的优化效果。
[0013]在一种可能的实现方式中，所述注意力模块包括多头注意力模块和多个交叉注意力模块，所述通过所述LUT预测模型确定所述原始图像对应的多个3DLUT，包括：所述视觉转换器模型的所述第二输入层接收由所述特征提取模型输入的原始图像的多个特征向量，将所述多个特征向量发送至所述注意力模块，其中，所述多个特征向量包括所述原始图像的每个图像块的颜色特征向量和位置特征向量；通过每个交叉注意力模块权重矩阵W
Q
、W
K
、W
V
以及每个图像块的颜色特征向量和位置特征向量分别计算每个图像块对应的查询矩阵、键值矩阵及值矩阵，并根据激活函数、每个图像块的所述查询矩阵、键值矩阵及值矩阵计算每个图像块的特征矩阵；通过所述多头注意力模块根据每个图像块对应的特征矩阵计算得到所述原始图像的输出矩阵；通过所述归一化模块对所述原始图像的输出矩阵进行归一化处理，通过所述多层感知机对所述输出矩阵进行线性变换，得到所述原始图像的特征矩阵，并将所述原始图像的特征矩阵发送至所述分类网络；通过所述分类网络对所述原始图像的特征矩阵进行分类，并根据所述原始图像的分类以及多个图像分类和多个3DLUT之间的对应关系确定所述原始图像对应的多个3DLUT。
[0014]通过上述技术方案，视觉转换器模型将原始图像的图像块的颜色特征向量和位置特征向量相结合，可以获取原始图像特征的全局关系，从而根据原始图像的全局特征关系确定对应的多个3DLUT，提升了3DLUT对图像全局的优化效果。
[0015]在一种可能的实现方式中，所述方法还包括：对所述视觉转换器模型进行初始化；将所述多个原始训练图像、每个原始训练图像对应的目标训练图像及将每个原始训练图像转换为目标训练图像的至少一个3DLUT作为训练集输入所述视觉转换器模型；通过所述第
二输入层对每个原始训练图像进行预处理，并将预处理后的每个原始训练图像发送至所述编码器块；通过所述编码器块提取每个原始训练图像的特征，并将提取的每个原始训练图像的特征发送至所述分类网络；通过所述分类网络根据每个原始训练图像的特征对每个原始训练图像中的目标对象进行分类；计算每个原始训练图像的分类结果和实际分类结果之间的差异值；若每个原始训练图像的分类结果和实际分类结果之间的差异值小于或等于第二预设差异值，确定所述转换器模型完成训练；或若任一原始训练图像的分类结果和实际分类结果之间的差异值大于所述第二预设差异值本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，应用于电子设备，其特征在于，所述方法包括：将原始图像输入特征提取模型，通过所述特征提取模型提取所述原始图像的多个特征向量；将所述原始图像的所述多个特征向量输入LUT预测模型，通过所述LUT预测模型确定所述原始图像对应的多个3DLUT；将所述原始图像输入参数预测模型，通过所述参数预测模型确定所述多个3DLUT的LUT参数；根据所述原始图像对应的所述多个3DLUT和所述多个3DLUT的所述LUT参数确定所述原始图像对应的目标3DLUT；根据所述原始图像对应的目标3DLUT对所述原始图像进行颜色转换，得到目标图像。2.如权利要求1所述的图像处理方法，其特征在于，所述特征提取模型为自编码器，所述自编码器包括第一输入层、第一编码器及第一输出层，所述自编码器根据多个训练图像的图像特征作为训练数据训练生成。3.如权利要求2所述的图像处理方法，其特征在于，所述通过所述特征提取模型提取所述原始图像的多个特征向量，包括：所述第一输入层接收输入的所述原始图像，对所述原始图像进行预处理，将所述原始图像划分为多个图像块，并将所述多个图像块发送至所述第一编码器；所述第一编码器对所述多个图像块进行卷积处理，提取所述多个图像块的颜色特征，并对所述颜色特征进行降维，得到每个图像块的颜色特征向量；所述第一编码器还对每个图像块的位置进行编码，得到每个图像块的位置特征向量。4.如权利要求2所述的图像处理方法，其特征在于，所述自编码器还包括隐藏层和第一解码器，所述方法还包括：将多个所述训练图像作为训练集，输入所述自编码器；所述第一输入层对所述多个训练图像进行预处理，并将预处理后的所述多个训练图像发送至所述第一编码器；所述第一编码器提取所述多个训练图像的特征向量，并将提取的所述多个训练图像的特征向量发送至隐藏层；所述隐藏层对所述多个训练图像的特征向量进行下采样处理，并将下采样处理后的所述特征向量发送至第一解码器；所述第一解码器根据下采样处理后的所述特征向量获取每个训练图像的重构图像；计算每个重构图像与对应的训练图像之间的差异值，若每个重构图像与对应的训练图像之间的差异值小于或等于第一预设差异值，确定所述自编码器完成训练；或若每个重构图像与对应的训练图像之间的差异值大于所述第一预设差异值，调整所述自编码器的参数，并继续对所述自编码器进行训练。5.如权利要求1所述的图像处理方法，其特征在于，所述LUT预测模型为视觉转换器模型，所述视觉转换器模型包括第二输入层、编码器块、分类网络及第二输出层，所述编码器块包括至少一个第二编码器，所述第二编码器包括注意力模块、归一化模块及多层感知机，所述视觉转换器模型根据多个原始训练图像、每个原始训练图像对应的目标训练图像及将每个原始训练图像转换为目标训练图像的至少一个3DLUT作为训练数据进行训练生成。
6.如权利要求5所述的图像处理方法，其特征在于，所述注意力模块包括多头注意力模块和多个交叉注意力模块，所述通过所述LUT预测模型确定所述原始图像对应的多个3DLUT，包括：所述视觉转换器模型的所述第二输入层接收由所述特征提取模型输入的原始图像的多个特征向量，将所述多个特征向量发送至所述注意力模块，其中，所述多个特征向量包括所述原始图像的每个图像块的颜色特征向量和位置特征向量；通过每个交叉注意力模块权重矩阵W
Q
、W
K
、W
V
以及每个图像块的颜色特征向量和位置特征向量分别计算每个图像块对应的查询矩阵、键值矩阵及值矩阵，并根据激活函数、每个图像块的所述查询矩阵、键值矩阵及值矩阵计算每个图像块的特征矩阵；通过所述多头注意力模块根据每个图像块对应的特征矩阵计算得到所述原始图像的输出矩阵；通过所述归一化模块对所述原始图像的输出矩阵进行归一化处理，通过所述多层感知机对所述输出矩阵进行线性变换，得到所述原始图像的特征矩阵，并将所述原始图像的特征矩阵发送至所述分类网络；通过所述分类网络对所述原始图像的特征矩阵进行分类，并根据所述原始图像的分类以及多个图像分类和多...

【专利技术属性】
技术研发人员：刘青，
申请(专利权)人：荣耀终端有限公司，
类型：发明
国别省市：