【技术实现步骤摘要】
图像处理方法、模型训练方法、相关装置及设备
[0001]本申请实施例涉及人工智能领域，尤其涉及图像处理方法、模型训练方法、相关装置及设备。
技术介绍
[0002]随着人工智能的发展，深度学习方法中的基于卷积神经网络(convolutional neural networks，CNN)全卷积神经网络方法，在人工智能的许多领域取得了长足的发展。在计算机视觉的相关的图像复原(image restoration)和图像质量增强(image quality enhancement)任务中，取得了瞩目的成绩。
[0003]一种图像处理的方法中，通过目标检测网络，从黑白的输入图像中裁切出K个实例，然后对输入图像和这个K个实例分别进行着色，并将K+1个着色结果进行融合，得到输入图像对应的彩色图像。
[0004]在这种方法中，只关注了单张图像的着色效果，并未考虑图像帧之间的关联性，以及使用的模型的稳定性较差，导致图像帧的着色效果不稳定，在视频序列中会出现颜色跳变等现象。
技术实现思路
[0005]本申请实施例提...
【技术保护点】
【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：通过特征提取网络，从第一图像中获取多个第一特征元素，从第二图像中获取多个第二特征元素，其中，所述第一图像为黑白图像，所述第二图像为彩色图像；根据所述多个第一特征元素与所述多个第二特征元素之间的相似度，从所述多个第二特征元素中确定M个第二特征元素，所述M为正整数；根据所述M个第二特征元素与所述多个第一特征元素之间的相似度，以及所述多个第一特征元素之间的相似度，从所述M个第二特征元素中确定N个第一目标元素，所述N为正整数；融合所述多个第一特征元素和所述N个第一目标元素，得到融合特征，所述融合特征用于重建所述第一图像对应的增强图像；通过图像重建网络处理所述融合特征，得到所述第一图像对应的所述增强图像，所述增强图像为彩色图像。2.根据权利要求1所述的方法，其特征在于，所述多个第一特征元素中的一个第一特征元素与所述M个第二特征元素中的一个第二特征元素之间的相似度大于或等于第一阈值，且所述一个第一特征元素与所述N个第一目标元素对应的一个第一特征元素之间的相似度大于或等于第二阈值。3.根据权利要求1或2所述的方法，其特征在于，在所述得到融合特征之前，所述方法还包括：根据所述多个第一特征元素与所述多个第二特征元素之间的相似度，从所述多个第二特征元素中确定X个第二特征元素，所述X为正整数；根据所述X个第二特征元素与所述多个第一特征元素之间的相似度，以及所述多个第一特征元素之间的相似度，从所述X个第二特征元素中确定Y个第二目标元素，所述Y为正整数；所述融合所述多个第一特征元素和所述N个第一目标元素，得到融合特征，包括：从所述N个第一目标元素和所述Y个第二目标元素中，确定多个第三目标元素；融合所述多个第一特征元素和所述多个第三目标元素，得到所述融合特征。4.根据权利要求3所述的方法，其特征在于，所述多个第一特征元素中的一个第一特征元素与所述X个第二特征元素中的一个第二特征元素之间的相似度大于或等于第三阈值，所述一个第一特征元素与所述Y个第二目标元素对应的一个第一特征元素之间的相似度大于或等于第四阈值。5.根据权利要求1至4中任一项所述的方法，其特征在于，所述图像重建网络包括多个分支，所述多个分支中的每个分支包括至少一个图像重建模块；所述通过图像重建网络处理所述融合特征，得到所述第一图像对应的所述增强图像，包括：通过所述多个分支分别处理所述融合特征，得到所述第一图像对应的所述增强图像，所述增强图像的数量为多个，且各个增强图像的颜色不同。6.根据权利要求5所述的方法，其特征在于，所述多个分支中的任意两个分支，包括至少一个或者至少两个相同的图像重建模块。7.根据权利要求1至6中任一项所述的方法，其特征在于，所述方法还包括：
通过预训练模型，从所述第一图像中提取多个中间特征，所述多个中间特征为所述预训练模型的不同网络层的输出；拼接所述多个中间特征，得到拼接特征；通过神经网络处理所述拼接特征，得到所述第一图像对应的单位向量；根据所述单位向量，查询增强特征查找表，确定所述第一图像对应的增强参数，所述增强参数用于确定所述融合特征。8.根据权利要求1至7中任一项所述的方法，其特征在于，所述通过特征提取网络，从第一图像中获取多个第一特征元素，从第二图像中获取多个第二特征元素，包括：通过所述特征提取网络，获取所述第一图像对应的第一特征图和所述第二图像对应的第二特征图；从所述第一特征图中获取所述多个第一特征元素，从所述第二特征图中获取所述多个第二特征元素。9.根据权利要求1至8中任一项所述的方法，其特征在于，所述多个第二特征元素还包括第四目标元素，所述第四目标元素与所述多个第一特征元素中的任意一个第一特征元素之间的相似度小于所述第一阈值。10.根据权利要求1至9中任一项所述的方法，其特征在于，所述多个第二特征元素还包括第五目标元素，所述第五目标元素对应的第一特征元素，与所述多个第一特征元素中的任意一个第一特征元素之间的相似度小于第二阈值。11.一种模型训练方法，其特征在于，包括：通过特征提取网络，从第一图像中获取多个第一特征元素，从第二图像中获取多个第二特征元素，所述第一图像为黑白图像，所述第二图像为彩色图像；根据所述多个第一特征元素与所述多个第二特征元素之间的相似度，从所述多个第二特征元素中确定M个第二特征元素，所述M为正整数；根据所述M个第二特征元素与所述多个第一特征元素之间的相似度，以及所述多个第一特征元素之间的相似度，从所述M个第二特征元素中确定N个第一目标元素，所述N为正整数；融合所述多个第一特征元素和所述N个第一目标元素，得到融合特征，所述融合特征用于重建所述第一图像对应的增强图像；通过图像重建网络处理所述融合特征，得到所述第一图像对应的所述增强图像，所述增强图像为彩色图像；对所述模型进行迭代训练，更新所述特征提取网络的参数和所述图像重建网络的参数，直至所述模型收敛或达到预设的第一迭代次数。12.根据权利要求11所述的方法，其特征在于，所述多个第一特征元素中的一个第一特征元素与所述M个第二特征元素中的一个第二特征元素之间的相似度大于或等于第一阈值，且所述一个第一特征元素与所述N个第一目标元素对应的一个第一特征元素之间的相似度大于或等于第二阈值。13.根据权利要求11或12所述的方法，其特征在于，在所述得到融合特征之前，所述方法还包括：根据所述多个第一特征元素与所述多个第二特征元素之间的相似度，从所述多个第二
特征元素中确定X个第二特征元素，所述X为正整数；根据所述X个第二特征元素与所述多个第一特征元素之间的相似度，以及所述多个第一特征元素之间的相似度，从所述X个第二特征元素中确定Y个第二目标元素，所述Y为正整数；所述融合所述多个第一特征元素和所述N个第一目标元素，得到融合特征，包括：从所述N个第一目标元素和所述Y个第二目标元素中，确定多个第三目标元素；融合所述多个第一特征元素和所述多个第三目标元素，得到所述融合特征。14.根据权利要求13所述的方法，其特征在于，所述多个第一特征元素中的一个第一特征元素与所述X个第二特征元素中的一个第二特征元素之间的相似度大于或等于第三阈值，所述一个第一特征元素与所述Y个第二目标元素对应的一个第一特征元素之间的相似度大于或等于第四阈值。15.根据权利要求11至14中任一项所述的方法，其特征在于，所述图像重建网络包括多个分支，所述多个分支中的每个分支包括至少一个图像重建模块；所述通过图像重建网络处理所述融合特征，得到所述第一图像对应的所述增强图像，包括：通过所述多个分支分别处理所述融合特征，得到所述第一图像对应的所述增强图像，所述增强图像的数量为多个，且各个增强图像的颜色不同。16.根据权利要求15所述的方法，其特征在于，所述多个分支中的任意两个分支，包括至少一个或者至少两个相同的图像重建模块。17.根据权利要求11至16中任一项所述的方法，其特征在于，所述方法还包括：通过预训练模型，从所述第一图像中提取多个中间特征，所述多个中间特征为所述预训练模型的不同网络层的输出；拼接所述多个中间特征，得到拼接特征；通过神经网络处理所述拼接特征，得到所述第一图像对应的单位向量；根据所述单位向量，查询增强特征查找表，确定所述第一图像对应的增强参数，所述增强参数用于确定所述融合特征；对所述神经网络和所述增强特征查找表进行迭代训练，更新所述神经网络的参数和所述增强特征查找表的参数，直至所述神经网络和所述增强特征查找表收敛，或者达到预设的第二迭代次数。18.根据权利要求11至17中任一项所述的方法，其特征在于，所述通过特征提取网络，从第一图像中获取多个第一特征元素，从第二图像中获取多个第二特征元素，包括：通过所述特征提取网络，获取所述第一图像对应的第一特征图和所述第二图像对应的第二特征图；从所述第一特征图中获取所述多个第一特征元素，从所述第二特征图中获取所述多个第二特征元素。19.根据权利要求11至18中任一项所述的方法，所述多个第二特征元素还包括第四目标元素，所述第四目标元素与所述多个第一特征元素中的任意一...
【专利技术属性】
技术研发人员：彭竞阳，汪涛，李勇，宋风龙，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。