图像处理方法、装置、计算机、可读存储介质及程序产品制造方法及图纸

本申请实施例公开了一种图像处理方法、装置、计算机、可读存储介质及程序产品，涉及人工智能领域，该方法包括：采用第一源图像样本、第一模板图像样本及第一标准合成图像训练得到第一参数调整模型，将第一参数调整模型与第一分辨率更新层组合成第一更新模型；采用第二分辨率下的第二源图像样本、第二模板图像样本及第三分辨率下的第二标准合成图像，将第一更新模型调整为第二参数调整模型；将第二参数调整模型与第二分辨率更新层组合成第二更新模型；采用第四分辨率下的第三源图像样本、第三模板图像样本及第五分辨率下的第三标准合成图像，将第二更新模型调整为目标图像融合模型。采用本申请，可以提高图像融合后的清晰度及显示效果。果。果。

【技术实现步骤摘要】
图像处理方法、装置、计算机、可读存储介质及程序产品


[0001]本申请涉及计算机
，尤其涉及一种图像处理方法、装置、计算机、可读存储介质及程序产品。

技术介绍

[0002]现在，视频换脸有非常多的应用场景，例如影视人像制作、游戏人物设计、虚拟形象及隐私保护等等。例如，在影视制作中，有一些专业的镜头可能一般人无法完成，就需要专业人士完成，后期就可以通过换脸技术实现影视制作；或者，在视频(如直播或视频通话等)中，可以采用虚拟人物对用户的视频画面进行换脸操作，得到用户的虚拟形象，并通过该虚拟形象进行视频等等。目前的换脸方法，一般是通过256分辨率的换脸算法进行换脸处理，导致生成的图像的较为模糊，尤其是现在对于视频等的清晰度要求越来越高，使得换脸之后的图像的清晰度较低，显示效果较差。

技术实现思路

[0003]本申请实施例提供了一种图像处理方法、装置、计算机、可读存储介质及程序产品，可以提高融合后图像的清晰度及显示效果。
[0004]本申请实施例一方面提供了一种图像处理方法，该方法包括：
[0005]获取第一分辨率下的第一源图像样本、第一模板图像样本及第一标准合成图像，采用第一源图像样本、第一模板图像样本及第一标准合成图像对初始图像融合模型进行参数调整，得到第一参数调整模型，在第一参数调整模型中插入第一分辨率更新层，得到第一更新模型；
[0006]获取第二分辨率下的第二源图像样本及第二模板图像样本，获取第三分辨率下的第二标准合成图像，采用第二源图像样本、第二模板图像样本及第二标准合成图像对第一更新模型进行参数调整，得到第二参数调整模型；第二分辨率大于或等于第一分辨率，第三分辨率大于第一分辨率；
[0007]在第二参数调整模型中插入第二分辨率更新层，得到第二更新模型；
[0008]获取第四分辨率下的第三源图像样本及第三模板图像样本，获取第五分辨率下的第三标准合成图像，采用第三源图像样本、第三模板图像样本及第三标准合成图像对第二更新模型进行参数调整，得到目标图像融合模型；目标图像融合模型用于将一个图像中的对象融合进另一个图像中；第四分辨率大于或等于第三分辨率，第五分辨率大于或等于第四分辨率。
[0009]本申请实施例一方面提供了一种图像处理方法，该方法包括：
[0010]获取源图像及模板图像，将源图像及模板图像输入目标图像融合模型，通过目标图像融合模型对源图像与模板图像进行融合，得到目标合成图像；目标图像融合图像是采用第三源图像样本、第三模板图像样本及第三标准合成图像，对第二更新模型进行参数调整所得到的，第三源图像样本及第三模板图像样本的分辨率为第四分辨率，第三标准合成
图像的分辨率为第五分辨率；第二更新模型是通过在第二参数调整模型中插入第二分辨率更新层得到的；第二参数调整模型是采用第二源图像样本、第二模板图像样本及第二标准合成图像，对第一更新模型进行参数调整所得到的，第二源图像样本及第二模板图像样本的分辨率为第二分辨率，第二标准合成图像的分辨率为第三分辨率；第一更新模型是在第一参数调整模型中插入第一分辨率更新层得到的；第一参数调整模型是采用第一源图像样本、第一模板图像样本及第一标准合成图像，对初始图像融合模型进行参数调整所得到的，第一源图像样本、第一模板图像样本及第一标准合成图像的分辨率为第一分辨率。
[0011]本申请实施例一方面提供了一种图像处理装置，该装置包括：
[0012]第一样本获取模块，用于获取第一分辨率下的第一源图像样本、第一模板图像样本及第一标准合成图像；
[0013]第一参数调整模块，用于采用第一源图像样本、第一模板图像样本及第一标准合成图像对初始图像融合模型进行参数调整，得到第一参数调整模型；
[0014]第一模型更新模块，用于在第一参数调整模型中插入第一分辨率更新层，得到第一更新模型；
[0015]第二样本获取模块，用于获取第二分辨率下的第二源图像样本及第二模板图像样本，获取第三分辨率下的第二标准合成图像；
[0016]第二参数调整模块，用于采用第二源图像样本、第二模板图像样本及第二标准合成图像对第一更新模型进行参数调整，得到第二参数调整模型；第二分辨率大于或等于第一分辨率，第三分辨率大于第一分辨率；
[0017]第二模型更新模块，用于在第二参数调整模型中插入第二分辨率更新层，得到第二更新模型；
[0018]第三样本获取模块，用于获取第四分辨率下的第三源图像样本及第三模板图像样本，获取第五分辨率下的第三标准合成图像；
[0019]第三参数调整模块，用于采用第三源图像样本、第三模板图像样本及第三标准合成图像对第二更新模型进行参数调整，得到目标图像融合模型；目标图像融合模型用于将一个图像中的对象融合进另一个图像中；第四分辨率大于或等于第三分辨率，第五分辨率大于或等于第四分辨率。
[0020]其中，该第一参数调整模块，包括：
[0021]第一预测单元，用于将第一源图像样本、第一模板图像样本输入初始图像融合模型中进行预测，得到第一分辨率下的第一预测合成图像；
[0022]第一调整单元，用于通过第一预测合成图像与第一标准合成图像，对初始图像融合模型进行参数调整，得到第一参数调整模型。
[0023]其中，该第一预测单元，包括：
[0024]特征组合子单元，用于将第一源图像样本与第一模板图像样本输入初始图像融合模型中，对第一源图像样本与第一模板图像样本进行特征组合，得到第一样本组合特征；
[0025]特征编码子单元，用于在初始图像融合模型中，对第一样本组合特征进行编码处理，得到第一样本对象更新特征；
[0026]特征识别子单元，用于识别第一源图像样本中目标对象类型所对应的第一样本对象识别特征；
[0027]图像预测子单元，用于将第一样本对象识别特征与第一样本对象更新特征进行特征融合，预测第一分辨率下的第一预测合成图像。
[0028]其中，该图像预测子单元，包括：
[0029]参数获取子单元，用于获取第一样本对象识别特征所对应的第一统计参数，获取第一样本对象更新特征所对应的第二统计参数；
[0030]特征调整子单元，用于采用第一统计参数与第二统计参数对第一样本对象更新特征进行调整，得到第一初始样本融合特征；
[0031]特征解码子单元，用于对第一初始样本融合特征进行解码处理，得到第一分辨率下的第一预测合成图像。
[0032]其中，该第一调整单元，包括：
[0033]相似获取子单元，用于获取第一预测合成图像所对应的第一预测样本融合特征，获取第一预测样本融合特征与第一样本对象识别特征之间的特征相似度；
[0034]第一损失子单元，用于根据特征相似度生成第一损失函数，基于第一损失函数对初始图像融合模型进行参数调整，得到第一参数调整模型。
[0035]其中，该第一调整单元，包括：
[0036]第二损失子单元，用于根据第一预测合成图像与第一标准合成图像之间的像素差异值，生成本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：获取第一分辨率下的第一源图像样本、第一模板图像样本及第一标准合成图像，采用所述第一源图像样本、所述第一模板图像样本及所述第一标准合成图像对初始图像融合模型进行参数调整，得到第一参数调整模型，在所述第一参数调整模型中插入第一分辨率更新层，得到第一更新模型；获取第二分辨率下的第二源图像样本及第二模板图像样本，获取第三分辨率下的第二标准合成图像，采用所述第二源图像样本、所述第二模板图像样本及所述第二标准合成图像对所述第一更新模型进行参数调整，得到第二参数调整模型；所述第二分辨率大于或等于所述第一分辨率，所述第三分辨率大于所述第一分辨率；在所述第二参数调整模型中插入第二分辨率更新层，得到第二更新模型；获取第四分辨率下的第三源图像样本及第三模板图像样本，获取第五分辨率下的第三标准合成图像，采用所述第三源图像样本、所述第三模板图像样本及所述第三标准合成图像对所述第二更新模型进行参数调整，得到目标图像融合模型；所述目标图像融合模型用于将一个图像中的对象融合进另一个图像中；所述第四分辨率大于或等于所述第三分辨率，所述第五分辨率大于或等于所述第四分辨率。2.如权利要求1所述的方法，其特征在于，所述采用所述第一源图像样本、所述第一模板图像样本及所述第一标准合成图像对初始图像融合模型进行参数调整，得到第一参数调整模型，包括：将所述第一源图像样本、所述第一模板图像样本输入初始图像融合模型中进行预测，得到所述第一分辨率下的第一预测合成图像；通过所述第一预测合成图像与所述第一标准合成图像，对所述初始图像融合模型进行参数调整，得到第一参数调整模型。3.如权利要求2所述的方法，其特征在于，所述将所述第一源图像样本、所述第一模板图像样本输入初始图像融合模型中进行预测，得到所述第一分辨率下的第一预测合成图像，包括：将所述第一源图像样本与所述第一模板图像样本输入初始图像融合模型中，对所述第一源图像样本与所述第一模板图像样本进行特征组合，得到第一样本组合特征；在所述初始图像融合模型中，对所述第一样本组合特征进行编码处理，得到第一样本对象更新特征；识别所述第一源图像样本中目标对象类型所对应的第一样本对象识别特征，将所述第一样本对象识别特征与所述第一样本对象更新特征进行特征融合，预测所述第一分辨率下的第一预测合成图像。4.如权利要求3所述的方法，其特征在于，所述将所述第一样本对象识别特征与所述第一样本对象更新特征进行特征融合，预测所述第一分辨率下的第一预测合成图像，包括：获取所述第一样本对象识别特征所对应的第一统计参数，获取所述第一样本对象更新特征所对应的第二统计参数；采用所述第一统计参数与所述第二统计参数对所述第一样本对象更新特征进行调整，得到第一初始样本融合特征；对所述第一初始样本融合特征进行解码处理，得到所述第一分辨率下的第一预测合成
图像。5.如权利要求3所述的方法，其特征在于，所述采用所述第一预测合成图像与所述第一标准合成图像对所述初始图像融合模型进行参数调整，得到第一参数调整模型，包括：获取所述第一预测合成图像所对应的第一预测样本融合特征，获取所述第一预测样本融合特征与所述第一样本对象识别特征之间的特征相似度；根据所述特征相似度生成第一损失函数，基于所述第一损失函数对所述初始图像融合模型进行参数调整，得到第一参数调整模型。6.如权利要求2所述的方法，其特征在于，所述通过所述第一预测合成图像与所述第一标准合成图像，对所述初始图像融合模型进行参数调整，得到第一参数调整模型，包括：根据所述第一预测合成图像与所述第一标准合成图像之间的像素差异值，生成第二损失函数；通过图像判别器对所述第一标准合成图像及所述第一预测合成图像进行图像判别，基于判别结果生成第三损失函数；通过所述图像判别器对所述第一预测合成图像进行图像判别，基于判别结果生成第四损失函数；采用所述第二损失函数、所述第三损失函数及所述第四损失函数，对所述初始图像融合模型进行参数调整，得到第一参数调整模型。7.如权利要求1所述的方法，其特征在于，所述获取第二分辨率下的第二源图像样本及第二模板图像样本，获取第三分辨率下的第二标准合成图像，包括：若所述第二分辨率等于所述第一分辨率，则将所述第一源图像样本确定为所述第二分辨率下的第二源图像样本，将所述第一模板图像样本确定为所述第二分辨率下的第二模板图像样本；对所述第一标准合成图像进行分辨率增强处理，得到第三分辨率下的第二标准合成图像。8.如权利要求1所述的方法，其特征在于，所述获取第二分辨率下的第二源图像样本及第二模板图像样本，获取第三分辨率下的第二标准合成图像，包括：若所述第二分辨率大于所述第一分辨率，则对所述第一源图像样本进行分辨率增强处理，得到所述第二分辨率下的第二源图像样本；对所述第一模板图像样本进行分辨率增强处理，得到所述第二分辨率下的第二模板图像样本；对所述第一标准合成图像进行分辨率增强处理，得到第三分辨率下的第二标准合成图像。9.如权利要求1所述的方法，其特征在于，所述采用所述第三源图像样本、所述第三模板图像样本及所述第三标准合成图像对所述第二更新模型进行参数调整，得到目标图像融合模型，包括：采用所述第三源图像样本、所述第三模板图像样本及所述第三标准合成图像对所述第二更新模型中的所述第二分辨率更新层进行参数调整，得到第三参数调整模型；获取所述第五分辨率下的第四源图像样本及第四模板图像样本，获取所述第四源图像样本与所述第四模板图像样本在所述第五分辨率下的第四标准合成图像，采用所述第四源
图像样本、所述第四模板图像样本及所述第四标准合成图像，对所述第三参数调整模型进行微调，得到目标图像融合模型。10.如权利要求1所述的方法，其特征在于，所述获取第一分辨率下的第一源图像样本、第一模板图像样本及第一标准合成图像，包括：获取第一源输入图像及第一模板输入图像；对所述第一源输入图像进行目标对象检测，得到所述第一源输入图像中目标对象类型所对应的目标对象区域，对所述第一源输入图像中的所述目标对象区域进行裁剪，得到第一分辨率下的第一源图像样本；对所述第一模...

【专利技术属性】
技术研发人员：贺珂珂，朱俊伟，储文青，邰颖，汪铖杰，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：