图像处理模型的训练方法、图像处理方法及相关装置制造方法及图纸

本申请公开了一种图像处理模型的训练方法、图像处理方法及相关装置，该方法包括：获取分别表征不同图像风格的特征分布；基于特征分布对样本图像进行风格变换，得到合成图像；其中，合成图像具有与样本图像相同的图像内容，且合成图像具有与样本图像不同的图像风格；基于合成图像训练图像处理模型，并重复执行基于特征分布对样本图像进行风格变换，得到合成图像的步骤，直至图像处理模型训练收敛为止。上述方案，能够在无需大量获取多图像风格的图像数据的情况下即可训练得到泛化性能较好的图像处理模型。像处理模型。像处理模型。

【技术实现步骤摘要】
图像处理模型的训练方法、图像处理方法及相关装置


[0001]本申请涉及计算机视觉
，特别是涉及一种图像处理模型的训练方法、图像处理方法及相关装置。

技术介绍

[0002]目前，在很多特定场景下需要对多图像风格(如，色域风格、画风风格等)的图像进行处理。例如，安防领域中的违禁品识别，需要对多色域的图像进行识别，但由于市面上存在不同厂商、不同型号、不同年份的安检仪，其映射色制、透射程度以及显影风格等因素不同，导致成像的色域风格差异极大。而单一色域训练产生的模型，在不同色域上的性能参差不齐，而在不同机型的安检仪上逐一适配代价较高。因此，如何以较少代价在各种图像风格上均保持较好地处理效果是目前行业内重要的研究课题。

技术实现思路

[0003]本申请提供一种图像处理模型的训练方法、图像处理方法及相关装置。
[0004]为解决上述技术问题，本申请采用的一个技术方案是：提供一种图像处理模型的训练方法，该方法包括：获取分别表征不同图像风格的特征分布；基于特征分布对样本图像进行风格变换，得到合成图像；其中，合成图像具有与样本图像相同的图像内容，且合成图像具有与样本图像不同的图像风格；基于合成图像训练图像处理模型，并重复执行基于特征分布对样本图像进行风格变换，得到合成图像的步骤，直至图像处理模型训练收敛为止。
[0005]因此，利用表征不同图像风格的特征分布对样本图像进行风格变换，以得到具有与样本图像相同的图像内容和不同的图像风格的合成图像，并利用合成图像训练图像处理模型。故，实现了样本图像的风格变换，以使在图像处理模型训练过程中生成多图像风格的图像数据并进行图像处理模型的训练，从而使得在无需大量获取多图像风格的图像数据的情况下即可得到泛化性能较好的图像处理模型。另外，由于无需线下大量采集或者生成多图像风格的图像数据，节省了图像数据获取的代价，减少了人力资源的消耗，避免了离线生成多图像风格的图像数据的存储压力，也使得图像处理模型在较低的训练开销下即可达到充分训练的效果。
[0006]其中，基于特征分布对样本图像进行风格变换，得到合成图像，包括：对样本图像进行内容提取，得到样本图像的内容图像；基于特征分布进行特征采样，得到风格特征；基于内容图像和风格特征进行合成，得到合成图像。
[0007]因此，将进行内容提取得到的样本图像的内容图像和进行特征采样得到的风格特征进行合成，能够得到具有与样本图像相同的图像内容且具有与样本图像不同的图像风格的合成图像，即实现了对样本图像图像风格的变换，也即，实现在线式地生成了不同于样本图像的图像风格的图像数据。
[0008]其中，风格变换由风格变换模型实现，风格变换模型基于样本图像集训练得到，样本图像集内含有不同图像风格的多个样本图像，且特征分布基于样本图像集和训练收敛的
风格变换模型获取得到。
[0009]因此，可利用风格变换模型对样本图像的图像风格进行变换，实现在线式地变换样本图像的图像风格。
[0010]其中，风格变换模型的训练步骤包括：从样本图像集提取第一抽样图像和第二抽样图像；基于风格变换模型的编码网络分别对第一抽样图像、第二抽样图像进行分解，得到第一抽样图像的内容图像和风格特征，以及第二抽样图像的内容图像和风格特征；基于风格变换模型的解码网络对第一抽样图像的内容图像和风格特征进行合成，得到第一合成图像，并基于解码网络对第一抽样图像的内容图像和第二抽样图像的风格特征进行合成，得到第二合成图像；基于第一抽样图像、第二抽样图像、第一合成图像和第二合成图像进行一致性度量，得到模型损失，并基于模型损失，调整风格变换模型的网络参数。
[0011]因此，能够利用风格变换模型的编码网络对第一抽样图像和第二抽样图像进行分解，并利用风格变换模型的解码网络对内容图像和风格特征进行合成，从而得到第一合成图像和第二合成图像；并且基于第一抽样图像、第二抽样图像、第一合成图像和第二合成图像进行一致性度量，得到模型损失值，进而基于损失值调整图像处理模型的参数，从而能够训练得到图像处理模型。
[0012]其中，基于第一抽样图像、第二抽样图像、第一合成图像和第二合成图像进行一致性度量，得到模型损失，包括：基于编码网络分别对第一合成图像、第二合成图像进行分解，得到第一合成图像的内容图像和风格特征，以及第二合成图像的内容图像和风格特征；基于第一抽样图像的内容图像和第一合成图像的内容图像之间的差异、第一抽样图像的风格特征和第一合成图像的风格特征之间的差异、第一抽样图像的内容图像和第二合成图像的内容图像之间的差异，以及第二抽样图像的风格特征和第二合成图像的风格特征之间的差异中至少一者，得到模型损失。
[0013]因此，联合计算得到风格变换模型的损失，使得后续基于该模型损失调整网络参数至收敛的风格变换模型的效果更好，即使得风格变换模型的编码网络对内容图像和风格特征的分解和解码网络对内容图像和风格特征的合成的效果更好，精准性更高。
[0014]其中，获取分别表征不同图像风格的特征分布，包括：基于训练收敛的风格变换模型的编码网络分别对样本图像集内各个样本图像进行分解，得到各样本图像的风格特征；基于各样本图像的风格特征进行特征聚类，得到分别表征不同图像风格的特征分布。
[0015]因此，通过对样本图像集中的各个样本图像进行分解并通过对各样本图像的风格特征进行聚类，以得到表征不同图像风格的特征分布，实现了域适应的可扩展性。
[0016]其中，图像处理模型的训练方法还包括：响应于待扩充新的图像风格，获取具有新的图像风格的新的样本图像，并基于训练收敛的风格变换模型处理新的样本图像，得到表征新的图像风格的特征分布，以及基于表征新的图像风格的特征分布确定是否更新表征不同图像风格的特征分布；响应于更新表征不同图像风格的特征分布，重新执行基于特征分布对样本图像进行风格变换，得到合成图像的步骤，以训练得到适用于各种图像风格的图像处理模型。
[0017]因此，在遇到未适应的新的图像风格而需要扩充新的图像风格时仅需对新的图像风格分解并整合，在得到表征新的图像风格的特征分布后即可与旧的表征不同图像风格的特征分布组合并使用，扩展新的图像风格较为简单、方便。
[0018]其中，图像处理模型为目标检测模型，样本图像包含样本对象，且样本图像标注有样本对象实际所在的样本区域；或者，图像处理模型为图像分割模型，样本图像包含目标对象，且样本图像标注有样本对象实际的样本轮廓；或者，图像处理模型为图像分类模型，样本图像包含目标对象，且样本图像标注有样本对象的样本类别。
[0019]因此，通过将图像处理模型设置为目标检测模型、图像分割模型、图像分类模型中的任一者，能够基于不同种类的图像处理模型，训练得到适用于不同图像处理任务的网络模型，从而能够完成对不同域的图像的不同处理任务。
[0020]为解决上述技术问题，本申请采用的另一个技术方案是：提供一种图像处理方法，该方法包括：获取待处理图像；其中，待处理图像的图像风格为多种图像风格中任一种；基于图像处理模型对待本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理模型的训练方法，其特征在于，包括：获取分别表征不同图像风格的特征分布；基于所述特征分布对样本图像进行风格变换，得到合成图像；其中，所述合成图像具有与所述样本图像相同的图像内容，且所述合成图像具有与所述样本图像不同的图像风格；基于所述合成图像训练图像处理模型，并重复执行所述基于所述特征分布对所述样本图像进行风格变换，得到合成图像的步骤，直至所述图像处理模型训练收敛为止。2.根据权利要求1所述的方法，其特征在于，所述基于所述特征分布对所述样本图像进行风格变换，得到合成图像，包括：对所述样本图像进行内容提取，得到所述样本图像的内容图像；基于所述特征分布进行特征采样，得到风格特征；基于所述内容图像和所述风格特征进行合成，得到所述合成图像。3.根据权利要求1或2所述的方法，其特征在于，所述风格变换由风格变换模型实现，所述风格变换模型基于样本图像集训练得到，所述样本图像集内含有不同图像风格的多个样本图像，且所述特征分布基于所述样本图像集和训练收敛的所述风格变换模型获取得到。4.根据权利要求3所述的方法，其特征在于，所述风格变换模型的训练步骤包括：从所述样本图像集提取第一抽样图像和第二抽样图像；基于所述风格变换模型的编码网络分别对所述第一抽样图像、所述第二抽样图像进行分解，得到所述第一抽样图像的内容图像和风格特征，以及所述第二抽样图像的内容图像和风格特征；基于所述风格变换模型的解码网络对所述第一抽样图像的内容图像和风格特征进行合成，得到第一合成图像，并基于所述解码网络对所述第一抽样图像的内容图像和所述第二抽样图像的风格特征进行合成，得到第二合成图像；基于所述第一抽样图像、所述第二抽样图像、所述第一合成图像和所述第二合成图像进行一致性度量，得到模型损失，并基于所述模型损失，调整所述风格变换模型的网络参数。5.根据权利要求4所述的方法，其特征在于，所述基于所述第一抽样图像、所述第二抽样图像、所述第一合成图像和所述第二合成图像进行一致性度量，得到模型损失，包括：基于所述编码网络分别对所述第一合成图像、所述第二合成图像进行分解，得到所述第一合成图像的内容图像和风格特征，以及所述第二合成图像的内容图像和风格特征；基于所述第一抽样图像的内容图像和所述第一合成图像的内容图像之间的差异、所述第一抽样图像的风格特征和所述第一合成图像的风格特征之间的差异、所述第一抽样图像的内容图像和所述第二合成图像的内容图像之间的差异，以及所述第二抽样图像的风格特征和所述第二合成图像的风格特征之间的差异中至少一者，得到所述模型损失。6.根据权利要求3所述的方法，其特征在于，所述获取分别表征不同图像风格的特征分布，包括：基于训练收敛的所述风格变换模型的编码网络分别对所述样本图像集内各个样本图像进行分解，得到各所述样本图像的风...

【专利技术属性】
技术研发人员：万治河，刘浩，梁鼎，吴一超，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：