一种图像转换方法、装置、存储介质和电子设备制造方法及图纸

本发明专利技术公开了一种图像转换方法、装置、存储介质和电子设备，通过获得图像生成模型基于原始图像生成的第一图像；将第一图像和预设的目标域的第二图像输入至风格判别模型中，获得第一矩阵；将第一图像和原始图像输入至内容判别模型，获得第二矩阵；根据第一矩阵，通过预设的风格损失函数确定第一图像的风格损失值；根据第二矩阵，通过预设的内容损失函数确定第一图像的内容损失值；根据内容损失值和风格损失值，调节图像生成模型的参数。本发明专利技术可以依据内容损失值和风格损失值反馈调整图像生成模型的参数，提高图像生成模型的精度，也使得图像生成模型无需经过更深层的训练和识别，提高了训练过程和图像转换的效率。

【技术实现步骤摘要】
一种图像转换方法、装置、存储介质和电子设备
本专利技术涉及图像处理领域，特别涉及一种图像转换方法、装置、存储介质和电子设备。
技术介绍
在计算机视觉中，许多任务可以被描述为图像到图像的转换，例如，黑白图像与彩色图像的互相转换、航拍图与数字地图的相互转换等。这一类转换任务具有丰富的应用场景，例如图像增强、自动驾驶等。传统的图像转换方法需要建模、添加纹理、添加光照等繁琐步骤。图像转换方法的关键在于图像的生成，由于图像数据的复杂性，生成的图像需要满足以下两点要求：与原始图像在内容上保持一致、与目标域图像在风格上保持一致。为了确保准确度，现有的深度卷积网络层次较深，导致训练过程和生成图像的效率低下。
技术实现思路
鉴于上述问题，本专利技术提供一种克服上述问题或者至少部分地解决上述问题的一种图像转换方法、装置、存储介质和电子设备。第一方面，一种图像转换方法，包括：获得图像生成模型基于原始图像生成的第一图像，其中，所述原始图像的图像风格与所述第一图像的图像风格不同；将所述第一图像和预设的第二图像输入至风格判别模型中，从而获得所述风格判别模型输出的第一矩阵，其中，所述第二图像为所述第一图像的目标图像风格的图像，所述风格判别模型是用于确定所述第一图像和所述第二图像在图像风格上的相似度的卷积神经网络模型，所述第一矩阵表征所述第一图像与所述第二图像在风格上的相似度；将所述第一图像和所述原始图像输入至内容判别模型中，从而获得所述内容判别模型输出的第二矩阵，其中，所述内容判别模型是用于确定所述第一图像和所述原始图像在图像内容上的相似度的卷积神经网络模型，所述第二矩阵表征所述第一图像与所述原始图像在内容上的相似度；通过风格损失函数对所述第一矩阵进行计算，从而获得所述第一图像的风格损失值；通过内容损失函数对所述第二矩阵进行计算，从而获得所述第一图像的内容损失值；根据所述内容损失值和所述风格损失值，调节所述图像生成模型的参数，以使得所述图像生成模型生成的第一图像在风格上与所述第二图像一致，且在内容上与所述原始图像一致。结合第一方面，在某些可选的实施方式中，所述图像转换方法还包括：根据所述风格损失值，调节所述风格判别模型的参数。结合第一方面，在某些可选的实施方式中，将所述第一图像和预设的第二图像输入至风格判别模型中，从而获得所述风格判别模型输出的第一矩阵，包括：将所述第一图像和所述预设的第二图像输入至所述风格判别模型中；所述风格判别模型分别对所述第一图像和所述第二图像进行卷积操作，从而分别得到所述第一图像的第一特征矩阵和所述第二图像的第二特征矩阵，其中，所述风格判别模型中引入激活函数和实例正则化；所述风格判别模型根据所述第一特征矩阵和所述第二特征矩阵，计算得到所述第一矩阵。结合第一方面，在某些可选的实施方式中，所述将所述第一图像和所述原始图像输入至内容判别模型中，从而获得所述内容判别模型输出的第二矩阵，包括：将所述第一图像和所述原始图像输入至内容判别模型中；所述内容判别模型对所述第一图像和所述原始图像分别进行卷积操作，从而分别得到所述第一图像的第三特征矩阵和所述原始图像的第四特征矩阵，其中，所述内容判别模型中引入激化函数；所述内容判别模型对所述第三特征矩阵和所述第四特征矩阵分别进行池化操作，从而分别得到所述第一图像的第一特征压缩矩阵和所述原始图像的第二特征压缩矩阵；所述内容判别模型根据所述第一特征压缩矩阵和所述第二特征压缩矩阵，计算得到所述第二矩阵。结合上一个实施方式，在某些可选的实施方式中，所述通过内容损失函数对所述第二矩阵进行计算，从而获得所述第一图像的内容损失值，包括：通过内容损失函数计算所述第二矩阵和所述第二特征压缩矩阵的第一方差；根据所述第一方差确定所述第一图像的内容损失值。结合第一方面，在某些可选的实施方式中，所述通过风格损失函数对所述第一矩阵进行计算，从而获得所述第一图像的风格损失值，包括：通过所述预设的风格损失函数计算所述第一矩阵与第一预设矩阵的第二方差，其中，所述第一预设矩阵的各元素均为1；通过所述预设的风格损失函数计算所述第一矩阵与第二预设矩阵的第三方差，其中，所述第二预设矩阵的各元素均为0；根据所述第二方差和所述第三方差，确定所述第一图像的风格损失值。结合第一方面，在某些可选的实施方式中，所述图像转换方法还包括：根据所述内容损失值和所述风格损失值，调节所述内容损失函数和所述风格损失函数的共有因子，以同时调节所述内容损失函数的权重和所述风格损失函数的权重。第二方面，一种图像转换装置，包括：图像获得单元、第一矩阵获得单元、第二矩阵获得单元、风格损失确定单元、内容损失确定单元和参数调整单元；所述图像获得单元，被配置为执行获得图像生成模型基于原始图像生成的第一图像，其中，所述原始图像的图像风格与所述第一图像的图像风格不同；所述第一矩阵获得单元，被配置为执行将所述第一图像和预设的第二图像输入至风格判别模型中，从而获得所述风格判别模型输出的第一矩阵，其中，所述第二图像为所述第一图像的目标图像风格的图像，所述风格判别模型是用于确定所述第一图像和所述第二图像在图像风格上的相似度的卷积神经网络模型，所述第一矩阵表征所述第一图像与所述第二图像在风格上的相似度；所述第二矩阵获得单元，被配置为执行将所述第一图像和所述原始图像输入至内容判别模型中，从而获得所述内容判别模型输出的第二矩阵，其中，所述内容判别模型是用于确定所述第一图像和所述原始图像在图像内容上的相似度的卷积神经网络模型，所述第二矩阵表征所述第一图像与所述原始图像在内容上的相似度；所述风格损失确定单元，被配置为执行通过风格损失函数对所述第一矩阵进行计算，从而获得所述第一图像的风格损失值；所述内容损失确定单元，被配置为执行通过内容损失函数对所述第二矩阵进行计算，从而获得所述第一图像的内容损失值；所述参数调整单元，被配置为执行根据所述内容损失值和所述风格损失值，调节所述图像生成模型的参数，以使得所述图像生成模型生成的第一图像在风格上与所述第二图像一致，且在内容上与所述原始图像一致。第三方面，一种存储介质，其上存储有程序，所述程序被处理器执行时实现上述任一项所述的图像转换方法。第四方面，一种电子设备，所述电子设备包括至少一个处理器、以及与所述处理器连接的至少一个存储器、总线；其中，所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行上述任一项所述的图像转换方法。借由上述技术方案，本专利技术提供的一种图像转换方法、装置、存储介质和电子设备，通过获得图像生成模型基于原始图像生成的第一图像，其中，所述原始图像的图像风格与所述第一图像的图像风格不同；将所述第一图像和预设的第二图像输入至风格判别模型中，从而获得所述风格判别模型输出的第一矩阵，其中，所述第二图像为所述第一图像的目标图像风本文档来自技高网...

【技术保护点】
1.一种图像转换方法，其特征在于，包括：/n获得图像生成模型基于原始图像生成的第一图像，其中，所述原始图像的图像风格与所述第一图像的图像风格不同；/n将所述第一图像和预设的第二图像输入至风格判别模型中，从而获得所述风格判别模型输出的第一矩阵，其中，所述第二图像为所述第一图像的目标图像风格的图像，所述风格判别模型是用于确定所述第一图像和所述第二图像在图像风格上的相似度的卷积神经网络模型，所述第一矩阵表征所述第一图像与所述第二图像在风格上的相似度；/n将所述第一图像和所述原始图像输入至内容判别模型中，从而获得所述内容判别模型输出的第二矩阵，其中，所述内容判别模型是用于确定所述第一图像和所述原始图像在图像内容上的相似度的卷积神经网络模型，所述第二矩阵表征所述第一图像与所述原始图像在内容上的相似度；/n通过风格损失函数对所述第一矩阵进行计算，从而获得所述第一图像的风格损失值；/n通过内容损失函数对所述第二矩阵进行计算，从而获得所述第一图像的内容损失值；/n根据所述内容损失值和所述风格损失值，调节所述图像生成模型的参数，以使得所述图像生成模型生成的第一图像在风格上与所述第二图像一致，且在内容上与所述原始图像一致。/n...

【技术特征摘要】
1.一种图像转换方法，其特征在于，包括：
获得图像生成模型基于原始图像生成的第一图像，其中，所述原始图像的图像风格与所述第一图像的图像风格不同；
将所述第一图像和预设的第二图像输入至风格判别模型中，从而获得所述风格判别模型输出的第一矩阵，其中，所述第二图像为所述第一图像的目标图像风格的图像，所述风格判别模型是用于确定所述第一图像和所述第二图像在图像风格上的相似度的卷积神经网络模型，所述第一矩阵表征所述第一图像与所述第二图像在风格上的相似度；
将所述第一图像和所述原始图像输入至内容判别模型中，从而获得所述内容判别模型输出的第二矩阵，其中，所述内容判别模型是用于确定所述第一图像和所述原始图像在图像内容上的相似度的卷积神经网络模型，所述第二矩阵表征所述第一图像与所述原始图像在内容上的相似度；
通过风格损失函数对所述第一矩阵进行计算，从而获得所述第一图像的风格损失值；
通过内容损失函数对所述第二矩阵进行计算，从而获得所述第一图像的内容损失值；
根据所述内容损失值和所述风格损失值，调节所述图像生成模型的参数，以使得所述图像生成模型生成的第一图像在风格上与所述第二图像一致，且在内容上与所述原始图像一致。


2.根据权利要求1所述的图像转换方法，其特征在于，所述图像转换方法还包括：
根据所述风格损失值，调节所述风格判别模型的参数。


3.根据权利要求1所述的图像转换方法，其特征在于，所述将所述第一图像和预设的第二图像输入至风格判别模型中，从而获得所述风格判别模型输出的第一矩阵，包括：
将所述第一图像和所述预设的第二图像输入至所述风格判别模型中；
所述风格判别模型分别对所述第一图像和所述第二图像进行卷积操作，从而分别得到所述第一图像的第一特征矩阵和所述第二图像的第二特征矩阵，其中，所述风格判别模型中引入激活函数和实例正则化；
所述风格判别模型根据所述第一特征矩阵和所述第二特征矩阵，计算得到所述第一矩阵。


4.根据权利要求1所述的图像转换方法，其特征在于，所述将所述第一图像和所述原始图像输入至内容判别模型中，从而获得所述内容判别模型输出的第二矩阵，包括：
将所述第一图像和所述原始图像输入至内容判别模型中；
所述内容判别模型对所述第一图像和所述原始图像分别进行卷积操作，从而分别得到所述第一图像的第三特征矩阵和所述原始图像的第四特征矩阵，其中，所述内容判别模型中引入激化函数；
所述内容判别模型对所述第三特征矩阵和所述第四特征矩阵分别进行池化操作，从而分别得到所述第一图像的第一特征压缩矩阵和所述原始图像的第二特征压缩矩阵；
所述内容判别模型根据所述第一特征压缩矩阵和所述第二特征压缩矩阵，计算得到所述第二矩阵。


5.根据权利要求4所述的图像转换方法，其特征在于，所述通过内容损失函数对所述第二矩阵进行计算，从而获得所述第一图像的内容损失值，包括：
通过内容损失函数计算所述第二矩阵和所...

【专利技术属性】
技术研发人员：朱玉婷，梁利平，
申请(专利权)人：中国科学院微电子研究所，
类型：发明
国别省市：北京;11