【技术实现步骤摘要】
本申请属于人工智能，具体涉及一种模型训练方法、图像生成方法、装置及电子设备。
技术介绍
1、目前，电子设备可以通过红外图像彩色化获取特殊环境下的图像，例如水下图像。相关技术中，电子设备可以通过深度学习模型得到红外图像对应的彩色化图像。具体地，深度学习模型一般为通过提取红外图像的局部特征，从而根据卷积模块实现红外图像的彩色化。
2、然而，由于深度学习模型只能提取红外图像的局部特征，所以基于深度学习模型的彩色化整体效果上来看，彩色化后图像的纹理信息丢失严重，图像色彩缺乏真实感。如此，电子设备得到的彩色化图像的图像质量较差。
技术实现思路
1、本申请实施例的目的是提供一种模型训练方法、图像生成方法、装置及电子设备，能够使基于红外图像得到的彩色化图像更符合人眼视觉。
2、第一方面，本申请实施例提供了一种模型训练方法，该模型训练方法包括：获取红外图像样本和红外图像样本对应的真实彩色化图像样本；将红外图像样本输入第一训练模型，输出第一彩色预测图像；基于红外图像样本、真实彩色化图像样本以及第一彩色预测图像，计算第一对抗损失函数和复合损失函数；基于第一对抗损失函数、复合损失函数对第一训练模型进行参数调整，得到第二训练模型；其中，复合损失函数包括：第二对抗损失函数、对比损失函数、感知损失函数和全变差损失函数。
3、第二方面，本申请实施例提供了一种模型构建装置，该模型构建装置包括：获取模块、预测模块、处理模块和构建模块。获取模块，用于获取红外图像样本和红外图像样本对
4、第三方面，本申请实施例提供了一种图像生成方法，该图像生成方法包括：将第一红外图像输入第二训练模型；基于第二训练模型提取第一红外图像的全局特征信息以及局部特征信息，局部特征信息包括第一红外图像中的每个像素点的特征信息；基于全局特征信息和局部特征信息进行彩色化图像预测，输出第三彩色预测图像。
5、第四方面，本申请实施例提供了一种图像生成装置，该图像生成装置包括：输入模块、提取模块和输出模块。输入模块，用于将第一红外图像输入第二训练。提取模块，用于基于第二训练模型提取第一红外图像的全局特征信息以及局部特征信息，局部特征信息包括第一红外图像中的每个像素点的特征信息。输出模块，用于基于提取模块提取的全局特征信息和局部特征信息进行彩色化图像预测，输出第三彩色化预测图像。
6、第五方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤或实现如第三方面所述的方法的步骤。
7、第六方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤或实现如第三方面所述的方法的步骤。
8、第七方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法或实现如第三方面所述的方法的步骤。
9、第八方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法或实现如第三方面所述的方法的步骤。
10、在本申请实施例中，由于通过复合损失函数对第一训练模型进行参数调整，复合损失函数中包括的对比损失函数可以在模型训练过程中让具有相同结构的相似特征块更加接近，以解决红外图像彩色化过程中图像结构错误和纹理变形的问题，复合损失函数中包括的感知损失函数可以在模型训练过程中保留彩色化图像纹理，让彩色化图形更符合人眼视觉效果，复合损失函数中包括的全变差损失函数可以在模型训练过程中减轻生成的彩色图像的噪声，使得彩色化后图像更加平滑、清晰。因此，本申请实施例得到的第二训练模型可以更好地基于红外图像生成彩色图像，使得到的彩色图像与真实彩色图像的颜色匹配度更高，符合人眼视觉效果，以及可以减少彩色化后图像的纹理信息丢失，大大提高了彩色化图像的图像质量。
本文档来自技高网...【技术保护点】
1.一种模型训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述红外图像样本、所述真实彩色化图像样本以及所述第一彩色化预测图像，计算第一对抗损失函数和复合损失函数，包括：
3.根据权利要求2所述的方法，其特征在于，所述第一训练模型包括：生成器和判别器；所述基于所述第一对抗损失函数、所述复合损失函数对所述第一训练模型进行参数调整，得到第二训练模型，包括：
4.根据权利要求2所述的方法，其特征在于，所述基于所述第一全局图像特征信息、所述第一局部图像特征信息、所述第二全局图像特征信息、所述第二局部图像特征信息、所述第三全局图像特征信息以及所述第三局部图像特征信息，计算所述第一对抗损失函数，包括：
5.根据权利要求1所述的方法，其特征在于，所述第一训练模型包括：生成器；所述生成器包括：第一卷积块、视觉Transformer编码器、特征融合模块和第二卷积块；
6.根据权利要求1所述的方法，其特征在于，所述第一训练模型包括：判别器；所述判别器包括：预处理模块、编码器、注意力模块、解码器、后处理
7.一种图像生成方法，其特征在于，应用于权利要求1-6中任一项所述的第二训练模型，所述方法包括：
8.一种模型训练装置，其特征在于，所述装置包括：获取模块、输出模块、处理模块和训练模块；
9.一种图像生成装置，其特征在于，所述装置包括：输入模块、提取模块和输出模块；
10.一种电子设备，其特征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至6中任一项所述的模型训练方法的步骤、或实现如权利要求7所述的图像生成方法的步骤。
...【技术特征摘要】
1.一种模型训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述红外图像样本、所述真实彩色化图像样本以及所述第一彩色化预测图像，计算第一对抗损失函数和复合损失函数，包括：
3.根据权利要求2所述的方法，其特征在于，所述第一训练模型包括：生成器和判别器；所述基于所述第一对抗损失函数、所述复合损失函数对所述第一训练模型进行参数调整，得到第二训练模型，包括：
4.根据权利要求2所述的方法，其特征在于，所述基于所述第一全局图像特征信息、所述第一局部图像特征信息、所述第二全局图像特征信息、所述第二局部图像特征信息、所述第三全局图像特征信息以及所述第三局部图像特征信息，计算所述第一对抗损失函数，包括：
5.根据权利要求1所述的方法，其特征在于，所述第一训练模型包括：生成器；所述生成器包括：第...
【专利技术属性】
技术研发人员：谢学永，
申请(专利权)人：维沃移动通信有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。