非严格对齐的小样本不同源图像转换方法、系统及设备技术方案

本发明专利技术属于图像转换技术领域，具体涉及了一种非严格对齐的小样本不同源图像转换方法、系统及设备，旨在解决现有深度学习的模型训练样本图像少、获取困难，导致训练好的模型性能较低的问题。本发明专利技术包括：构建图像转换模型，其生成器基于编码器、转换器和解码器构建，判别器基于卷积神经网络和激活函数构建；获取X类别和Y类别图像对，并进行图像增强；通过增强后的图像对进行图像转换模型的训练；通过训练好的图像转换模型，将获取的一个或少量X类别图像转换为Y类别图像。本发明专利技术通过非严格对齐方法构建容易获得的图像类别向不容易获得的图像的转换，有效提升不容易获得的图像的目标特征学习效果。征学习效果。征学习效果。

【技术实现步骤摘要】
非严格对齐的小样本不同源图像转换方法、系统及设备


[0001]本专利技术属于图像转换
，具体涉及了一种非严格对齐的小样本不同源图像转换方法、系统及设备。

技术介绍

[0002]近年来，大数据为驱动的深度学习技术在图像转换应用上得到快速发展，然而大多数情况下，基于深度学习的不同源图像转换方法要求大量的标注图像，同时这些标注图像需要严格对齐。在实际场景中，良好对齐的标注图像数据往往难以大量获取，如热感红外图像相对于光学图像在观测目标上具有不受天气和云层影响的优势，同时，在成像上，相对于光学图像，热感红外图像能更好表现具有金属外壳的目标，也更加有利于此类目标的检测。然而，在实际应用中，热感红外图像相对于光学图像采集费用昂贵，这类热感红外图像通常属于小样本数据。
[0003]如果将一种类别区域的光学图像，通过非严格对齐的方法转换为热感红外图像，则有利于获得相似的大量的热感红外图像，可用于训练出更好的热感红外图像目标检测模型。
[0004]因此，针对该应用背景，本领域还急需一种非严格对齐的小样本不同源图像转换方法，通过小样本的图像转换训练，将大量的容易获得的图像转换为另一种不容易获得的图像数据，以满足模型训练的需求。

技术实现思路

[0005]为了解决现有技术中的上述问题，即在一些应用中，难以大量获取某区域的精准对齐的不同类别图像，导致采用传统深度学习方法的训练样本图像少、获取困难，训练好的模型性能较低的问题，本专利技术提供了一种非严格对齐的小样本不同源图像转换方法，所述图像转换方法包括：步骤S10，获取一个或少量X类别图像；步骤S20，通过训练好的图像转换模型进行所述X类别图像的非对齐转换，获得Y类别图像；所述非对齐代表所述图像转换模型在训练阶段，图像中的场景和内容不同；其中，所述图像转换模型基于CycleGAN网络构建，所述图像转换模型包括两个呈现对偶关系的生成器和两个判别器，在所述转换器的ResNe Block模块中添加空间注意力机制，所述生成器基于编码器、转换器和解码器构建，所述判别器基于卷积神经网络和激活函数构建。
[0006]在转换模块方面，对原来CycleGAN网络结构中转换器部分的ResNe Block模块添加空间注意力机制，在判别阶段，将原CycleGAN判别阶段的循环一致损失函数的L1范式替换为区域直方图余弦度量，该方法能够实现非对齐的不同源图像的转换，同时保留更多图像自身的结构特征。
[0007]在一些优选的实施例中，所述图像转换模型，其训练方法为：
步骤B10，获取不同场景目标的X类别和Y类别图像对序列；步骤B20，进行所述X类别和Y类别图像对序列中各图像对的非严格对齐，获得第一X类别和Y类别图像对序列；步骤B30，将所述第一X类别和Y类别图像对序列中各图像的尺寸调整为设定大小，获得第二X类别和Y类别图像对序列；步骤B40，分别进行所述第二X类别和Y类别图像对序列中各图像的平移、缩放、裁剪的几何变换以及亮度调整、添加高斯噪声操作，获得增强X类别和Y类别图像对序列；步骤B50，通过所述增强X类别和Y类别图像对序列进行所述图像转换模型的迭代训练，直至所述图像转换模型的总优化损失函数值低于设定阈值或达到设定训练次数，获得训练好的图像转换模型。
[0008]在一些优选的实施例中，步骤B20中进行所述X类别和Y类别图像对序列中各图像对的非严格对齐，其方法为：以各图像对中的目标为基准，将所述X类别和Y类别图像对序列中各图像对的成像范围的偏差调整至设定阈值范围内，完成图像的非严格对齐。
[0009]在一些优选的实施例中，所述总优化损失函数，其表示为：其中，为总优化损失函数，和分别为呈现对偶关系的生成器和的损失函数，和分别为判别器和的损失函数，生成器用于将类别图像转换为类别图像，生成器用于将类别图像转换为类别图像，判别器用于判别生成器基于类别图像转换的类别图像属于类别的概率，判别器用于判别生成器基于类别图像转换的类别图像属于类别的概率，分别为总优化损失函数中损失函数的重要性权重参数。
[0010]在一些优选的实施例中，所述生成器，其损失函数表示为：其中，代表当前给定样本，代表转换的目标样本集，代表当前给定样本被判定为类图像的概率，代表生成器将当前给定样本由类图像转换为类图像，代表生成器将生成器转换的图像转换为类图像，代表预设的权重参数，代表图余弦度量函数， (.)为区域直方图分布函数，代表选定区域的像素集合。
[0011]在一些优选的实施例中，所述生成器，其损失函数表示为：
其中，代表转换后还原的样本集，代表当前给定样本被判定为类图像的概率，代表生成器将当前给定样本由类图像转换为类图像，代表生成器将生成器转换的图像转换为类图像，代表预设的权重参。
[0012]在一些优选的实施例中，所述判别器和，其损失函数和分别表示为：分别表示为：本专利技术的另一方面，提出了一种非严格对齐的小样本不同源图像转换系统，所述图像转换系统包括图像获取模块、图像转换模块、模型构建模块、图像对齐模块、图像尺寸调整模块、图像增强模块和模型训练模块；所述图像获取模块，用于获取待转换的一个或少量X类别图像；还用于获取模型训练的不同场景目标的X类别和Y类别图像对序列；所述图像转换模块，通过训练好的图像转换模型进行所述X类别图像的非对齐转换，获得Y类别图像；所述非对齐代表所述图像转换模型在训练阶段，图像中的场景和内容不同；所述模型构建模块，基于CycleGAN网络构建图像转换模型，所述图像转换模型包括两个呈现对偶关系的生成器和两个判别器，并在所述CycleGAN网络判别器对应的转换器的ResNe Block模块中添加空间注意力机制，所述生成器基于编码器、转换器和解码器构建，所述判别器基于卷积神经网络和激活函数构建；所述图像对齐模块，进行所述X类别和Y类别图像对序列中各图像对的非严格对齐，获得第一X类别和Y类别图像对序列；所述图像尺寸调整模块，将所述第一X类别和Y类别图像对序列中各图像的尺寸调整为设定大小，获得第二X类别和Y类别图像对序列；所述图像增强模块，分别进行所述第二X类别和Y类别图像对序列中各图像的平移、缩放、裁剪的几何变换以及亮度调整、添加高斯噪声操作，获得增强X类别和Y类别图像对序列；所述模型训练模块，通过所述增强X类别和Y类别图像对序列进行所述图像转换模型的迭代训练，直至所述图像转换模型的总优化损失函数值低于设定阈值或达到设定训练次数，获得训练好的图像转换模型。
[0013]本专利技术的第三方面，提出了一种电子设备，包括：至少一个处理器；以及与至少一个所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的非严格对齐的小样本不同源图像转换方法。
[0014]本专利技术的第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质
存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的非严格对齐的小样本不同源图像转换方法。
[0015]本专利技术的有益效果：（1）本专利技术非严格对齐的小样本不同本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种非严格对齐的小样本不同源图像转换方法，其特征在于，所述图像转换方法包括：步骤S10，获取一个或少量X类别图像；步骤S20，通过训练好的图像转换模型进行所述X类别图像的非对齐转换，获得Y类别图像；所述非对齐代表所述图像转换模型在训练阶段，图像中的场景和内容不同；其中，所述图像转换模型基于CycleGAN网络构建，所述图像转换模型包括两个呈现对偶关系的生成器和两个判别器，所述生成器基于编码器、转换器和解码器构建，所述判别器基于卷积神经网络和激活函数构建，在所述转换器的ResNe Block模块中添加空间注意力机制。2.根据权利要求1所述的非严格对齐的小样本不同源图像转换方法，其特征在于，所述图像转换模型，其训练方法为：步骤B10，获取不同场景目标的X类别和Y类别图像对序列；步骤B20，进行所述X类别和Y类别图像对序列中各图像对的非严格对齐，获得第一X类别和Y类别图像对序列；步骤B30，将所述第一X类别和Y类别图像对序列中各图像的尺寸调整为设定大小，获得第二X类别和Y类别图像对序列；步骤B40，分别进行所述第二X类别和Y类别图像对序列中各图像的平移、缩放、裁剪的几何变换以及亮度调整、添加高斯噪声操作，获得增强X类别和Y类别图像对序列；步骤B50，通过所述增强X类别和Y类别图像对序列进行所述图像转换模型的迭代训练，直至所述图像转换模型的总优化损失函数值低于设定阈值或达到设定训练次数，获得训练好的图像转换模型。3.根据权利要求2所述的非严格对齐的小样本不同源图像转换方法，其特征在于，步骤B20中进行所述X类别和Y类别图像对序列中各图像对的非严格对齐，其方法为：以各图像对中的目标为基准，将所述X类别和Y类别图像对序列中各图像对的成像范围的偏差调整至设定阈值范围内，完成图像的非严格对齐。4.根据权利要求2所述的非严格对齐的小样本不同源图像转换方法，其特征在于，所述总优化损失函数，其表示为：其中，为总优化损失函数，和分别为呈现对偶关系的生成器和的损失函数，和分别为判别器和的损失函数，生成器用于将类别图像转换为类别图像，生成器用于将类别图像转换为类别图像，判别器用于判别生成器基于类别图像转换的类别图像属于类别的概率，判别器用于判别生成器基于类别图像转换的类别图像属于类别的概率，分别为总优化损失函数中损失函数的重要性权重参数。
5.根据权利要求4所述的非严格对齐的小样本不同源图像转换方法，其特征在于，所述生成器，其损失函数表示为：其中，代表当前给定样本，代表转换的目标样本集，代表当前给定样本被判定为类图像的概率，代表生成器将当前给定样本由类图像转换为类图像，代表生成器将生成器转换的图像转换为类图像，代表预设的权重参数，代表图余弦度量函数， (....

【专利技术属性】
技术研发人员：杨明浩，张晓凯，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：