本发明专利技术一种图像超分辨率模型训练方法、装置、存储介质及设备，所述方法包括：获取超分数据集，采用所述超分数据集对超分主干网络进行训练；获取超分主干网络当前训练输出的目标超分图像，并计算目标超分图像与超分模板图像之间的损失，得到第一损失项；将目标超分图像和所述超分模板图像分别输入到预训练的语义分割网络当中，输出对应的目标分割图像和分割模板图像；计算目标分割图像和分割模板图像之间的损失，得到第二损失项；根据第一损失项和第二损失项对超分主干网络进行迭代训练。本发明专利技术通过提出了一种基于语义分割约束的超分训练方法，在保证超分指标可比的情况下，显著提升了超分图像的语义分割指标。了超分图像的语义分割指标。了超分图像的语义分割指标。
【技术实现步骤摘要】
图像超分辨率模型训练方法、装置、存储介质及设备
[0001]本专利技术属于图像超分辨率模型训练
，尤其涉及一种图像超分辨率模型训练方法、装置、存储介质及设备。
技术介绍
[0002]人们从外界接收的各种信息中80％以上是通过视觉获得的，视觉是人类最重要的获取外界信息的感知。让计算机能“理解”人类的视觉，赋予计算机处理人类视觉感知的能力，也是人与计算机之间进行协同工作的最便捷的方式之一。
[0003]图像超分辨率重构(以下简称超分)是指通过对数字图像信号的分析，采用软件算法的方式，在不提升光学成像设备的条件下，由一帧或多帧图像重建、恢复出更高分辨率图像或视频的技术。目前，图像超分技术在医学影像、监控安防、摇杆测控以及影音娱乐等领域得到了广泛应用。
[0004]然而，目前主流的图像超分只关注于人眼对图像的视觉舒适度，没有充分考虑超分图像被计算机理解的能力，而超分图像在后续计算机视觉任务中最直观的价值体现在该超分图像能为后续语义分割准确度的提升带来何种贡献，因此目前在超分辨图像的基础上再进行图像分割的性能不理想。
技术实现思路
[0005]本专利技术实施例提供一种图像超分辨率模型训练方法、装置、存储介质及设备，旨在解决目前在超分辨图像的基础上再进行图像分割的性能不理想的技术问题。
[0006]本专利技术实施例是这样实现的，一种图像超分辨率模型训练方法，所述方法包括：
[0007]获取超分数据集，采用所述超分数据集对超分主干网络进行训练；
[0008]获取所述超分主干网络当前训练输出的目标超分图像，并计算所述目标超分图像与超分模板图像之间的损失，得到第一损失项；
[0009]将所述目标超分图像和所述超分模板图像分别输入到预训练的语义分割网络当中，所述目标超分图像经过所述语义分割网络生成目标分割图像，所述超分模板图像经过所述语义分割网络生成分割模板图像；
[0010]计算所述目标分割图像和所述分割模板图像之间的损失，得到第二损失项；
[0011]根据所述第一损失项和所述第二损失项确定出所述超分主干网络的当前总损失函数，并根据所述当前总损失函数对所述超分主干网络进行迭代训练，以训练得到图像超分辨率模型。
[0012]优选地，获取所述超分主干网络当前训练输出的目标超分图像的步骤之后，还包括：
[0013]将所述目标超分图像与所述超分模板图像输入到预训练的VGG网络当中，以输出所述目标超分图像和所述超分模板图像的高维特征；
[0014]计算所述目标超分图像和所述超分模板图像的高维特征中数据分布的差异，得到
第三损失项；
[0015]其中，所述当前总损失函数还根据所述第三损失项确定得到。
[0016]优选地，将所述目标超分图像与所述超分模板图像输入到预训练的VGG网络当中，以输出所述目标超分图像和所述超分模板图像的高维特征的步骤之后，还包括：
[0017]计算所述目标超分图像和所述超分模板图像的高维特征做Gram矩阵后二者的分布差异，得到第四损失项；
[0018]其中，所述当前总损失函数还根据所述第四损失项确定得到。
[0019]优选地，所述当前总损失函数满足以下条件式：
[0020]L
total
＝α
×
L
vis
+β
×
L
feat
+γ
×
L
sem
+δ
×
L
text
[0021]式中，L
total
代表所述当前总损失函数，L
vis
代表所述第一损失项，L
sem
代表所述第二损失项，L
feat
代表所述第三损失项，L
text
代表所述第四损失项，α、β、γ和δ分别代表L
vis
、L
feat
、L
sem
和L
text
的权重。
[0022]优选地，α取值为1，β取值为10
‑3‑
10
‑1之间，γ取值为10
‑2‑
1.0之间，δ取值为10
‑6‑
10
‑4之间。
[0023]优选地，所述语义分割网络为所述超分主干网络的一支旁路。
[0024]本专利技术实施例还提供了一种图像超分辨率模型训练装置，所述装置包括：
[0025]图像训练模块，用于获取超分数据集，采用所述超分数据集对超分主干网络进行训练；
[0026]第一损失计算模块，用于获取所述超分主干网络当前训练输出的目标超分图像，并计算所述目标超分图像与超分模板图像之间的损失，得到第一损失项；
[0027]图像输入模块，用于将所述目标超分图像和所述超分模板图像分别输入到预训练的语义分割网络当中，所述目标超分图像经过所述语义分割网络生成目标分割图像，所述超分模板图像经过所述语义分割网络生成分割模板图像；
[0028]第二损失计算模块，用于计算所述目标分割图像和所述分割模板图像之间的损失，得到第二损失项；
[0029]所述图像训练模块还用于根据所述第一损失项和所述第二损失项确定出所述超分主干网络的当前总损失函数，并根据所述当前总损失函数对所述超分主干网络进行迭代训练，以训练得到图像超分辨率模型。
[0030]本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述的图像超分辨率模型训练方法。
[0031]本专利技术实施例还提供了一种图像超分辨率模型训练设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述的图像超分辨率模型训练方法。
[0032]本专利技术所达到的有益效果为：通过提出一种基于语义分割约束的图像超分辨率模型训练方法，将语义分割损失作为超分辨模型训练的约束项，从而将超分问题与分割问题作为一个整体进行考虑，训练得到的超分模型能够在保证超分指标可比的情况下，提升超分结果对语义分割的准确度，在不添加训练参数的前提下，显著提升了超分图像的语义分割指标，使得在超分辨图像的基础上再进行图像分割具有理想性能。
附图说明
[0033]图1是本专利技术实施例一当中的图像超分辨率模型训练方法的流程图；
[0034]图2
‑
图3是本专利技术实施例二当中的图像超分辨率模型训练方法的流程图；
[0035]图4为本专利技术实施例三当中的图像超分辨率模型训练装置的结构框图；
[0036]图5是本专利技术实施例四当中的图像超分辨率模型训练设备的结构框图。
具体实施方式
[0037]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0038]实施例一本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种图像超分辨率模型训练方法，其特征在于，所述方法包括：获取超分数据集，采用所述超分数据集对超分主干网络进行训练；获取所述超分主干网络当前训练输出的目标超分图像，并计算所述目标超分图像与超分模板图像之间的损失，得到第一损失项；将所述目标超分图像和所述超分模板图像分别输入到预训练的语义分割网络当中，所述目标超分图像经过所述语义分割网络生成目标分割图像，所述超分模板图像经过所述语义分割网络生成分割模板图像；计算所述目标分割图像和所述分割模板图像之间的损失，得到第二损失项；根据所述第一损失项和所述第二损失项确定出所述超分主干网络的当前总损失函数，并根据所述当前总损失函数对所述超分主干网络进行迭代训练，以训练得到图像超分辨率模型。2.如权利要求1所述的图像超分辨率模型训练方法，其特征在于，获取所述超分主干网络当前训练输出的目标超分图像的步骤之后，还包括：将所述目标超分图像与所述超分模板图像输入到预训练的VGG网络当中，以输出所述目标超分图像和所述超分模板图像的高维特征；计算所述目标超分图像和所述超分模板图像的高维特征中数据分布的差异，得到第三损失项；其中，所述当前总损失函数还根据所述第三损失项确定得到。3.如权利要求2所述的图像超分辨率模型训练方法，其特征在于，将所述目标超分图像与所述超分模板图像输入到预训练的VGG网络当中，以输出所述目标超分图像和所述超分模板图像的高维特征的步骤之后，还包括：计算所述目标超分图像和所述超分模板图像的高维特征做Gram矩阵后二者的分布差异，得到第四损失项；其中，所述当前总损失函数还根据所述第四损失项确定得到。4.如权利要求3所述的图像超分辨率模型训练方法，其特征在于，所述当前总损失函数满足以下条件式：L
total
＝α
×
L
vis
+β
×
L
feat
+γ
×
L
sem
+δ
×
L
text
式中，L
total
代表所述当前总损失函数，L
vis
代表所述第一损失项...
【专利技术属性】
技术研发人员：黄亮，石武祯，
申请(专利权)人：深圳大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。