模型训练、图像处理方法、装置、计算机设备和存储介质制造方法及图纸

本申请公开了模型训练、图像处理方法、装置、计算机设备和存储介质，可获取待训练的生成对抗网络的样本图像和样本图像对应的真实语义信息；通过生成网络的特征提取模块，提取样本图像的目标特征图；通过生成网络的语义分割模块，基于目标特征图确定样本图像中各像素点的预测类别信息；通过生成对抗网络的对抗网络，确定预测语义信息为样本图像真实的语义信息的第一概率和真实语义信息为样本图像真实的语义信息的第二概率；基于第一概率和第二概率调整生成对抗网络的参数得到训练完成的生成对抗网络，生成网络的一部分损失源于对抗网络对预测语义图像的识别结果，所以可降低模型训练对人工经验的依赖，丰富模型的损失来源，有利于提升模型性能。

【技术实现步骤摘要】
模型训练、图像处理方法、装置、计算机设备和存储介质
本申请涉及计算机视觉
，具体涉及一种模型训练、图像处理方法、装置、计算机设备和存储介质。
技术介绍
目前，计算机视觉技术中有一种图像语义分割技术，可以对图像进行语义分割，得到某图像的语义图像，而相关技术中一般采用基于深度网络的语义分割模型，来获取图像的语义图像。该方案中语义分割模型的损失函数一般由人工定义，损失函数的构造形式很依赖行业的经验，模型的语义分割效果对人工构造的函数的依赖很大。
技术实现思路
本专利技术实施例提供一种模型训练、图像处理方法、装置、计算机设备和存储介质，可以基于生成对抗网络中的生成网络实现图像的语义分割，降低语义分割效果对人工构造的函数的依赖性。本专利技术实施例提供一种模型训练方法，该方法包括：获取样本图像和所述样本图像对应的真实语义信息，所述样本图像对应的真实语义信息包括所述样本图像中各像素点的真实类别信息；将所述样本图像输入到待训练的生成对抗网络中的生成网络，通过所述生成网络的特征提取模块对所述样本图像进行特征提取得到所述样本图像的目标特征图；通过所述生成网络的语义分割模块，基于所述目标特征图确定所述样本图像对应的预测语义信息，所述样本图像对应的预测语义信息包括所述样本图像中各像素点的预测类别信息；通过所述待训练的生成对抗网络中的对抗网络，基于所述样本图像的真实语义信息和预测语义信息，确定所述预测语义信息属于所述样本图像的真实的语义信息的第一概率，以及所述真实语义信息属于所述样本图像的真实的语义信息的第二概率；基于所述第一概率和第二概率调整所述生成对抗网络的参数，得到训练完成的生成对抗网络。本专利技术实施例提供一种图像处理方法，该方法包括：将目标图像输入训练完成的生成网络，其中，所述生成网络为前述示例中的模型训练方法训练得到的；基于所述生成网络的特征提取模块，对所述目标图像进行特征提取得到所述目标图像的目标特征图；通过所述生成网络的语义分割模块，基于所述目标特征图确定所述目标图像对应的预测语义信息，所述目标图像对应的预测语义信息包括所述目标图像中各像素点的预测类别信息。本专利技术实施例还提供一种模型训练装置，该装置包括：样本获取单元，用于获取样本图像和所述样本图像对应的真实语义信息，所述样本图像对应的真实语义信息包括所述样本图像中各像素点的真实类别信息；样本特征提取单元，用于将所述样本图像输入到待训练的生成对抗网络中的生成网络，通过所述生成网络的特征提取模块对所述样本图像进行特征提取得到所述样本图像的目标特征图；样本语义分割单元，用于通过所述生成网络的语义分割模块，基于所述目标特征图确定所述样本图像对应的预测语义信息，所述样本图像对应的预测语义信息包括所述样本图像中各像素点的预测类别信息；对抗网络单元，用于通过所述待训练的生成对抗网络中的对抗网络，基于所述样本图像的真实语义信息和预测语义信息，确定所述预测语义信息属于所述样本图像的真实的语义信息的第一概率，以及所述真实语义信息属于所述样本图像的真实的语义信息的第二概率；模型调整单元，用于基于所述第一概率和第二概率调整所述生成对抗网络的参数，得到训练完成的生成对抗网络。本专利技术实施例还提供一种图像处理装置，该装置包括：图像输入单元，用于将目标图像输入训练完成的生成网络，其中，所述生成网络为采用上述模型训练方法训练得到的；特征提取单元，用于基于所述生成网络的特征提取模块，对所述目标图像进行特征提取得到所述目标图像的目标特征图；语义分割单元，用于通过所述生成网络的语义分割模块，基于所述目标特征图确定所述目标图像对应的预测语义信息，所述目标图像对应的预测语义信息包括所述目标图像中各像素点的预测类别信息。在本专利技术的一些实施例中，还可以提供一种计算机设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如上所述方法的步骤。在本专利技术的一些实施例中，还可以提供一种存储介质，其上存储有计算机程序，当计算机程序在计算机上运行时，使得所述计算机执行如如上所述方法的步骤。采用本申请实施例，可以获取样本图像和样本图像对应的真实语义信息，样本图像对应的真实语义信息包括样本图像中各像素点的真实类别信息；将样本图像输入到待训练的生成对抗网络中的生成网络，通过生成网络的特征提取模块对样本图像进行特征提取得到样本图像的目标特征图；通过生成网络的语义分割模块，基于目标特征图确定样本图像对应的预测语义信息，样本图像对应的预测语义信息包括样本图像中各像素点的预测类别信息；通过待训练的生成对抗网络中的对抗网络，基于样本图像的真实语义信息和预测语义信息，确定预测语义信息为样本图像的真实的语义信息的第一概率，以及真实语义信息为样本图像的真实的语义信息的第二概率；基于第一概率和第二概率调整生成对抗网络的参数，得到训练完成的生成对抗网络，本实施例中调整生成网络参数的信息可以由对抗网络学习到的，相较于相关技术中人工根据经验制定损失函数的方式，本实施例的损失可以降低对人工经验的依赖，丰富损失来源，提升损失多样性，有利于提升模型性能。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1a是本专利技术实施例提供的图像处理系统的结构示意图；图1b是本专利技术实施例提供的图像处理的流程图；图2a是本专利技术实施例提供的模型训练方法的流程示意图；图2b是本专利技术实施例提供的某图像和该图像对应的语义图像的示意图；图2c是本专利技术实施例提供的生成网络的结构示意图；图2d是本专利技术实施例提供的对抗网络的结构示意图；图3是本专利技术实施例提供的模型训练装置的结构示意图；图4是本专利技术实施例提供的图像处理装置的结构示意图；图5是本专利技术实施例提供的计算机设备的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术实施例提供一种模型训练方法、图像处理方法、装置、计算机设备和存储介质。本专利技术实施例提供了一种图像处理系统，图像处理系统包括适用于计算机设备的图像处理装置。其中，计算机设备可以为终端或服务器等设备。终端可以为手机、平板电脑、笔记本电脑等终端设备，也可以为穿戴设备、智能电视或其他具有显示模块的智能终端。其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服本文档来自技高网...

【技术保护点】
1.一种模型训练方法，其特征在于，包括：/n获取样本图像和所述样本图像对应的真实语义信息，所述样本图像对应的真实语义信息包括所述样本图像中各像素点的真实类别信息；/n将所述样本图像输入到待训练的生成对抗网络中的生成网络，通过所述生成网络的特征提取模块对所述样本图像进行特征提取得到所述样本图像的目标特征图；/n通过所述生成网络的语义分割模块，基于所述目标特征图确定所述样本图像对应的预测语义信息，所述样本图像对应的预测语义信息包括所述样本图像中各像素点的预测类别信息；/n通过所述待训练的生成对抗网络中的对抗网络，基于所述样本图像的真实语义信息和预测语义信息，确定所述预测语义信息属于所述样本图像的真实的语义信息的第一概率，以及所述真实语义信息属于所述样本图像的真实的语义信息的第二概率；/n基于所述第一概率和第二概率调整所述生成对抗网络的参数，得到训练完成的生成对抗网络。/n

【技术特征摘要】
1.一种模型训练方法，其特征在于，包括：
获取样本图像和所述样本图像对应的真实语义信息，所述样本图像对应的真实语义信息包括所述样本图像中各像素点的真实类别信息；
将所述样本图像输入到待训练的生成对抗网络中的生成网络，通过所述生成网络的特征提取模块对所述样本图像进行特征提取得到所述样本图像的目标特征图；
通过所述生成网络的语义分割模块，基于所述目标特征图确定所述样本图像对应的预测语义信息，所述样本图像对应的预测语义信息包括所述样本图像中各像素点的预测类别信息；
通过所述待训练的生成对抗网络中的对抗网络，基于所述样本图像的真实语义信息和预测语义信息，确定所述预测语义信息属于所述样本图像的真实的语义信息的第一概率，以及所述真实语义信息属于所述样本图像的真实的语义信息的第二概率；
基于所述第一概率和第二概率调整所述生成对抗网络的参数，得到训练完成的生成对抗网络。


2.根据权利要求1所述的模型训练方法，其特征在于，所述通过所述生成网络的特征提取模块对所述样本图像进行特征提取得到所述样本图像的目标特征图，包括：
通过所述生成网络的特征提取模块，对所述样本图像进行特征提取，得到所述样本图像的多个尺度的特征图，并对所述多个尺度的特征图进行融合，得到所述样本图像的目标特征图。


3.根据权利要求2所述的模型训练方法，其特征在于，所述特征提取模块包括特征融合层以及至少两层依次连接的特征提取层；
所述通过所述生成网络的特征提取模块，对所述样本图像进行特征提取，得到所述样本图像的多个尺度的特征图，并对所述多个尺度的特征图进行融合，得到所述样本图像的目标特征图，包括：
通过依次连接的所述特征提取层对所述样本图像进行特征提取，得到不同特征提取层输出的不同尺度的特征图；
通过所述特征融合层，对所述不同尺度的特征图按照从最后一层特征提取层到最前一层特征提取层的顺序进行融合，得到所述样本图像的目标特征图。


4.根据权利要求3所述的模型训练方法，其特征在于，所述特征融合层的数量比所述特征提取层少一层；
所述通过特征融合层，对所述不同尺度的特征图按照从最后一层特征提取层到最前一层特征提取层的顺序进行融合，得到所述样本图像的目标特征图，包括：
对输入当前特征融合层的特征图进行尺度转换处理，得到转换后特征图，所述转换后特征图与未参与融合处理的特征图中由最下层特征提取层提取的特征图尺度相同；其中，若当前特征融合层为最后一层特征融合层，输入所述当前融合层的特征图为最后一层特征提取层提取的特征图；
通过所述当前特征融合层对所述转换后特征图，与所述未参与融合处理的特征图中由最下层特征提取层提取的特征图进行特征图融合，将融合后的特征图输入上一层特征融合层，其中，若所述当前特征融合层为最前一层特征融合层，所述当前特征融合层得到的融合后的特征图为目标特征图。


5.根据权利要求1-4任一项所述的模型训练方法，其特征在于，所述获取样本图像和所述样本图像对应的真实语义信息，包括：
获取待训练的生成对抗网络的原始样本图像，所述原始样本图像的标签包括：原始样本图像的原始真实语义信息，所述原始真实语义信息包括所述原始样本图像中各像素点的真实类别信息；
从原始样本图像中，截取至少一个预设尺寸的图像，将截取的图像作为所述待训练的生成对抗网络的样本图像；
基于所述样本图像在对应的原始样本图像中的位置，从所述原始样本图像的原始真实语义信息中获取所述样本图像的真实语义信息。


6.根据权利要求1-4任一项所述的模型训练方法，其特征在于，所述真实语义信息为真实语义图像，所述预测语义信息为预测语义图像；
所述通过所述待训练的生成对抗网络中的对抗网络，基于所述样本图像的真实语义信息和预测语义信息，确定所述预测语义信息属于所述样本图像的真实的语义信息的第一概率，以及所述真实语义信息属于所述样本图像的真实的语义信息的第二概率，包括：
将所述样本图像和对应的真实语义图像级联，得到级联后真实语义图像，将所述样本图像和对应的预测语义图像级联，得到级联后预测语义图像；
通过所述对抗网络的特征获取模块，从所述级联后预测语义图像中获取第一图像特征信息；
通过所述对抗网络的判别模块，基于所述第一图像特征性信息确定所述级联后预测语义图像对应的预测语义图像，属于所述样本图像真实的语义图像的第一概率；
通过所述对抗网络的特征获取模块，从所述级联后真实语义图像中获取第二图像特征信息；
通过所述对抗网络的判别模块，基于所述第二图像特征信息确定所述级联后真实语义图像对应的真实语义图像，属于所述样本图像真实的语义图像的第二概率。


7.根据权利要求1-4任一项所述的模型训练方法，其特征在于，所述基于所述第一概率和第二概率调整所述生成对抗网络的参数，得到训练完成的生成对抗网络，包括：
基于所述第一概率，确定所述生成网络的第一语义分割子损失；
基于所...

【专利技术属性】
技术研发人员：黄超，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44