图像语义分割网络的训练方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种图像语义分割网络的训练方法、装置、设备及存储介质，涉及图像语义分割领域。该方法包括：根据训练图像集训练第一图像语义分割网络，训练图像集中的训练图像包含标注信息；通过掩膜网络对第一图像语义分割网络的网络权重进行掩膜处理，得到第二图像语义分割网络，掩膜网络用于筛选第一图像语义分割网络中对图像的特征分布不敏感的网络权重；根据训练图像集和测试图像集，对第二图像语义分割网络进行训练，训练图像集与测试图像集的分布不同。本申请实施例中，由于掩膜网络能够过滤对特征分布敏感的网络权重，因此经过网络权重筛选的第二图像语义分割网络对测试图像集也具有更好的泛化性，从而提高对测试图像集的测试准确性。

Training Method, Device, Equipment and Storage Medium of Image Semantic Segmentation Network

【技术实现步骤摘要】
图像语义分割网络的训练方法、装置、设备及存储介质
本申请实施例涉及图像语义分割领域，特别涉及一种图像语义分割网络的训练方法、装置、设备及存储介质。
技术介绍
图像语义分割是一种区分图像中包含的不同对象，并识别各个对象所属类别的技术。在人工智能领域，图像语义分割网络通常基于卷积神经网络训练得到。相关技术中，基于卷积神经网络构建出初始图像语义分割网络后，首先利用训练图像集对初始图像语义分割网络进行训练，并在网络训练完成后，利用测试图像集对训练得到的图像语义分割网络进行测试，从而确定图像语义分割网络的图像语义分割效果。其中，训练图像集中的每张训练图像均包含标注信息，而测试图像集中的测试图像则不包含标注信息，该标注信息指图像中像素点所属对象的类别。然而，采用上述方法训练出的图像语义分割网络对图像的特征分布敏感，当训练图像集与测试图像集的分布不一致时，利用图像语义分割网络对测试图像集进行测试后得到的测试结果的准确度较低。
技术实现思路
本申请实施例提供了一种图像语义分割网络的训练方法、装置、设备及存储介质，可以解决当训练图像集与测试图像集的分布不同时，利用测试图像集对图像语义分割网络进行测试所得到的测试结果的准确度较低的问题。所述技术方案如下：一方面，本申请实施例提供了一种图像语义分割网络的训练方法，所述方法包括：根据训练图像集训练第一图像语义分割网络，所述训练图像集中的训练图像包含标注信息；通过掩膜网络对所述第一图像语义分割网络的网络权重进行掩膜处理，得到第二图像语义分割网络，所述掩膜网络用于筛选所述第一图像语义分割网络中对图像的特征分布不敏感的网络权重；根据所述训练图像集和所述测试图像集，对所述第二图像语义分割网络进行训练，所述测试图像集中的测试图像不包含所述标注信息，且所述训练图像集与所述测试图像集的分布不同。另一方面，本申请实施例提供了一种图像语义分割方法，所述方法用于配置有目标图像语义分割网络的计算机设备，所述目标图像语义分割网络采用如上述方面所述的方法训练得到，所述方法包括：获取测试图像集中的测试图像；将所述测试图像输入所述目标图像语义分割网络，并获取所述目标图像语义分割网络输出的目标图像语义分割结果，所述目标图像语义分析结果包括所述测试图像中各个像素点所属对象对应的类别；根据所述目标图像语义分割结果显示所述测试图像对应的分割图像，所述分割图像中标注有不同类别的对象。另一方面，本申请实施例提供了一种图像语义分割网络的训练装置，所述装置包括：第一训练模块，用于根据训练图像集训练第一图像语义分割网络，所述训练图像集中的训练图像包含标注信息；掩膜模块，用于通过掩膜网络对所述第一图像语义分割网络的网络权重进行掩膜处理，得到第二图像语义分割网络，所述掩膜网络用于筛选所述第一图像语义分割网络中对图像的特征分布不敏感的网络权重；第二训练模块，用于根据所述训练图像集和所述测试图像集，对所述第二图像语义分割网络进行训练，所述测试图像集中的测试图像不包含所述标注信息，且所述训练图像集与所述测试图像集的分布不同。另一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述方面所述的图像语义分割网络的训练方法，或者，实现上述方面所述图像语义分割方法。另一方面，提供了一种计算机可读存储介质，所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述方面所述的图像语义分割网络的训练方法，或者，实现上述方面所述图像语义分割方法。另一方面，提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得计算机执行如上述方面所述的图像语义分割网络的训练方法，或者，实现上述方面所述图像语义分割方法。本申请实施例提供的技术方案带来的有益效果至少包括:基于训练图像集训练得到第一图像语义分割网络后，通过掩膜网络对第一图像语义分割网络进行网络权重筛选，筛选出对特征分布不敏感的网络权重，得到相应的第二图像语义分割网络，进而利用测试图像集和训练图像集对第二图像语义分割网络进行训练；由于掩膜网络能够过滤对特征分布敏感的网络权重，因此即便在训练图像集与测试图像集分布不同的情况下，经过网络权重筛选的第二图像语义分割网络对测试图像集也具有更好的泛化性，从而提高对测试图像集的测试准确性。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本申请一个示例性实施例提供的实施环境的示意图；图2示出了本申请一个示例性实施例提供的图像语义分割网络的训练方法的流程图；图3是图2所示图像语义分割网络的训练方法的原理示意图；图4示出了本申请另一个示例性实施例提供的图像语义分割网络的训练方法的流程图；图5是利用实数掩膜对第一权重阵列进行掩膜处理的原理示意图；图6示出了本申请另一个示例性实施例提供的图像语义分割网络的训练方法的流程图；图7是判别器根据图像特征对图像所属图像集进行区分的原理示意图；图8是对第一权重阵列进行掩膜处理并增加扰动的原理示意图；图9是对测试图像进行语义分割后所得到的语义分割效果的对比图；图10是本申请一个示例性实施例提供的图像语义分割网络的训练装置的结构框图；图11示出了本申请一个示例性实施例提供的计算机设备的结构示意图。具体实施方式为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。为了便于理解，下面对本申请实施例中涉及的一些名词进行简单介绍。网络权重：在卷积神经网络中，卷积核的每个单元都对应各自的网络权重，该网络权重通过网络训练得到。以3×3的卷积核为例，该卷积核内包含9个单元，相应的，该卷积核内有9个网络权重。利用卷积核对图像中的像素进行卷积处理(即利用卷积核对图像进行特征提取)时，即将像素值与卷积核中对应的网络权重相乘后，将各个乘积相加后输出。掩膜：本申请实施例中的掩膜用于对卷积核的网络权重进行筛选。其中，利用掩膜对卷积核进行掩膜处理时，对图像特征分布不敏感的网络权重的通过率高于对图像特征分布敏感的网络权重的通过率，从而达到筛选出对图像特征分布不敏感的网络权重的效果。可选的，该掩膜可以是实数掩膜或者二值化掩膜，其中，二值化掩膜是对实数掩膜进行二值化处理后得到。判别器：一种用于判别特征所属分布域的机器学习模型。本申请实施例中的判别器用于判别图像语义分割模型输出的图像特征所属的分布域(训练图像集或测试图像集)。在图像语义分割领域，利用训练图像集进行网络训练，然后利用测试图像集对训练得到的网络进行测试是一种常规方式。相关技术中，利用包含标注信息的训练图像集训练图像语义分割网络后，得到图像语义分割网络的(卷积核的)网络权重符合训练图像集中的训练图像的特征分布，因此，当测试图像集中的测试图像的特征分布与训练图像的特征分布不一致时，图像语义分割网络对本文档来自技高网...

【技术保护点】
1.一种图像语义分割网络的训练方法，其特征在于，所述方法包括：根据训练图像集训练第一图像语义分割网络，所述训练图像集中的训练图像包含标注信息；通过掩膜网络对所述第一图像语义分割网络的网络权重进行掩膜处理，得到第二图像语义分割网络，所述掩膜网络用于筛选所述第一图像语义分割网络中对图像的特征分布不敏感的网络权重；根据所述训练图像集和所述测试图像集，对所述第二图像语义分割网络进行训练，所述测试图像集中的测试图像不包含所述标注信息，且所述训练图像集与所述测试图像集的分布不同。

【技术特征摘要】
1.一种图像语义分割网络的训练方法，其特征在于，所述方法包括：根据训练图像集训练第一图像语义分割网络，所述训练图像集中的训练图像包含标注信息；通过掩膜网络对所述第一图像语义分割网络的网络权重进行掩膜处理，得到第二图像语义分割网络，所述掩膜网络用于筛选所述第一图像语义分割网络中对图像的特征分布不敏感的网络权重；根据所述训练图像集和所述测试图像集，对所述第二图像语义分割网络进行训练，所述测试图像集中的测试图像不包含所述标注信息，且所述训练图像集与所述测试图像集的分布不同。2.根据权利要求1所述的方法，其特征在于，所述掩膜网络与所述第一图像语义分割网络的网络结构相同，且所述掩膜网络与所述第一图像语义分割网络中网络权重的数量相同；所述通过掩膜网络对所述第一图像语义分割网络的网络权重进行掩膜处理，得到第二图像语义分割网络，包括：获取所述第一图像语义分割网络对应的第一权重阵列，所述第一权重阵列包括所述第一图像语义分割网络中各个卷积核对应的网络权重；通过所述掩膜网络对应的实数掩膜对所述第一权重阵列进行掩膜处理，得到第二权重阵列，所述实数掩膜包括所述掩膜网络中各个卷积核对应的网络权重；根据所述第二权重阵列生成所述第二图像语义分割网络。3.根据权利要求2所述的方法，其特征在于，所述通过所述掩膜网络对应的实数掩膜对所述第一权重阵列进行掩膜处理，得到第二权重阵列，包括：通过阈值函数对所述实数掩膜进行二值化处理，生成二值化掩膜，所述二值化掩膜是由0和1构成的阵列，且所述二值化掩膜的尺寸与所述第一权重阵列的尺寸相同；将所述第一权重阵列与所述二值化掩膜点对点相乘，得到所述第二权重阵列。4.根据权利要求3所述的方法，其特征在于，所述通过阈值函数对所述实数掩膜进行二值化处理，生成二值化掩膜之后，还包括：将所述第一权重阵列与所述二值化掩膜点对点相乘，得到中间权重阵列；根据所述中间权重阵列和扰动阵列生成所述第二权重阵列，所述扰动阵列用于为所述中间权重阵列中的网络权重增加扰动。5.根据权利要求2至4任一所述的方法，其特征在于，所述根据所述第二权重阵列生成所述第二图像语义分割网络，包括：根据所述第二权重阵列，对所述第一图像语义分割网络中各个卷积核进行网络权重更新；将网络权重更新后的所述第一图像语义分割网络确定为所述第二图像语义分割网络。6.根据权利要求1至4任一所述的方法，其特征在于，所述根据所述训练图像集和所述测试图像集，对所述第二图像语义分割网络进行训练，包括：根据所述训练图像集计算所述第二图像语义分割网络的分割损失；根据所述训练图像集和所述测试图像集计算判别器的判别器损失，所述判别器用于根据图像特征确定图像所属的图像集；根据所述分割损失和所述判别器损失对抗训练所述第二图像语义分割网络和所述判别器。7.根据权利要求6所述的方法，其特征在于，所述根据所述训练图像集和所述测试图像集计算判别器的判别器损失，包括：将目标图像输入所述第二图像语义分割网络，得到目标图像特征，所述目标图像属于所述训练图像集或所述测试图像集；将所述目标图像特征输入所述判别器，得到判别结果；根据所述目标图像所属的图像集和所述判别结果，计算所述判别器损失。8.根据权利要求1至4任一所述的方法，其特征在于，所述方法用于辅助驾驶领域时，所述训练图像集与所述测试图像集的分布不同包括所属城市不同、所属季节不同、所属时段不同中的至少一种；或，所述方法用于人脸识别领域时，所述训...

【专利技术属性】
技术研发人员：揭泽群，刘威，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44