神经网络的训练方法、图像分割方法、装置、设备及介质制造方法及图纸

本申请的实施方式，公开了一种神经网络的训练方法、图像分割方法、装置、电子设备、计算机可读存储介质以及计算机程序，其中的神经网络的训练方法主要包括：经待训练的神经网络的编码器提取输入的具有标注信息的源域图像的特征信息；经所述神经网络的图像分割器根据所述特征信息对所述源域图像进行图像分割处理，输出图像分割预测结果；根据所述图像分割预测结果中与所述标注信息中的像素类别对应的概率值确定所述图像分割预测结果的损失、并根据所述图像分割预测结果的损失，调整所述神经网络的网络参数。

【技术实现步骤摘要】
神经网络的训练方法、图像分割方法、装置、设备及介质
本申请涉及计算机视觉技术，尤其是涉及一种神经网络的训练方法、神经网络的训练装置、图像分割方法、图像分割装置、电子设备、计算机可读存储介质以及计算机程序。
技术介绍
图像分割是图像识别等计算机视觉任务中的一个非常重要的技术，通常属于像素级别的计算机视觉任务，例如，图像分割会对图像中的像素进行分类等。图像分割的准确性会对计算机视觉任务的结果产生较大影响。
技术实现思路
本申请实施方式提供一种训练神经网络以及图像分割的技术方案。根据本申请实施方式的其中一方面，提供一种神经网络的训练方法，该方法包括：经待训练的神经网络的编码器提取输入的具有标注信息的源域图像的特征信息；经所述神经网络的图像分割器根据所述特征信息对所述源域图像进行图像分割处理，输出图像分割预测结果；根据所述图像分割预测结果中与所述标注信息中的像素类别对应的概率值确定所述图像分割预测结果的损失、并根据所述图像分割预测结果的损失调整所述神经网络的网络参数。在本申请一实施方式中，所述根据所述图像分割预测结果中与所述标注信息中的像素类别对应的概率值确定所述图像分割预测结果的损失、并根据所述图像分割预测结果的损失调整所述神经网络的网络参数包括：在所述图像分割预测结果中与所述标注信息中的像素类别对应的概率值大于预设阈值的情况下，确定所述损失为第一损失，并基于所述第一损失产生所述神经网络反向传播，以使所述神经网络的网络参数按照损失梯度上升的方式更新。在本申请又一实施方式中，所述根据所述图像分割预测结果中与所述标注信息中的像素类别对应的概率值确定所述图像分割预测结果的损失、并根据所述图像分割预测结果的损失调整所述神经网络的网络参数包括：在所述图像分割预测结果中与所述标注信息中的像素类别对应的概率值小于或等于预设阈值的情况下，确定所述损失为第二损失，并基于所述第二损失产生所述神经网络反向传播，以使所述神经网络的网络参数按照损失梯度下降的方式更新。在本申请再一实施方式中，对所述神经网络的网络参数进行多次所述调整，以使调整后的所述神经网络的输出结果中，在预定范围内的与所述标注信息中的像素类别对应的概率值的图像分割预测结果的损失等于或接近0，所述预定范围包括：大于等于第一概率值且小于等于第二概率值之间的概率值范围。在本申请再一实施方式中，所述第一概率值大于等于0.1，所述第二概率值小于等于0.6。在本申请再一实施方式中，调整后的所述神经网络的输出结果中，在预定范围内的与所述标注信息中的像素类别对应的概率值的图像分割预测结果的损失的绝对值，小于在预定范围外的与所述标注信息中的像素类别对应的概率值的图像分割预测结果的损失的绝对值。在本申请再一实施方式中，所述方法还包括：经第一生成器根据所述源域图像的特征信息生成源域生成图像；经第一判别器对所述源域生成图像进行判别，获得第一判别结果；根据所述第一判别结果确定第一判别损失；所述根据所述图像分割预测结果的损失调整所述神经网络的网络参数，包括：根据所述第一判别损失和所述图像分割预测结果的损失，调整所述神经网络的网络参数。在本申请再一实施方式中，所述根据所述第一判别损失和所述图像分割预测结果的损失，调整所述神经网络的网络参数，包括：在保持第一生成器和第一判别器的网络参数不变的情况下，根据所述第一判别损失和所述图像分割预测结果的损失，调整所述神经网络的编码器的网络参数。在本申请再一实施方式中，所述方法还包括：经第一生成器根据所述源域图像的特征信息生成源域生成图像；经第一判别器对所述源域生成图像进行判别，获得第一判别结果；根据所述第一判别结果确定第一判别损失；经待训练的神经网络的编码器提取输入的目标域图像的特征信息；经第二生成器根据所述目标域图像的特征信息生成目标域生成图像；经第二判别器对所述目标域生成图像进行判别，获得第二判别结果；根据所述第二判别结果确定第二判别损失；所述根据所述图像分割预测结果的损失调整所述神经网络的网络参数，包括：根据所述第一判别损失、第二判别损失和所述图像分割预测结果的损失，调整所述神经网络的网络参数。在本申请再一实施方式中，所述根据所述第一判别损失、第二判别损失和所述图像分割预测结果的损失，调整所述神经网络的网络参数，包括：在保持第一生成器、第二生成器、第一判别器和第二判别器的网络参数不变的情况下，根据所述第一判别损失、所述第二判别损失和所述图像分割预测结果的损失，调整所述神经网络的编码器的网络参数。在本申请再一实施方式中，所述根据所述第一判别损失、第二判别损失和所述图像分割预测结果的损失，调整所述神经网络的网络参数包括：计算所述图像分割预测结果中多个像素的损失的均值，根据所述均值、所述第一判别损失和第二判别损失之和，调整所述神经网络的网络参数。在本申请再一实施方式中，所述第一判别器和第二判别器的网络参数不共享，所述第一生成器和第二生成器的网络参数共享。在本申请再一实施方式中，所述训练方法之前，还包括：在保持编码器、第一生成器和第二生成器的网络参数不变的情况下，根据第一判别损失和第二判别损失，调整所述第一判别器和第二判别器的网络参数。在本申请再一实施方式中，在保持编码器、第一生成器和第二生成器的网络参数不变的情况下，根据第一判别损失和第二判别损失，调整所述第一判别器和第二判别器的网络参数，之前，所述方法还包括：在对第一判别器和第二判别器成功训练后，在保持编码器、第一判别器和第二判别器的网络参数不变的情况下，根据目标域生成图像与目标域图像之间的差异、以及源域生成图像与源域图像之间的差异，调整对第一生成器和第二生成器的网络参数。根据本申请实施方式其中另一方面，提供一种图像分割方法，所述方法包括：经神经网络的编码器提取输入的待处理目标域图像的特征信息；经所述神经网络的图像分割器根据所述待处理目标域图像的特征信息对所述待处理目标域图像进行分割处理，输出图像分割预测结果；其中，所述神经网络是，利用源域图像，根据上述的神经网络的训练方法，训练而成的。在本申请一实施方式中，所述目标域图像包括：真实域图像；和/或，所述源域图像包括：生成域图像。根据本申请实施方式的其中再一方面，提供一种神经网络的训练装置，所述装置包括：编码器，用于提取输入的具有标注信息的源域图像的特征信息；图像分割器，用于根据所述特征信息对所述源域图像进行图像分割处理，输出图像分割预测结果；网络参数调整模块，用于根据所述图像分割预测结果中与所述标注信息中的像素类别对应的概率值确定所述图像分割预测结果的损失、并根据所述图像分割预测结果的损失调整所述神经网络的网络参数。在本申请一实施方式中，所述网络参数调整模块进一步用于：在所述图像分割预测结果中与所述标注信息中的像素类别对应的概率值大于预设阈值的情况下，确定所述损失为第一损失，并基于所述第一损失产生所述神经网络反向传播，以使所述神经网络的网络参数按照损失梯度上升的方式更新。在本申请又一实施方式中，所述网络参数调整模块进一步用于：在所述图像分割预测结果中与所述标注信息中的像素类别对应的概率值小于或等于预设阈值的情况下，确定所述损失为第二损失，并基于所述第二损失产生所述神经网络反向传播，以使所述神经网络的网络参数按照损失梯度下降的方式更新。在本申请再一实本文档来自技高网...

【技术保护点】
1.一种神经网络的训练方法，其特征在于，所述训练方法包括：经待训练的神经网络的编码器提取输入的具有标注信息的源域图像的特征信息；经所述神经网络的图像分割器根据所述特征信息对所述源域图像进行图像分割处理，输出图像分割预测结果；根据所述图像分割预测结果中与所述标注信息中的像素类别对应的概率值确定所述图像分割预测结果的损失、并根据所述图像分割预测结果的损失调整所述神经网络的网络参数。

【技术特征摘要】
1.一种神经网络的训练方法，其特征在于，所述训练方法包括：经待训练的神经网络的编码器提取输入的具有标注信息的源域图像的特征信息；经所述神经网络的图像分割器根据所述特征信息对所述源域图像进行图像分割处理，输出图像分割预测结果；根据所述图像分割预测结果中与所述标注信息中的像素类别对应的概率值确定所述图像分割预测结果的损失、并根据所述图像分割预测结果的损失调整所述神经网络的网络参数。2.根据权利要求1所述的方法，其特征在于，所述根据所述图像分割预测结果中与所述标注信息中的像素类别对应的概率值确定所述图像分割预测结果的损失、并根据所述图像分割预测结果的损失调整所述神经网络的网络参数包括：在所述图像分割预测结果中与所述标注信息中的像素类别对应的概率值大于预设阈值的情况下，确定所述损失为第一损失，并基于所述第一损失产生所述神经网络反向传播，以使所述神经网络的网络参数按照损失梯度上升的方式更新。3.根据权利要求1或2所述的方法，其特征在于，所述根据所述图像分割预测结果中与所述标注信息中的像素类别对应的概率值确定所述图像分割预测结果的损失、并根据所述图像分割预测结果的损失调整所述神经网络的网络参数包括：在所述图像分割预测结果中与所述标注信息中的像素类别对应的概率值小于或等于预设阈值的情况下，确定所述损失为第二损失，并基于所述第二损失产生所述神经网络反向传播，以使所述神经网络的网络参数按照损失梯度下降的方式更新。4.根据权利要求1-3任一所述的方法，其特征在于，对所述神经网络的网络参数进行多次所述调整，以使调整后的所述神经网络的输出结果中，在预定范围内的与所述标注信息中的像素类别对应的概率值的图像分割预测结果的损失等于或接近0，所述预定范围包括：大于等于第...

【专利技术属性】
技术研发人员：祝新革，周辉，杨策元，石建萍，林达华，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京,11