语义分割网络的训练方法、训练装置、服务器和存储介质制造方法及图纸

本发明专利技术实施例涉及计算机视觉领域，公开了一种语义分割网络的训练方法、训练装置、服务器和存储介质。本发明专利技术中语义分割网络的训练方法，包括：获取真实图像以及与真实图像对应的模拟图像，模拟图像是图像生成网络根据真实图像的特征图像和第一语义分割图像确定，第一语义分割图像是第一语义分割网络根据真实图像确定，图像生成网络是根据真实训练图像的特征图像、真实训练图像的语义分割训练图像以及真实训练图像训练获得；根据真实图像和模拟图像之间的差异信息，迭代调整第一语义分割网络的网络参数，得到目标语义分割网络。本实施方式，使得语义分割网络可以准确对图像进行语义分割，提高语义分割网络的预测精度。

Training method, training device, server and storage medium of semantic segmentation network

【技术实现步骤摘要】
语义分割网络的训练方法、训练装置、服务器和存储介质
本专利技术实施例涉及计算机视觉领域，特别涉及一种语义分割网络的训练方法、训练装置、服务器和存储介质。
技术介绍
语义分割技术是对图像像素级别的理解，是在图像上对物体进行像素级的分类，即将同属于同一类物体的像素归为一类，使用指定的标签(label)进行标记。目前该技术广泛应用于医学影像分析、无人驾驶、地理信息系统、机器人等领域。在医学领域，其主要用于对肿瘤图像分割，龋齿诊断等。在无人驾驶领域，语义分割技术作为其核心技术有着重要的作用，对道路进行分割可以确定汽车行驶区域；对行人，车辆等障碍物的精确分割，从而使得机器人根据语义分割图像进行有效的规划和避障；另外，通过语义分割图像，可以获取目标物体的轮廓，从而对目标物体的行为进行预测，提升自动驾驶的安全性及可靠性。在地理信息系统领域，通过对遥感卫星图像进行分割，可有效的识别道路、河流、农田、建筑、胡波等区域。在机器人领域，其可对环境信息进行有效分割，获取障碍，物体等信息，有利于机器人的路径规划，避障、抓取等操作。专利技术人发现相关技术中至少存在如下问题：语义分割网络的训练依赖于用于训练的图像数据，训练的图像数据为带有图像标注信息的图像，训练图像数据越多，训练得到的语义分割网络的对图像的语义分割就越准确，但是目前使用的训练图像数据是由人工标注获得，而人工标注的训练图像数据非常有限，这导致根据标注图像数据训练获得的语义分割网络对图像的语义分割不准确。
技术实现思路
本专利技术实施方式的目的在于提供一种语义分割网络的训练方法、训练装置、服务器和存储介质，使得语义分割网络可以准确对图像进行语义分割，提高语义分割网络的预测精度。为解决上述技术问题，本专利技术的实施方式提供了一种语义分割网络的训练方法，包括：获取真实图像以及与真实图像对应的模拟图像，模拟图像是图像生成网络根据真实图像的特征图像和第一语义分割图像确定，第一语义分割图像是第一语义分割网络根据真实图像确定，图像生成网络是根据真实训练图像的特征图像、真实训练图像的语义分割训练图像以及真实训练图像训练获得；根据真实图像和模拟图像之间的差异信息，迭代调整第一语义分割网络的网络参数，得到目标语义分割网络。本专利技术的实施方式还提供了一种语义分割网络的训练装置，包括：包括获取模块和调整模块；获取模块，用于获取真实图像以及与真实图像对应的模拟图像，模拟图像是图像生成网络根据真实图像的特征图像和第一语义分割图像确定，第一语义分割图像是第一语义分割网络根据真实图像确定，图像生成网络是根据真实训练图像的特征图像、真实训练图像的语义分割训练图像以及真实训练图像训练获得；调整模块，用于根据真实图像和模拟图像，迭代调整第一语义分割网络的网络参数，得到目标语义分割网络。本专利技术的实施方式还提供了一种服务器，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述的语义分割网络的训练方法。本专利技术的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述的语义分割网络的训练方法。本专利技术实施方式相对于现有技术而言，模拟图像是基于真实图像的特征图像和第一语义分割图像确定，而第一语义分割图像是第一语义分割网络对真实图像进行语义分割获得，当第一语义分割网络的预测精度越高，则对应生成的第一语义分割图像就越精确，则根据第一语义分割图像和真实图像的特征图像生成的模拟图像与真实图像也越接近，差别越小，基于此原理，即可根据模拟图像和真实图像之间的差异信息，监督出该第一语义分割网络是否准确，进而不断优化该第一语义分割网络，直到得到目标语义分割网络；由于在得到精准的目标语义分割网络过程中，无需增加大量精细的人工标注的图像数据，降低训练的图像数据的成本，同时不用对大量图像数据进行训练，节约了训练精准的语义分割图像的时间，提高了训练的效率。另外，差异信息为指示真实图像与模拟图像之间的差异的第一损失函数；根据真实图像和模拟图像之间的差异信息，迭代调整第一语义分割网络的网络参数，具体包括：根据第一损失函数，确定目标损失函数；根据目标损失函数，迭代调整第一语义分割网络，直至第一语义分割网络收敛，得到目标语义分割网络。由于第一损失函数为指示真实图像与模拟图像之间的差异，通过该第一损失函数，可以快速确定出用于调整第一语义分割网络的目标损失函数。另外，根据第一损失函数，确定目标损失函数，具体包括：结合第一损失函数和第一语义分割网络的第二损失函数，得到目标损失函数。目标损失函数考虑了第一语义分割网络自身的损失函数，使得确定的目标损失函数更加准确，从而使得通过该目标损失函数可以快速调整第一语义分割网络的网络参数。另外，第一损失函数的确定过程，具体包括：提取真实图像的特征图像，以及模拟图像的特征图像；确定真实图像的特征图像和模拟图像的特征图像之间差异的特征损失函数；根据图像生成网络的第三损失函数和特征损失函数，确定第一损失函数。通过获取真实图像的特征图像和模拟图像的特征图像，可以快速确定出真实图像和模拟图像之间的差异，同时，由于图像生成网络自身也有第三损失函数，在特征损失函数中叠加第三损失函数，可以进一步提高模拟图像与真实图像之间的差异的准确度。另外，根据图像生成网络的第三损失函数和特征损失函数，确定第一损失函数，具体包括：按照第三损失函数和特征损失函数各自对应的重要度进行叠加，得到第一损失函数。根据重要度叠加第三损失函数和特征损失函数，使得确定的第一损失函数更加准确。另外，图像生成网络采用生成对抗网络的网络结构，包括生成器和N个鉴别器，每个鉴别器具有各自对应的图像尺度，N为大于1的整数；图像生成网络的第三损失函数包括最小化生成器的损失函数，以及最大化N个鉴别器所对应的损失函数之和。图像生成网络中包括N个鉴别器，且鉴别器具有各自对应的图像尺寸，减小了训练该图像生成网络的时间。另外，目标语义分割网络用于根据输入的真实图像，得到第二语义分割图像，其中，图像生成网络基于真实图像的特征图像以及第二语义分割图像确定的模拟图像与真实图像的差异最小。附图说明一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。图1是根据本专利技术第一实施方式提供的语义分割网络的训练方法的具体流程图；图2是根据本专利技术第一实施方式提供的语义分割网络的训练方法中获得模拟图像的示意图；图3是根据本专利技术第一实施方式提供的迭代调整第一语义分割网络的网络参数的一种具体实现示意图；图4是根据本专利技术第二实施方式提供的确定第一损失函数一种具体实现示意图；图5是根据本专利技术第三实施方式提供的语义分割网络的训练装置的具体结构示意图；图6是根据本专利技术第四实施方式提供的一种服务器的具体结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本专利技术各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节本文档来自技高网...

【技术保护点】
1.一种语义分割网络的训练方法，其特征在于，包括：获取真实图像以及与所述真实图像对应的模拟图像，所述模拟图像是图像生成网络根据所述真实图像的特征图像和第一语义分割图像确定，所述第一语义分割图像是第一语义分割网络根据所述真实图像确定，所述图像生成网络是根据真实训练图像的特征图像、所述真实训练图像的语义分割训练图像以及所述真实训练图像训练获得；根据所述真实图像和所述模拟图像之间的差异信息，迭代调整所述第一语义分割网络的网络参数，得到目标语义分割网络。

【技术特征摘要】
1.一种语义分割网络的训练方法，其特征在于，包括：获取真实图像以及与所述真实图像对应的模拟图像，所述模拟图像是图像生成网络根据所述真实图像的特征图像和第一语义分割图像确定，所述第一语义分割图像是第一语义分割网络根据所述真实图像确定，所述图像生成网络是根据真实训练图像的特征图像、所述真实训练图像的语义分割训练图像以及所述真实训练图像训练获得；根据所述真实图像和所述模拟图像之间的差异信息，迭代调整所述第一语义分割网络的网络参数，得到目标语义分割网络。2.根据权利要求1所述的语义分割网络的训练方法，其特征在于，所述差异信息为指示所述真实图像与所述模拟图像之间的差异的第一损失函数；所述根据所述真实图像和所述模拟图像之间的差异信息，迭代调整所述第一语义分割网络的网络参数，具体包括：根据所述第一损失函数，确定目标损失函数；根据所述目标损失函数，迭代调整所述第一语义分割网络，直至所述第一语义分割网络收敛，得到所述目标语义分割网络。3.根据权利要求2所述的语义分割网络的训练方法，其特征在于，所述根据所述第一损失函数，确定目标损失函数，具体包括：结合所述第一损失函数和所述第一语义分割网络的第二损失函数，得到目标损失函数。4.根据权利要求2或3所述的语义分割网络的训练方法，其特征在于，所述第一损失函数的确定过程，具体包括：提取所述真实图像的特征图像，以及所述模拟图像的特征图像；确定所述真实图像的特征图像和所述模拟图像的特征图像之间差异的特征损失函数；根据所述图像生成网络的第三损失函数和所述特征损失函数，确定所述第一损失函数。5.根据权利要求4所述的语义分割网络的训练方法，其特征在于，所述根据所述图像生成网络的第三损失函数和所述特征损失函数，确定所述第一损失函数，具体包括：按照第三损失函数和所述特征...

【专利技术属性】
技术研发人员：王超鹏，林义闽，廉士国，
申请(专利权)人：达闼科技北京有限公司，
类型：发明
国别省市：北京,11