语义分割模型训练方法及装置、图像语义分割方法及装置制造方法及图纸

本公开提供了一种语义分割模型训练方法、图像语义分割方法、语义分割模型训练装置、图像语义分割装置、电子设备和计算机可读存储介质，其中语义分割模型训练方法包括：获取训练集，训练集包括图像以及对应的标注信息；将图像进行特征提取，得到图像的特征数据；基于特征数据，得到第一分割框信息以及第一语义分割信息；基于特征数据、第一分割框信息以及第一语义分割信息，得到图像的第二分割框信息以及第二语义分割信息；基于第二分割框信息与标注信息、和/或基于第二语义分割信息与标注信息，确定损失值；基于损失值，调整语义分割模型的参数。语义分割模型训练方法能够方便获取训练数据，从而通过大量的、高质量的数据能够提高训练效果。

【技术实现步骤摘要】
语义分割模型训练方法及装置、图像语义分割方法及装置
本公开一般地涉及图像处理领域，具体涉及一种语义分割模型训练方法、图像语义分割方法、语义分割模型训练装置、图像语义分割装置、电子设备和计算机可读存储介质。
技术介绍
在图像处理领域中，在一些应用场景下，需要对图像中的某些图像进行目标识别、或需要对图像中存在的文本进行文本识别，或者需要对图像中的一些内容进行替换等。在很多情况下需要对图像中的一些目标内容进行语义分割，图像的语义分割是对图像在像素级别上的分类，通过语义分割模型将图像中的属于同类的目标内容分为一类，例如图像中的存在一车辆，判断属于该车辆的像素并将全部属于该车辆的像素分割出来，确定该车辆在像素级别的边界分割框。目标内容可以是特定的人物、物体或文字等，将目标内容在图像确定像素级别的边界并进行分割。而目前语义分割的准确性差，尤其在自然场景图像中，训练数据少、训练成本高，训练出的语义分割模型准确率低。
技术实现思路
为了解决现有技术中存在的上述问题，本公开的第一方面提供一种语义分割模型训练方法，其中，所述方法包括：获取训练集，其中，所述训练集包括多个图像、以及所述图像对应的标注信息，任一图像对应的标注信息包括分割框标注和/或语义分割标注；将所述图像进行特征提取，得到所述图像的特征数据；基于所述特征数据，得到第一分割框信息以及第一语义分割信息；基于所述特征数据、所述第一分割框信息以及所述第一语义分割信息，得到所述图像的第二分割框信息以及第二语义分割信息；基于所述第二分割框信息与所述标注信息、和/或基于所述第二语义分割信息与所述标注信息，确定损失值；基于所述损失值，调整所述语义分割模型的参数。在一实施例中，所述语义分割模型包括：分割框解码单元以及语义解码单元；所述基于所述特征数据，得到第一分割框信息以及第一语义分割信息，包括：基于所述特征数据，通过所述分割框解码单元进行解码，得到所述第一分割框信息；基于所述特征数据，通过所述语义解码单元进行解码，得到所述第一语义分割信息。在一实施例中，所述基于所述特征数据、所述第一分割框信息以及所述第一语义分割信息，得到所述图像的第二分割框信息以及第二语义分割信息，包括：基于所述特征数据以及所述第一语义分割信息，通过所述分割框解码单元进行解码，得到所述第二分割框信息；基于所述特征数据以及所述第一分割框信息，通过所述语义解码单元进行解码，得到所述第二语义分割信息。在一实施例中，所述语义分割模型还包括：编码单元；所述将图像进行特征提取，得到所述图像的特征数据，包括：基于所述图像，通过所述编码单元进行编码，得到所述图像的特征数据。在一实施例中，所述损失值包括第一损失值；所述基于所述第二分割框信息与所述标注信息、和/或基于所述第二语义分割信息与所述标注信息，确定损失值，包括：若所述图像对应的标注信息仅包括所述分割框标注，则基于所述分割框标注以及所述第二分割框信息，确定所述第一损失值；若所述图像对应的标注信息仅包括所述语义分割标注，则基于所述语义分割标注以及所述第二语义分割信息，确定所述第一损失值；若所述图像对应的标注信息包括所述分割框标注和所述语义分割标注，则基于所述分割框标注以及所述第二分割框信息、且基于所述语义分割标注以及所述第二语义分割信息，确定所述第一损失值。在一实施例中，所述损失值包括第二损失值；所述基于所述第二分割框信息与所述标注信息、和/或基于所述第二语义分割信息与所述标注信息，确定损失值，包括：若所述图像对应的标注信息包括所述分割框标注，则基于所述第二语义分割信息以及所述分割框标注，确定所述第二损失值；若所述图像对应的标注信息不包括所述分割框标注，则基于所述第二语义分割信息以及所述第二分割框信息，确定所述第二损失值。在一实施例中，所述损失值包括第三损失值；所述基于所述第二分割框信息与所述标注信息、和/或基于所述第二语义分割信息与所述标注信息，确定损失值，包括：基于条件随机场，确定所述第三损失值。本公开的第二方面提供一种图像语义分割方法，其中，所述方法包括：获取图像；将所述图像进行特征提取，得到所述图像的特征数据；基于所述特征数据，得到第一分割框信息；基于所述特征数据以及所述第一分割框信息，得到所述图像的第二语义分割信息。在一实施例中，所述方法应用于语义分割模型，所述语义分割模型包括：分割框解码单元以及语义解码单元；通过所述分割框解码单元，基于所述特征数据，得到第一分割框信息；通过所述语义解码单元，基于所述特征数据以及所述第一分割框信息，得到所述图像的第二语义分割信息。在一实施例中，所述语义分割模型还包括：编码单元；通过所述编码单元，将所述图像进行特征提取，得到所述图像的特征数据。在一实施例中，所述方法还包括：通过所述语义解码单元，基于所述特征数据，得到第一语义分割信息；通过所述分割框解码单元，基于所述特征数据以及所述第一语义分割信息，得到所述图像的第二分割框信息。本公开的第三方面提供一种语义分割模型训练装置，其中，所述装置包括：第一获取模块，用于获取训练集，其中，所述训练集包括多个图像、以及所述图像对应的标注信息，任一图像对应的标注信息包括分割框标注和/或语义分割标注；第一特征提取模块，用于将所述图像进行特征提取，得到所述图像的特征数据；第一语义模块，用于基于所述特征数据，得到第一分割框信息以及第一语义分割信息；第一语义模块还用于，基于所述特征数据、所述第一分割框信息以及所述第一语义分割信息，得到所述图像的第二分割框信息以及第二语义分割信息；损失确定模块，用于基于所述第二分割框信息与所述标注信息、和/或基于所述第二语义分割信息与所述标注信息，确定损失值；调整模块，用于基于所述损失值，调整所述语义分割模型的参数。本公开的第四方面提供一种图像语义分割装置，其中，所述装置包括：第二获取模块，用于获取图像；第二特征提取模块，用于将所述图像进行特征提取，得到所述图像的特征数据；第二语义模块，用于基于所述特征数据，得到第一分割框信息；所述第二语义模块还用于，基于所述特征数据以及所述第一分割框信息，得到所述图像的第二语义分割信息。本公开的第五方面提供一种电子设备，包括：存储器，用于存储指令；以及处理器，用于调用存储器存储的指令执行如第一方面的语义分割模型训练方法或如第二方面的图像语义分割方法。本公开的第六方面提供一种计算机可读存储介质，其中存储有指令，指令被处理器执行时，执行如第一方面的语义分割模型训练方法或如第二方面的图像语义分割方法。本公开提供的语义分割模型训练方法、图像语义分割方法、语义分割模型训练装置、图像语义分割装置、电子设备和计算机可读存储介质，本公开实施例用于训练语义分割模型的训练集中，图像标注可以仅包括分割框标注、或仅包括语义分割标注，也可以包括两者，从而方便的扩充训练数据，降低了训练成本，并且通过确定图像的分割框信息和语义分割信息，并基于两者得到最终的语义分割结果，充分利用了图像中的信息，分割框和语义分割的识别结果相互促进，从而保证了图像语义分割结果的准确性。<本文档来自技高网...

【技术保护点】
1.一种语义分割模型训练方法，其中，所述方法包括：/n获取训练集，其中，所述训练集包括多个图像、以及所述图像对应的标注信息，任一图像对应的标注信息包括分割框标注和/或语义分割标注；/n将所述图像进行特征提取，得到所述图像的特征数据；/n基于所述特征数据，得到第一分割框信息以及第一语义分割信息；/n基于所述特征数据、所述第一分割框信息以及所述第一语义分割信息，得到所述图像的第二分割框信息以及第二语义分割信息；/n基于所述第二分割框信息与所述标注信息、和/或基于所述第二语义分割信息与所述标注信息，确定损失值；/n基于所述损失值，调整所述语义分割模型的参数。/n

【技术特征摘要】
1.一种语义分割模型训练方法，其中，所述方法包括：
获取训练集，其中，所述训练集包括多个图像、以及所述图像对应的标注信息，任一图像对应的标注信息包括分割框标注和/或语义分割标注；
将所述图像进行特征提取，得到所述图像的特征数据；
基于所述特征数据，得到第一分割框信息以及第一语义分割信息；
基于所述特征数据、所述第一分割框信息以及所述第一语义分割信息，得到所述图像的第二分割框信息以及第二语义分割信息；
基于所述第二分割框信息与所述标注信息、和/或基于所述第二语义分割信息与所述标注信息，确定损失值；
基于所述损失值，调整所述语义分割模型的参数。


2.根据权利要求1所述的语义分割模型训练方法，其中，所述语义分割模型包括：分割框解码单元以及语义解码单元；
所述基于所述特征数据，得到第一分割框信息以及第一语义分割信息，包括：
基于所述特征数据，通过所述分割框解码单元进行解码，得到所述第一分割框信息；
基于所述特征数据，通过所述语义解码单元进行解码，得到所述第一语义分割信息。


3.根据权利要求2所述的语义分割模型训练方法，其中，所述基于所述特征数据、所述第一分割框信息以及所述第一语义分割信息，得到所述图像的第二分割框信息以及第二语义分割信息，包括：
基于所述特征数据以及所述第一语义分割信息，通过所述分割框解码单元进行解码，得到所述第二分割框信息；
基于所述特征数据以及所述第一分割框信息，通过所述语义解码单元进行解码，得到所述第二语义分割信息。


4.根据权利要求1所述的语义分割模型训练方法，其中，所述语义分割模型还包括：编码单元；
所述将所述图像进行特征提取，得到所述图像的特征数据，包括：
基于所述图像，通过所述编码单元进行编码，得到所述图像的特征数据。


5.根据权利要求1-4任一项所述的语义分割模型训练方法，其中，所述损失值包括第一损失值；
所述基于所述第二分割框信息与所述标注信息、和/或基于所述第二语义分割信息与所述标注信息，确定损失值，包括：
若所述图像对应的标注信息仅包括所述分割框标注，则基于所述分割框标注以及所述第二分割框信息，确定所述第一损失值；
若所述图像对应的标注信息仅包括所述语义分割标注，则基于所述语义分割标注以及所述第二语义分割信息，确定所述第一损失值；
若所述图像对应的标注信息包括所述分割框标注和所述语义分割标注，则基于所述分割框标注以及所述第二分割框信息、且基于所述语义分割标注以及所述第二语义分割信息，确定所述第一损失值。


6.根据权利要求5所述的语义分割模型训练方法，其中，所述损失值包括第二损失值；
所述基于所述第二分割框信息与所述标注信息、和/或基于所述第二语义分割信息与所述标注信息，确定损失值，包括：
若所述图像对应的标注信息包括所述分割框标注，则基于所述第二语义分割信息以及所述分割框标注，确定所述第二损失值；
若所述图像对应的标注信息不包括所述分割框标注，则基于所述第二语义分割信息以及所述第二分割框信息，确定所述第二损失值。


7.根据权利要求5所述的...

【专利技术属性】
技术研发人员：赵姗，王氚，刘帅成，
申请(专利权)人：北京迈格威科技有限公司，成都旷视金智科技有限公司，
类型：发明
国别省市：北京;11