语义分割及网络训练方法和装置、设备、介质、程序制造方法及图纸

本公开实施例公开了一种语义分割及网络训练方法和装置、设备、介质、程序，其中方法包括：对图像进行处理，获得所述图像对应的至少一个第一图像特征，和全局语义信息；基于所述全局语义信息和所述第一图像特征，得到第二图像特征；基于所述第二图像特征，获得所述图像的语义分割结果。本公开上述实施例，获得的图像语义分割结果，能够基于全局语义信息得到图像的语义分割结果，从而有利于提高语义分割性能。

Semantic segmentation and network training method and device, equipment, medium, and program

The present disclosure embodiment discloses a semantic segmentation and network training method and device, device, medium, and program. The method includes: processing the image, obtaining at least one first image feature corresponding to the image, and global semantic information; based on the global semantic information and the first image features, To second image features; based on the second image features, the semantic segmentation result of the image is obtained. The results of the image semantic segmentation obtained by the present example can obtain the semantic segmentation results of the image based on the global semantic information, thus improving the performance of the semantic segmentation.

【技术实现步骤摘要】
语义分割及网络训练方法和装置、设备、介质、程序
本公开涉及计算机视觉技术，尤其是一种语义分割及网络训练方法和装置、设备、介质、程序。
技术介绍
场景分析(Sceneparsing)是基于语义分割，对描述场景的图像中的每一个像素赋予一个类别，并对不同的类别标注不同的颜色。场景分析是目标识别、图像检索、视频标注等的基础，在复杂场景中如果能够更好的利用场景分析对于场景理解的像素级理解非常关键，近年来已成为计算机视觉领域的研究热点。
技术实现思路
本公开实施例提供的一种语义分割技术。根据本公开实施例的一个方面，提供的一种语义分割方法，包括：对图像进行处理，得到所述图像的第一图像特征和所述图像的全局语义信息；基于所述全局语义信息和所述第一图像特征，得到第二图像特征；基于所述第二图像特征，获得所述图像的语义分割结果。在基于本专利技术上述方法的另一个实施例中，所述全局语义信息包括与至少一个语义类别对应的至少一个缩放因子向量。在基于本专利技术上述方法的另一个实施例中，所述基于所述全局语义信息和所述第一图像特征，得到第二图像特征，包括：对所述全局语义信息和所述第一图像特征进行卷积处理，得到第二图像特征。在基于本专利技术上述方法的另一个实施例中，所述对图像进行处理，得到所述图像的第一图像特征，包括：对所述图像进行卷积处理，得到所述图像的第一图像特征。在基于本专利技术上述方法的另一个实施例中，所述对图像进行处理，得到所述图像的全局语义信息，包括：基于所述第一图像特征，得到所述全局语义信息。在基于本专利技术上述方法的另一个实施例中，所述基于所述第一图像特征，得到所述全局语义信息，包括：对所述第一图像特征进行编码处理，得到所述第一图像特征的编码结果；基于所述第一图像特征的编码结果，得到所述全局语义信息。在基于本专利技术上述方法的另一个实施例中，所述对所述第一图像特征进行编码处理，得到所述第一图像特征的编码结果，包括：确定字典和所述字典对应的权重，所述字典包括至少一个字典基；基于所述字典和所述字典对应的权重，对所述第一图像特征进行编码处理，得到所述第一图像特征的编码结果。在基于本专利技术上述方法的另一个实施例中，基于所述第一图像特征的编码结果，得到所述全局语义信息，包括：对所述第一图像特征的编码结果进行全连接处理，得到图像向量；利用激活函数对图像向量进行处理，得到所述全局语义信息。在基于本专利技术上述方法的另一个实施例中，所述第一图像特征包括至少一个特征图；基于所述字典和所述字典对应的权重，对所述第一图像特征进行编码处理，得到所述第一图像特征的编码结果，包括：分别计算至少一个所述特征图中的每个特征图与所述字典的每个字典基的对应元素的差值，并基于所述差值获得编码结果。在基于本专利技术上述方法的另一个实施例中，基于所述全局语义信息和所述第一图像特征，得到第二图像特征，包括：将所述第一图像特征与所述全局语义信息中的缩放因子向量的点积结果确定为所述第二图像特征。在基于本专利技术上述方法的另一个实施例中，基于所述第二图像特征，获得所述图像的语义分割结果，包括：对所述第二图像特征执行卷积处理，得到卷积结果；对所述卷积结果进行分类处理，得到所述图像的语义分割结果。在基于本专利技术上述方法的另一个实施例中，对所述第二图像特征执行卷积处理，得到卷积结果，包括：对所述第二图像特征执行仅一次卷积处理，得到卷积结果。在基于本专利技术上述方法的另一个实施例中，所述基于所述第二图像特征，获得所述图像的语义分割结果之前，还包括：对所述第二图像特征进行放大处理，以将所述第二图像特征的维度放大至所述第一图像特征的维度；所述对所述第二图像特征执行卷积处理，得到卷积结果，包括：对放大处理后的所述第二图像特征执行卷积处理，得到卷积结果。在基于本专利技术上述方法的另一个实施例中，所述对所述卷积结果进行分类处理，得到所述图像的语义分割结果之前，还包括：对所述卷积结果进行放大处理，以将所述卷积结果的维度放大至所述第一图像特征的维度；所述对所述卷积结果进行分类处理，得到所述图像的语义分割结果，包括：对放大处理后的所述卷积结果进行分类处理，得到所述图像的语义分割结果。在基于本专利技术上述方法的另一个实施例中，所述方法通过语义分割网络实现，所述方法还包括：利用所述语义分割网络对样本图像进行处理，获得所述样本图像的第一语义分割预测结果；利用语义编码损失网络，获得所述样本图像的第二语义分割预测结果；基于所述第一预测语义分割结果、第二语义分割预测结果和所述样本图像的标注语义分割信息，训练所述语义分割网络。在基于本专利技术上述方法的另一个实施例中，利用所述语义分割网络对样本图像进行处理，获得所述样本图像的第一语义分割预测结果，包括：利用所述语义分割网络对样本图像进行处理，获得所述样本图像的样本图像特征；利用所述语义分割网络对所述样本图像特征进行处理，得到所述样本图像的第一语义分割结果；所述利用语义编码损失网络，获得所述样本图像的第二语义分割预测结果，包括：利用所述语义编码损失网络对所述样本图像特征进行编码处理，得到所述样本图像特征的编码结果；利用所述语义编码损失网络对所述样本图像特征的编码结果进行处理，得到所述样本图像的第二语义分割预测结果。在基于本专利技术上述方法的另一个实施例中，在所述语义编码损失网络中，不同的物体类别具有相同的权重。在基于本专利技术上述方法的另一个实施例中，利用所述语义编码损失网络对所述样本图像特征的编码结果进行处理，得到所述样本图像的第二语义分割预测结果，包括：利用所述语义编码损失网络中的全连接层和响应函数对所述编码结果进行处理，得到所述样本图像的第二语义分割预测结果。在基于本专利技术上述方法的另一个实施例中，所述基于所述第一预测语义分割结果、第二语义分割预测结果和所述样本图像的标注语义分割信息，训练所述语义分割网络，包括：基于所述第一预测语义分割结果和所述样本图像的标注语义分割信息得到第一差异，基于所述第二预测语义分割结果和所述样本图像的标注语义分割信息得到第二差异；根据所述第一差异和所述第二差异，调整所述语义分割网络中的参数。在基于本专利技术上述方法的另一个实施例中，根据所述第一差异和所述第二差异，调整所述语义分割网络中的参数，包括：基于所述第一差异与所述第二差异的和，得到第三差异；基于所述第三差异，调整所述语义分割网络中的参数。根据本公开实施例的另一个方面，提供的一种语义分割网络的训练方法，包括：利用语义分割网络对样本图像进行处理，获得所述样本图像的第一语义分割预测结果；利用语义编码损失网络，获得所述样本图像的第二语义分割预测结果，其中，所述语义编码损失网络包括编码层；基于所述第一语义分割预测结果、第二语义分割预测结果和所述样本图像的标注语义分割信息，训练所述语义分割网络。在基于本专利技术上述方法的另一个实施例中，所述利用语义分割网络对样本图像进行处理，获得所述样本图像的第一语义分割预测结果，包括：利用所述语义分割网络对样本图像进行处理，得到所述样本图像的样本图像特征；利用所述语义分割网络对所述样本图像进行处理，得到所述样本图像的第一语义分割结果；所述利用语义编码损失网络，获得所述样本图像的第二语义分割预测结果，包括：利用语义编码损失网络的编码层对所述样本图像特征进行编码处理，得到所述样本图像特征的编码结果；利用所述语义编码损本文档来自技高网...

【技术保护点】
1.一种语义分割方法，其特征在于，包括：对图像进行处理，得到所述图像的第一图像特征和所述图像的全局语义信息；基于所述全局语义信息和所述第一图像特征，得到第二图像特征；基于所述第二图像特征，获得所述图像的语义分割结果。

【技术特征摘要】
1.一种语义分割方法，其特征在于，包括：对图像进行处理，得到所述图像的第一图像特征和所述图像的全局语义信息；基于所述全局语义信息和所述第一图像特征，得到第二图像特征；基于所述第二图像特征，获得所述图像的语义分割结果。2.根据权利要求1所述的方法，其特征在于，所述全局语义信息包括与至少一个语义类别对应的至少一个缩放因子向量。3.根据权利要求1或2所述的方法，其特征在于，所述基于所述全局语义信息和所述第一图像特征，得到第二图像特征，包括：对所述全局语义信息和所述第一图像特征进行卷积处理，得到第二图像特征。4.一种语义分割网络的训练方法，其特征在于，包括：利用语义分割网络对样本图像进行处理，获得所述样本图像的第一语义分割预测结果；利用语义编码损失网络，获得所述样本图像的第二语义分割预测结果，其中，所述语义编码损失网络包括编码层；基于所述第一语义分割预测结果、第二语义分割预测结果和所述样本图像的标注语义分割信息，训练所述语义分割网络。5.一种语义分割装置，其特征在于，包括：第一处理单元，用于对图像进行处理，得到所述图像的第一图像特征和所述图像的全局语义信息；第二处理单元，用于基于所述全局语义信息和所述第一图像特征，得到第二图像特征；分割单元，用于基于所述第二图像特征，获得所述图像的语义分割结果。...

【专利技术属性】
技术研发人员：石建萍，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京,11