基于全局引导选择性上下文网络的场景语义解析方法技术

本申请公开了一种基于全局引导选择性上下文网络的场景语义解析方法，该网络包括主干网络、上下文选择网络和像素分类网络，其中，主干网络接收输入数据源图像并进行逐层地特征提取，并将不同层提取的初级特征图输入至上下文选择网络；上下文选择网络通过基于全局信息引导的注意力机制来得到不同像素位置处融合全局上下文和局部上下文的融合权重因子，根据权重因子对初级特征图中的每个像素实现自适应地融合全局上下文和局部上下文得到高分辨率且语义表达鲁棒的次级特征图；最后像素分类网络对次级特征图进行逐像素的分类得到准确的场景语义解析结果，提升了场景语义解析的精度。度。度。

【技术实现步骤摘要】
基于全局引导选择性上下文网络的场景语义解析方法


[0001]本申请涉及场景语义解析领域，特别涉及一种基于全局引导选择性上下文网络的场景语义解析方法。

技术介绍

[0002]场景语义解析是一个广泛应用于场景理解、自动驾驶、图像编辑等人工智能(Artificial Intelligence，AI)领域的重要技术课题，在计算机视觉领域属于场景语义分割分支，旨在将输入数据源图像中的每一个像素进行类别定义(分类)，从而对图像的不同语义区域进行分割。其作为图像语义理解中最细粒度的表达，具有广泛的应用价值。例如，在手机拍照方面，通过对拍摄场景的物体进行识别和定位，精细地分割出感兴趣的区域，然后进行后续的图像编辑与处理，从而实现不同的视觉效果。在自动驾驶领域，对于对车辆行驶场景的精细识别，实现车道线的检测并由此确定可行驶区域；通过识别交通标志和障碍物，可以辅助车辆行驶决策进行障碍物避让等等。当然还有视频分析、遥感图像分析、医学图像分析领域都有广泛的应用。
[0003]当前主要的做法是全卷积神经网络(Fully Convolutional Network本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于全局引导选择性上下文网络的场景语义解析方法，其特征在于，所述网络包括主干网络、上下文选择网络和像素分类网络，所述方法包括：所述主干网络接收输入数据源图像，对所述输入数据源图像进行逐层地特征提取得到至少一个初级特征图，并将所述至少一个初级特征图输入至所述上下文选择网络；所述上下文选择网络对所述至少一个初级特征图通过基于全局信息引导的注意力机制来得到所述至少一个初级特征图的不同像素位置处融合全局上下文和局部上下文的权重因子，并根据所述权重因子对所述至少一个初级特征图中的每个像素实现自适应地融合全局上下文和局部上下文，以得到次级特征图，并将所述次级特征图输入至所述像素分类网络；所述像素分类网络对所述次级特征图进行逐个像素的分类得到场景语义解析结果。2.根据权利要求1所述的基于全局引导选择性上下文网络的场景语义解析方法，其特征在于，所述主干网络为图像分类网络，且包括至少一个主干网络模块，所述主干网络模块用于输出初级特征图，所述上下文选择网络包括至少一个上下文选择块；所述方法还包括：所述主干网络模块对所述输入数据源图像进行逐层地特征提取得到并输出初级特征图输入至所述上下文选择块；所述上下文选择块对所述初级特征图进行所述全局上下文的选择和所述局部上下文的选择的融合得到所述次级特征图。3.根据权利要求2所述的基于全局引导选择性上下文网络的场景语义解析方法，其特征在于，所述主干网络包含n+1个不同空间分辨率的主干网络模块，所述上下文选择网络包括n个上下文选择块，n为大于等于3的正整数；所述方法还包括：第1主干网络模块根据所述输入数据源图像输出第1初级特征图，并将其输入至第2主干网络模块和第n上下文选择块；第i主干网络模块根据第i-1初级特征图输出第i初级特征图至下一级主干网络模块以及输入至对应的第n+1-i上下文选择块，2≤i≤n；第n+1主干网络模块根据第n初级特征图输出第n+1初级特征图，并将其输入至第1上下文选择块；第1上下文选择块对接收到的第n+1初级特征图和第n初级特征图进行所述全局上下文的选择和所述局部上下文的选择，输出第1选择特征图后并将其输入至第2上下文选择块；第i语上下文选择块对接收到的第i-1选择特征图和第n+1-i初级特征图进行所述全局上下文的选择和所述局部上下文的选择，输出第i选择特征图，并将其输入至下一级上下文选择块，2≤i≤n-1；第n上下文选择块对接收到的第n-1选择特征图和第1初级特征图进行所述全局上下文的选择和所述局部上下文的选择，输出第n选择特征图并将其作为所述次级特征图。4.根据权利要求3所述的基于全局引导选择性上下文网络的场景语义解析方法，其特征在于，所述上下文选择块包括基于全局信息引导的全局上下文模块、基于全局信息引导的局部上下文模块和融合模块；所述方法还包括：
所述全局上下文模块对输入至所述全局上下文模块的输入数据的所述全局上下文根据全局信息引导的注意力机制，自适应地融合到所述输入数据的不同像素处，得到具有全局上下文信息的输出数据；所述局部上下文模块对输入至所述局部上下文模块的输入数据的所述局部上下文根据全局信息引导的注意力机制，自适应地进行融合处理，得到具有局部上下文信息的输出数据；所述融合模块根据所述全局上下文模块的输出数据和所述局部上下文模块的输出数据，进行拼接融合输出选择特征图。5.根据权利要求4所述的基于全局引导选择性上下文网络的场景语义解析方法，其特征在于，第1上下文选择块中的全局上下文模块将接收到的第n+1初级特征图作为第1全局上下文模块的输入数据，并得到第1全局上下文模块的输出数据；所述第1上下文选择块中的局部上下文模块将接收到的第n+1初级特征图和第n初级特征图作为第1局部上下文模块的输入数据，并得到第1局部上下文模块的输出数据；所述第1上下文选择块中的融合模块根据所述第1全局上下文模块的输出数据和所述第1局部上下文模块的输出数据进行特征拼接融合得到并输出第1选择特征图；第i上下文选择块中的全局上下文模块将接收到的第i-1选择特征图作为第i全局上下文模块的输入数据，并得到第i全局上下文模块的输出数据；第i上下文选择块中的局部上下文模块将接收到的第i-1选择特征图和第n+1-i初级特征图作为第i局部上下文模块的输入数据，并得到第i局部上下文模块的输出数据；所述第i上下文选择块中的融合模块根据所述第i全局上下文模块的输出数据和所述第i局部上下文模块的输出数据进行特征拼接融合得到第i选择特征图；2≤i≤n-1；第n上下文选择块中的全局上下文模块将接收到的第n-1选择特征图作为第n全局上下文模块的输入数据，并得到第n全局上下文模块的输出数据；第n上下文选择块中的局部上下文模块将接收到的第n-1选择特征图和第1初级特征图作为第n局部上下文模块的输入数据，并得到局部上下文模块的输出数据；第n上下文选择块中的融合模块根据所述第n全局上下文模块的输出数据和所述第i局部上下文模块的输出数据进行特征拼接融合，得到第n选择特征图并将其作为所述次级特征图。6.根据权利要求4或5所述的基于全局引导选择性上下文网络的场景语义解析方法，其特征在于，所述全局上下文模块对输入至所述上下文选择模块中的输入数据进行基于全局信息引导的所述全局上下文的选择性融合，包括：对所述输入数据进行全局平均池化操作处理得到全局池化特征图；对所述输入数据、所述全局池化特征图进行融合得到基于全局信息引导的全局上下文注意力图；通过所述全局上下...

【专利技术属性】
技术研发人员：刘静，付君，徐溢璇，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：