图像语义分割方法、装置、计算机可读存储介质和芯片制造方法及图纸

本申请提供了图像语义分割方法、计算机可读存储介质和芯片。涉及人工智能领域，具体涉及计算机视觉领域。该方法包括：对待处理图像进行卷积处理，得到待处理图像的初始特征图；对初始特征图进行多尺度特征提取，确定第一特征图，其中，第一特征图包括初始特征图的多尺度语义信息；对第一特征图进行卷积处理，得到待处理图像的目标特征图；根据目标特征图确定待处理图像的语义分割图。本申请能够提高语义分割的预测精度。

【技术实现步骤摘要】
图像语义分割方法、装置、计算机可读存储介质和芯片
本申请实施例涉及计算机视觉领域，尤其涉及一种图像语义分割方法、装置、计算机可读存储介质和芯片。
技术介绍
计算机视觉是各个应用领域，如制造业、检验、文档分析、医疗诊断，和军事等领域中各种智能/自主系统中不可分割的一部分，它是一门关于如何运用照相机/摄像机和计算机来获取我们所需的，被拍摄对象的数据与信息的学问。形象地说，就是给计算机安装上眼睛(照相机/摄像机)和大脑(算法)用来代替人眼对目标进行识别、跟踪和测量等，从而使计算机能够感知环境。因为感知可以看作是从感官信号中提取信息，所以计算机视觉也可以看作是研究如何使人工系统从图像或多维数据中“感知”的科学。总的来说，计算机视觉就是用各种成像系统代替视觉器官获取输入信息，再由计算机来代替大脑对这些输入信息完成处理和解释。计算机视觉的最终研究目标就是使计算机能像人那样通过视觉观察和理解世界，具有自主适应环境的能力。在计算机视觉领域中，语义分割(semanticsegmentation)是一个很重要的研究方向，语义分割为场景理解提供了比较高层级的信息，语意分割是对图像中的每一个像素进行分类，在很多领域和场景中都有重要的应用。例如，自动驾驶系统，人机交互系统，移动设备的摄影，图像搜索引擎以及增强现实应用。传统方案在进行语义分割时，存在预测精度不高的问题。例如，传统方案可以先获取小尺寸的特征向量，然后再经过上采样后再继续提取特征。这种方式能够在高分辨率的条件下进一步提取特征，当整个模型深度增加时，能够得到更高层次的语义信息，扩大感受野，但是这种方式下由于每次特征提取后得到的图像特征均在同一路径中继续进行处理，导致对细节的预测精度不够高。
技术实现思路
本申请提供一种图像语义分割方法、装置、计算机可读存储介质和芯片，以提高语义分割图的精度。第一方面，提供了一种图像语义分割方法，包括：获取待处理图像；对该待处理图像进行卷积处理，以得到该待处理图像的初始特征图；对该初始特征图进行多尺度特征提取，以得到第一特征图，其中，该第一特征图包括上述初始特征图的多尺度语义信息；对该第一特征图进行卷积处理，以得到上述待处理图像的目标特征图；根据该目标特征图确定上述待处理图像的语义分割图。根据本申请实施例的方案，通过提取多尺度语义信息，对包含多尺度语义信息的特征图调整尺寸后再进行特征提取，能够扩大感受野，提升图像特征的特征表达能力，从而提高语义分割图的预测精度。可选地，上述获取图像，包括：通过摄像头拍摄以获取图像。例如，对于手机来说，可以通过拍摄获取的图像。可选地，上述获取图像，包括：从存储器中获取图像。例如，对于手机来说，可以从相册中选取图像。在得到图像的初始特征图时，具体可以通过对图像进行卷积操作(卷积处理)，或者是对图像的卷积操作的结果做进一步的处理(例如，进行求和、加权处理、连接等操作)得到初始特征图。对上述初始特征图进行多尺度特征提取，确定第一特征图，具体可以通过对初始特征图提取不同尺度的特征图，得到初始特征图的多尺度语义信息。多尺度语义信息指的是该第一特征图的每个像素的像素值表示初始特征图上多个不同尺度的子区域内的像素的像素值的统计信息。例如，可以通过不同的卷积核对初始特征图进行卷积，以得到不同尺度的特征图。再如，还可以通过不同的采样率对初始特征图进行池化处理，以得到不同尺度的特征图。结合第一方面，在第一方面的某些实现方式中，在对上述初始特征图进行多尺度特征提取之前，所述方法还包括：对上述初始特征图进行降维处理，以得到降维处理后的特征图；对上述初始特征图进行多尺度特征提取，以得到第一特征图包括：对降维处理后的特征图进行多尺度特征提取，以得到上述第一特征图。根据本申请实施例的方案，通过对初始特征图进行降维处理，能够减少初始特征图的通道数，提高对图像进行语义分割的运算速度，因此，本申请能够在提高语义分割精度的同时提高对图像进行语义分割的运算速度。结合第一方面，在第一方面的某些实现方式中，所述对所述降维处理后的特征图进行多尺度特征提取，以得到上述第一特征图，包括：对所述降维处理后的特征图分别进行多次不同采样率的池化处理，以得到多个尺度的特征图；对所述多个尺度的特征图分别进行上采样处理，以得到上采样处理后的多个特征图；将所述上采样处理后的多个特征图与所述初始特征图进行特征融合，以得到上述第一特征图。其中，上述多个尺度的特征图为多个特征图，该多个特征图分别具有不同的尺度。可选地，上述将上采样得到的多个特征图与上述初始特征图进行特征融合，可以为将上采样得到的多个特征图与上述初始特征图进行通道(维度)拼接。根据本申请实施例的方案，通过降维处理减少了通道数，进而减少了计算量，能够提高运算速度；保留了空间金字塔池化的特性，能够提取不同尺寸大小不同子区域的多尺度语义信息，消除了卷积神经网络的固定大小的约束，提高了预测精度。结合第一方面，在第一方面的某些实现方式中，对上述第一特征图进行卷积处理，包括：对上述第一特征图进行尺寸调整，以得到第二特征图，所述第二特征图的尺寸大于所述第一特征图的尺寸；对上述第二特征图进行卷积处理，以得到所述待处理图像的目标特征图。结合第一方面，在第一方面的某些实现方式中，上述初始特征图包括至少两个尺寸不同的特征图，所述对上述第二特征图进行卷积处理，以得到上述待处理图像的目标特征图，包括：将上述初始特征图中与上述第二特征图的尺寸大小相同的特征图和上述第二特征图进行特征融合，以得到第三特征图；对上述第三特征图进行卷积处理，以得到上述待处理图像的目标特征图。例如，初始特征图中与上述第二特征图的尺寸大小相同的特征图为特征图A，将上述初始特征图中与上述第二特征图的尺寸大小相同的特征图和该第二特征图进行特征融合可以为，将特征图A与第二特征图进行特征融合。结合第一方面，在第一方面的某些实现方式中，对上述第三特征图进行卷积处理，以得到上述待处理图像的目标特征图，包括：通过m个卷积层对所述第三特征图进行卷积处理，以得到从第m个卷积层输出的特征图，其中，所述m个卷积层中的第i个卷积层的输入为第i-1个卷积层输出的特征图，以及与上述初始特征图中与第i-1个卷积层输出的特征图的尺寸大小相同的特征图，m为大于1的整数，1<i≤m，i为整数；根据从第m个卷积层输出的特征图确定上述待处理图像的目标特征图。可选地，根据从第m个卷积层输出的特征图确定上述待处理图像的目标特征图可以为将从第m个卷积层输出的特征图确定为上述待处理图像的目标特征图。结合第一方面，在第一方面的某些实现方式中，所述根据第m个卷积层输出的特征图确定上述待处理图像的目标特征图，包括：对从第m个卷积层输出的特征图进行多尺度特征提取，以得到第四特征图，所述第四特征图包括第m个卷积层输出的特征图的多尺度语义信息；根据所述第四特征图确定上述目标特征图。可选地，根据所述第四特征图确定目标特征图可以为将第四特征图确定为目标特征图。本文档来自技高网...

【技术保护点】
1.一种图像语义分割方法，其特征在于，包括：/n获取待处理图像；/n对所述待处理图像进行卷积处理，以得到所述待处理图像的初始特征图；/n对所述初始特征图进行多尺度特征提取，以得到第一特征图，其中，所述第一特征图包括所述初始特征图的多尺度语义信息；/n对所述第一特征图进行卷积处理，以得到所述待处理图像的目标特征图；/n根据所述目标特征图确定所述待处理图像的语义分割图。/n

【技术特征摘要】
1.一种图像语义分割方法，其特征在于，包括：
获取待处理图像；
对所述待处理图像进行卷积处理，以得到所述待处理图像的初始特征图；
对所述初始特征图进行多尺度特征提取，以得到第一特征图，其中，所述第一特征图包括所述初始特征图的多尺度语义信息；
对所述第一特征图进行卷积处理，以得到所述待处理图像的目标特征图；
根据所述目标特征图确定所述待处理图像的语义分割图。


2.如权利要求1所述的方法，其特征在于，在对所述初始特征图进行多尺度特征提取之前，所述方法还包括：
对所述初始特征图进行降维处理，以得到降维处理后的特征图；
对所述初始特征图进行多尺度特征提取，以得到第一特征图包括：
对所述降维处理后的特征图进行多尺度特征提取，以得到所述第一特征图。


3.如权利要求2所述的方法，其特征在于，所述对所述降维处理后的特征图进行多尺度特征提取，以得到所述第一特征图，包括：
对所述降维处理后的特征图分别进行多次不同采样率的池化处理，以得到多个尺度的特征图；
对所述多个尺度的特征图分别进行上采样处理，以得到上采样处理后的多个特征图；
将所述上采样处理后的多个特征图与所述初始特征图进行特征融合，以得到所述第一特征图。


4.如权利要求1至3中任一项所述的方法，其特征在于，对所述第一特征图进行卷积处理，包括：
对所述第一特征图进行尺寸调整，以得到第二特征图，所述第二特征图的尺寸大于所述第一特征图的尺寸；
对所述第二特征图进行卷积处理，以得到所述待处理图像的目标特征图。


5.如权利要求4所述的方法，其特征在于，所述初始特征图包括至少两个尺寸不同的特征图，所述对所述第二特征图进行卷积处理，以得到所述待处理图像的目标特征图，包括：
将所述初始特征图中与所述第二特征图的尺寸大小相同的特征图和所述第二特征图进行特征融合，以得到第三特征图；
对所述第三特征图进行卷积处理，以得到所述待处理图像的目标特征图。


6.权利要求5所述的方法，其特征在于，所述对所述第三特征图进行卷积处理，以得到所述待处理图像的目标特征图，包括：
通过m个卷积层对所述第三特征图进行卷积处理，以得到从第m个卷积层输出的特征图，其中，所述m个卷积层中的第i个卷积层的输入为第i-1个卷积层输出的特征图，以及与所述初始特征图中与所述第i-1个卷积层输出的特征图的尺寸大小相同的特征图，m为大于1的整数，1<i≤m，i为整数；
根据从第m个卷积层输出的特征图确定所述待处理图像的目标特征图。


7.如权利要求6所述的方法，其特征在于，所述根据第m个卷积层输出的特征图确定所述待处理图像的目标特征图，包括：
对从第m个卷积层输出的特征图进行多尺度特征提取，以得到第四特征图，所述第四特征图包括所述第m个卷积层输出的特征图的多尺度语义信息；
根据所述第四特征图确定所述目标特征图。


8.如权利要求7所述的方法，其特征在于，所述根据所述目标特征图确定所述待处理图像的语义分割图，包括：
对所述第四特征图和所述m个卷积层中的至少一个卷积层输出的特征图分别进行上采样处理，以得到至少两个尺寸相同的特征图；
对所述至少两个尺寸相同的特征图进行特征融合处理，以得到所述目标特征图；
根据所述目标特征图确定所述待处理图像的语义分割图。


9.如权利要求1至8中任一项所述的方法，其特征在于，所述待处理图像包括所述待处理的亮度值信息和惯性测量单元IMU信息。


10.如权利要求9所述的方法，其特征在于，所述获取待处理图像包括：
将所述IMU信息进行尺寸调整，尺寸调整后的IMU信息的尺寸与所述待处理图像的尺寸相同；
将所述尺寸调整后的IMU信息与所述待处理图像的亮度值信息进行特征通道拼接。


11.一种图像语义分割装置，其特征在于，包括：

【专利技术属性】
技术研发人员：冯文森，黄杨，廖晶堂，袁超，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44