一种图像语义分割方法、装置及终端设备制造方法及图纸

本申请公开了一种图像语义分割方法、装置及终端设备。首先获得包含目标物体的待分割图像；其后对待分割图像进行预处理得到预处理后的图像；最后利用训练好的图像语义分割模型对预处理后的图像进行语义分割，得到分割后的图像。图像语义分割能够有效提升图像语义分割的实时性，得到的分割后图像具有较高的分辨率。模型的FPN结构的编码和解码结构保证图像的分割精细度。该方法适用于手机等处理能力较弱的终端设备，提升终端设备对高分辨率图像的分割效果，提升用户的使用体验。

A method, device and terminal device of image semantic segmentation

【技术实现步骤摘要】
一种图像语义分割方法、装置及终端设备
本申请涉及图像处理
，特别是涉及一种图像语义分割方法、装置及终端设备。
技术介绍
图像处理技术广泛应用于传媒、科研和工业设计等诸多领域。图像分割技术属于图像处理技术中的一种，图像分割的目的是将图像分成若干个特定的、具有独特性质的区域，并提取出感兴趣目标。图像语义分割是在像素级别上实现图像分割，将属于同一类的像素归为一类。简而言之，图像语义分割是从像素级别理解图像并进行图像分割。当前的图像语义分割，主流的技术是基于深度学习的彩色图像分割，针对不同的分割任务，有许多经典的图像分割网络，如FCN、UNet、SegNet、deeplab系列等。其中，FCN是深度学习在图像分割领域的开篇之作，其分割精度低，速度慢。deeplabv3+将图像语义分割的精度提到了一个新的高度，但是其特征提取模块Xception65高昂的计算量，让很多应用设备都望而却步。虽然deeplabv3+也支持更快的mobilenetv2作为特征提取器，但是其精度相对xception65已经大打折扣。而且其在手机上的运行速度也非常的慢。近年来针对手机等移动设备计算能力弱、速度要求高本文档来自技高网...

【技术保护点】
1.一种图像语义分割方法，其特征在于，包括：获得包含目标物体的待分割图像；对所述待分割图像进行预处理，得到预处理后的图像；利用训练好的图像语义分割模型对所述预处理后的图像进行语义分割，得到分割后的图像；所述图像语义分割模型为特征金字塔网络FPN结构，包括编码结构和解码结构；所述编码结构包括：m个标准卷积块和n个残差卷积块；所述解码结构包括：n个标准卷积块和m+1个标准卷积块；其中，所述m为大于或等于1的整数，所述n为大于1的整数；在所述编码结构中，所述m个标准卷积块用于对所述预处理后的图像进行标准卷积和下采样，每个所述残差卷积块用于对前一个卷积块的输出进行残差卷积和下采样；在所述解码结构中，所...

【技术特征摘要】
1.一种图像语义分割方法，其特征在于，包括：获得包含目标物体的待分割图像；对所述待分割图像进行预处理，得到预处理后的图像；利用训练好的图像语义分割模型对所述预处理后的图像进行语义分割，得到分割后的图像；所述图像语义分割模型为特征金字塔网络FPN结构，包括编码结构和解码结构；所述编码结构包括：m个标准卷积块和n个残差卷积块；所述解码结构包括：n个标准卷积块和m+1个标准卷积块；其中，所述m为大于或等于1的整数，所述n为大于1的整数；在所述编码结构中，所述m个标准卷积块用于对所述预处理后的图像进行标准卷积和下采样，每个所述残差卷积块用于对前一个卷积块的输出进行残差卷积和下采样；在所述解码结构中，所述n个标准卷积块中每个标准卷积块与每个所述残差卷积块一一对应，用于对对应的残差卷积块的输出进行标准卷积，或者，进行标准卷积和上采样，得到n个分辨率和通道数都一致的特征图结果，对所述n个特征图结果相加得到的求和结果作为所述m+1个标准卷积块的输入；所述m+1个标准卷积块用于对所述求和结果进行标准卷积和上采样，得到所述分割后的图像。2.根据权利要求1所述的图像语义分割方法，其特征在于，所述对所述待分割图像进行预处理，具体包括：将所述待分割图像中各像素点的像素值归一化到预设区间；所述预设区间为[0,1]或[-1,1]。3.根据权利要求2所述的图像语义分割方法，其特征在于，在所述将所述待分割图像中各像素点的像素值归一化到预设区间之前，所述方法还包括：判断所述待分割图像是否满足第一条件和第二条件；所述第一条件为所述待分割图像的宽高比与所述图像语义分割模型允许的输入图像的宽高比一致；所述第二条件为所述待分割图像的分辨率与所述图像语义分割模型允许的输入图像的分辨率一致；如果所述待分割图像不满足所述第一条件和/或所述第二条件，则对所述待分割图像进行调整，以使调整后的图像的宽高比与所述图像语义分割模型允许的输入图像的宽高比一致，并且所述调整后的图像的分辨率与所述图像语义分割模型允许的输入图像的分辨率一致；所述将所述待分割图像中各像素点的像素值归一化到预设区间，具体包括：将所述调整后的图像中各像素点的像素值归一化到预设区间。4.根据权利要求3所述的图像语义分割方法，其特征在于，在所述得到分割后的图像之后，所述方法还包括：对所述分割后的图像进行调整，得到调整后的分割图像；所述调整后的分割图像的宽高比与所述待分割图像的宽高比一致，所述调整后的分割图像的分辨率与所述待分割图像的分辨率一致。5.根据权利要求1-4任一项所述的图像语义分割方法，其特征在于，还包括：获得包含第一物体的训练图像；对所述训练图像进行预处理，得到预处理后的训练图像；获得所述预处理后的训练图像对应的分割结果；所述预处理后的训练图像和所述预处理后的训练图像对应的分割结果共同作为训练集；利用所述训练集对待训练模型进行训练，得到所述图像语义分割模型。6.根据权利要求5所述的图像语义分割方法，其特征在于，在所述利用所述训练集对待训练模型进行训练之前，所述方法还包括：设置初始学习率和衰减学习率；所述初始学习率大于所述衰减学习率；所述利用所述训练集对待训练模型进行训练，具体包括：利用所述训练集，先后按照所述初始学习率和所述衰减学习率对所述待训练模型进行训练。7.一种图像语义分割装置，其特征在于，包括：待分割图像获取模块，用于获得包含目标物体的待分割图像...

【专利技术属性】
技术研发人员：古迎冬，李骊，
申请(专利权)人：北京华捷艾米科技有限公司，
类型：发明
国别省市：北京,11