语义分割模型构建方法及图像分割方法、设备、存储介质技术

本申请公开一种语义分割模型构建方法及图像分割方法、设备、存储介质，其中，语义分割模型构建方法包括步骤：根据预训练的残差网络构建特征提取模块；根据注意力信息并使用全局池化和1*1卷积处理算法构建特征融合模块；构建上采样层；根据所述上采样层、所述特征提取模块、所述特征融合模块构建所述语义分割模型。本申请第一方面能够更好地提取到图像的边缘等细节信息，从而使得边缘获取更加精确；本申请第二方面能够防止图像中小目标特征丢失，此外，本申请具有更优的实时性能，尤其可适用于显存和计算能够交差的平台中。

【技术实现步骤摘要】
语义分割模型构建方法及图像分割方法、设备、存储介质
本申请涉及计算机视觉领域，尤其涉及一种语义分割模型构建方法及图像分割方法、设备、存储介质。
技术介绍
随着深度学习技术的发展，现有的图像语义分割算法大多基于全卷积神经网络，通过采用Encoder-Decoder结构，对图像的特征进行编码和解码。但在某些移动端场景下，受平台显存和计算力的限制，图像语义分割算法无法实时准确地进行。
技术实现思路
本申请目的在于公开一种语义分割模型构建方法及图像分割方法、设备、存储介质，其中，本申请至少通过轻量级的注意力信息构建语义分割模型，能够实现提高语义分割模型的实时性能，进而提高基于该语义分割模型的图像分割的实时性，尤其在一些计算能力较低的运行平台中，本申请具有更优的实时性和可移植性。本申请第一方面公开一种语义分割模型构建方法,所述方法包括：根据预训练的残差网络构建特征提取模块；根据注意力信息并使用全局池化和1*1卷积处理算法构建特征融合模块；构建上采样层；根据所述上采样层、所述特征提取模块、所述特征融合模块构建所述语义分割模型。在本申请第一方面中，通过根据注意力信息并使用全局池化和1*1卷积处理算法可构建特征融合模块，进而可根据特征提取模块、特征融合模块、上采样层构建语义分割模型，与现有技术相比，由于本申请引入注意力信息，进而使得模型的输出特征更加关注到对结果更加有效的通道，进而该语义分割模型具有更优的实时性能，而现有技术中的语义分割模型由于采用了全卷积神经网络对图像的特征进行编码和解码，因此在某些移动端场景下，由于受限移动端的显存和计算力的限制，该现有的语义分割模型实时性能差。在本申请第一方面中，作为一种可选的实施方式，所述残差网络为ResNet18网络，所述根据预训练的残差网络构建特征提取模块，包括：选取所述ResNet18的前三层结构构建所述特征提取模块，所述特征提取模块的下采样倍数为8。在本可选的实施方式中，采用ResNet18作为本申请的残差网络，可根据ResNet18的前三层结构构建特征提取模块，进而可构建底层语义分割网络。另一方面，集合将特征提取模块的下采样倍数设置为8，本可选实施方式能够进一步解决图像中小目标由于多次卷积而导致的特征丢失这一技术问题，因此，本可选实施方式具有更优的适用性和更高的精确度，而现有技术中，由于现有的网络结构比较复杂，使得经过该网络结构最后一层卷积之后特征图的分辨率很小，从而难易提取到图像中较小的目标的特征。在本申请第一方面中，作为一种可选的实施方式，所述根据注意力信息并使用全局池化和1*1卷积处理算法构建特征融合模块之后，所述方法还包括：将所述ResNet18的第二层结构的特征输入所述特征融合模块。在本可选的实施方式中，通过将所述ResNet18的第二层结构的特征输入所述特征融合模块，本可选实施方式能够将特征融合模块能够更加有效的融合特征提取模块提取的内容。在本申请第一方面中，作为一种可选的实施方式，在所述根据所述上采样层、所述特征提取模块、所述特征融合模块构建所述语义分割模型之后，所述方法还包括：根据学习率预热算法确定所述语义分割模型的学习率；将交叉熵损失函数确定为所述语义分割模型中所有特征图与真值图像的损失函数；根据所述确定的学习率和损失函数，通过训练优化器训练所述语义分割模型。在本可选的实施方式中，通过将交叉熵损失函数能够对所述语义分割模型中所有特征图与真值图像进行约束，进而可使得语义分割网络能够提取更多的图像边缘信息，从而提高边缘信息的提取精度。在本申请第一方面中，作为可选的实施方式，在所述根据训练优化器训练所述语义分割模型之后，所述方法还包括：将至少一张测试图像输入所述语义分割模型并得到图像掩膜。本申请第二方面公开一种基于本申请第一方面公开的图像分割方法，该方法包括：采集待语义分割图像；对所述待语义分割图像进行像素级标注；将像素级标注后的所述待语义分割图像及所述待语义分割图像的掩膜进行分块处理；对分块处理后的所述待语义分割图像进行数据增广；根据所述语义分割模型对数据增广后所述待语义分割图像进行语义分割并得到所述待语义分割图像的特征信息。在本申请第二方面中，通过本申请第一方面的语义分割模型对待分语义分割图像进行处理，能够提高待分语义分割图像的分割实时性，而现有的语义分割方法由于基于现有的语义分割模型，而受限移动端的显存和计算力的限制，进而图像的分割实时性能差，故本申请的图像分割方法至少具有更优的实时性、可移植性和更广的适用范围。在本申请第二方面中，作为一种可选的实施方式，所述对所述待语义分割图像进行数据增广，包括：对所述待语义分割图像随机水平或竖直翻转，以对所述待语义分割图像进行数据增广。在本可选的实施方式中，对所述待语义分割图像随机水平或竖直翻，可对所述待语义分割图像进行数据增广。本申请第三方面公开一种语义分割模型构建装置，所述装置应用图像分割设备中，所述装置包括：第一构建子模块，用于根据预训练的残差网络构建特征提取模块；第二构建子模块，用于根据注意力信息并使用全局池化和1*1卷积处理算法构建特征融合模块；第三构建子模，用于构建上采样层；第四构建子模块，用于根据所述上采样层、所述特征提取模块、所述特征融合模块构建所述语义分割模型。在本申请第三方面中，语义分割模型构建装置通过执行语义分割模型构建方法，能够根据注意力信息并使用全局池化和1*1卷积处理算法可构建特征融合模块，进而可根据特征提取模块、特征融合模块、上采样层构建语义分割模型，与现有技术相比，由于本申请引入注意力信息，进而使得模型的输出特征更加关注到对结果更加有效的通道，进而该语义分割模型具有更优的实时性能，而现有技术中的语义分割模型由于采用了全卷积神经网络对图像的特征进行编码和解码，因此在某些移动端场景下，由于受限移动端的显存和计算力的限制，该现有的语义分割模型实时性能差。本申请第四方面公开一种图像分割装置，所述装置应用图像分割设备中，所述装置包括：采集模块，用于采集待语义分割图像；标注模块，用于对所述待语义分割图像进行像素级标注；图像预处理模块，至少将所述待语义分割图像及所述待语义分割图像的掩膜进行分块处理，并对所述待语义分割图像进行数据增广；图像分割模块，用于根据语义分割模型对所述图像预处理模块处理后的所述待语义分割图像进行语义分割并得到所述待语义分割图像的特征信息。在本申请第四方面中，图像分割装置通过执行本申请第二方面的图像分割方法，能够提高待分语义分割图像的分割实时性，而现有的语义分割方法由于基于现有的语义分割模型，而受限移动端的显存和计算力的限制，进而图像的分割实时性能差，故本申请的图像分割装置至少具有更优的实时性、可移植性和更广的适用范围。本申请第五方面公开一种图像分割设备，所述设备包括：...

【技术保护点】
1.一种语义分割模型构建方法,其特征在于，所述方法包括：/n根据预训练的残差网络构建特征提取模块；/n根据注意力信息并使用全局池化和1*1卷积处理算法构建特征融合模块；/n构建上采样层；/n根据所述上采样层、所述特征提取模块、所述特征融合模块构建所述语义分割模型。/n

【技术特征摘要】
1.一种语义分割模型构建方法,其特征在于，所述方法包括：
根据预训练的残差网络构建特征提取模块；
根据注意力信息并使用全局池化和1*1卷积处理算法构建特征融合模块；
构建上采样层；
根据所述上采样层、所述特征提取模块、所述特征融合模块构建所述语义分割模型。


2.如权利要求1所述的方法，其特征在于，所述残差网络为ResNet18网络，所述根据预训练的残差网络构建特征提取模块，包括：
选取所述ResNet18的前三层结构构建所述特征提取模块，所述特征提取模块的下采样倍数为8。


3.如权利要求2所述的方法，其特征在于，所述根据注意力信息并使用全局池化和1*1卷积处理算法构建特征融合模块之后，所述方法还包括：
将所述ResNet18的第二层结构的特征输入所述特征融合模块。


4.如权利要求1所述的方法，其特征在于，在所述根据所述上采样层、所述特征提取模块、所述特征融合模块构建所述语义分割模型之后，所述方法还包括：
根据学习率预热算法确定所述语义分割模型的学习率；
将交叉熵损失函数确定为所述语义分割模型中所有特征图与真值图像的损失函数；
根据所述确定的学习率和损失函数，通过训练优化器训练所述语义分割模型。


5.如权利要求4所述的方法，其特征在于，在所述根据训练优化器训练所述语义分割模型之后，所述方法还包括：
将至少一张测试图像输入所述语义分割模型并得到图像掩膜。


6.一种基于如权利要求1-5任一项所述的语义分割模型的图像分割方法，其特征在于，所述方法包括：
采集待语义分割图像；
对所述待语义分割图像进行像素级标注；
将像素级标注后的所述待语义分割图像及所述待语义分割图像的掩膜进行分块处理；
对分块处理后的所述待语义分割图像进行...

【专利技术属性】
技术研发人员：汤寅航，赵迪，
申请(专利权)人：创新奇智合肥科技有限公司，
类型：发明
国别省市：安徽;34