一种基于残差金字塔池化神经网络的语义分割方法技术

本发明专利技术公开了一种基于残差金字塔池化神经网络的语义分割方法。首先构建卷积神经网络，其隐层包括10个残差神经网络块、4个Residual ASPP块和5个Basic块；使用原始的室内场景图像输入到卷积神经网络中进行训练，得到对应的语义分割预测图；再通过计算原始的室内场景图像对应的语义分割预测图构成的集合与对应的真实语义分割图像处理成的40幅独热编码图像构成的集合之间的损失函数值，获得卷积神经网络分类训练模型的最优权值矢量和偏置项；在测试阶段，将待语义分割的室内场景图像输入到卷积神经网络分类训练模型中，得到语义分割预测图。本发明专利技术提高了室内场景图像的语义分割效率和准确度。

A semantic segmentation method based on residual pyramid pooled neural network

【技术实现步骤摘要】
一种基于残差金字塔池化神经网络的语义分割方法
本专利技术是一种基于全卷积神经网络的语义分割方法，特别是对于残差金字塔池化的室内场景语义分割方法。
技术介绍
语义分割是许多计算机视觉应用的基本技术，如场景理解、无人驾驶。随着卷积神经网络特别是全卷积神经网络(FCN)的发展，在基准测试中取得了许多有前途的成果。FCN具有典型的编码器-解码器结构——语义信息首先通过编码器嵌入到特征图中，解码器负责生成分割结果。通常，编码器是预先训练的卷积模型来提取图像特征，解码器包含多个上采样组件来恢复分辨率。尽管编码器最重要的特征图可能具有高度的语义性，但由于分辨率不足，它在分割图中重建精确细节的能力有限，这在现代主干模型中非常常见。语义分割既需要丰富的空间信息，又需要相当大的感受野，因此，利用空洞卷积来扩大感受野成为了现代网络的主流思想。现代语义分割框架通常将预先训练的主干卷积模型的低级和高级特征结合起来，以提高性能，通常选择残差块和跳跃连接作为结合方式。除此之外，多尺度信息也为语义分割的精确性提供了有力支撑，金字塔池化通过获取不同尺度的特征图再将其融合这一方法本文档来自技高网...

【技术保护点】
1.一种基于残差金字塔池化神经网络的语义分割方法，其特征在于：/n步骤1：选取N幅RGB图像以及RGB图像对应的深度图、独热编码图，将所有RGB图像及其对应的深度图、独热编码图构成训练集；独热编码图是对RGB图像进行真实语义分割处理得到的图像；/n步骤2：构建残差金字塔池化神经网络，残差金字塔池化神经网络包括依次设置的输入层、隐藏层和输出层；/n步骤3：将训练集中每幅RGB图像以及RGB图像对应的深度图通过输入层输入到隐藏层后再从输出层输出语义分割预测图，计算每幅RGB图像的语义分割预测图和独热编码图之间的损失函数值，损失函数值采用采用Negative Log-liklihood(NLLLos...

【技术特征摘要】
1.一种基于残差金字塔池化神经网络的语义分割方法，其特征在于：
步骤1：选取N幅RGB图像以及RGB图像对应的深度图、独热编码图，将所有RGB图像及其对应的深度图、独热编码图构成训练集；独热编码图是对RGB图像进行真实语义分割处理得到的图像；
步骤2：构建残差金字塔池化神经网络，残差金字塔池化神经网络包括依次设置的输入层、隐藏层和输出层；
步骤3：将训练集中每幅RGB图像以及RGB图像对应的深度图通过输入层输入到隐藏层后再从输出层输出语义分割预测图，计算每幅RGB图像的语义分割预测图和独热编码图之间的损失函数值，损失函数值采用采用NegativeLog-liklihood(NLLLoss)获得；
步骤4：重复执行步骤3共V次，并共得到N×V个损失函数值；将N×V个损失函数值中值最小的损失函数值对应的权值矢量和偏置项作为残差金字塔池化神经网络的最优权值矢量和最优偏置项，得到训练好的残差金字塔池化神经网络；
步骤5：采集待语义分割的RGB图像，并将其输入到训练好的残差金字塔池化神经网络中，输出得到待语义分割的RGB图像对应的语义分割预测图。


2.根据权利要求1所述的一种基于残差金字塔池化神经网络的语义分割方法，其特征在于：隐藏层包括五部分，第一部分主要由依次连接的第1个卷积块、第6个残差网络块、第7个残差网络块、第8个残差网络块、第9个残差网络块、第10个残差网络块、第1个残差网络块、第2个反卷积层、第3个反卷积层、第4个反卷积层组成，第二部分主要由依次连接的第1个残差网络块、第2个残差网络块、第3个残差网络块、第4个残差网络块、第5个残差网络块、第5个反卷积层、第6个反卷积层、第7个反卷积层、第8个反卷积层组成，第三部分主要由依次连接的第1个ResidualASPP块、第2个ResidualASPP块、第3个ResidualASPP块、第4个ResidualASPP块、第9个反卷积层、第10个反卷积层、第11个反卷积层组成，第四部分主要由依次连接的第1个Basic块、第2个Basic块、第3个Basic块、第12个反卷积层、第13个反卷积层、第4个Basic块和第5个Basic块组成；
第6个残差网络块、第4个反卷积层、第1个残差网络块和第8个反卷积层的输出均再跳跃连接到第1个ResidualASPP块的输入，第7个残差网络块、第3个反卷积层、第2个残差网络块和第7个反卷积层的输出均再跳跃连接到第2个ResidualASPP块的输入，第8个残差网络块、第2个反卷积层、第3个残差网络块和第6个反卷积层的输出均再跳跃连接到第3个ResidualASPP块的输入，第9个残差网络块、第1个反卷积层、第4个残差网络块和第5反卷积层的输出均再跳跃连接到第4个ResidualASPP块的输入，
第2个ResidualASPP块的输出再跳跃连接到第1个Basic块的输入，第3个ResidualASPP块和第10个反卷积层的输出再连接到第2个Basic块的输入，第4个ResidualA...

【专利技术属性】
技术研发人员：周武杰，吕思嘉，雷景生，何成，王海江，
申请(专利权)人：浙江科技学院，
类型：发明
国别省市：浙江;33