一种用于复杂环境移动机器人场景理解的主干双路图像语义分割方法技术

本发明专利技术属于图像处理领域，公开一种主干双路图像语义分割方法，具体为：将图像输入语义分割模型进行特征提取，得到初始特征图；初始特征图经残差网络处理后与经下采样、残差网络处理的初始特征图进行一次语义融合，得到一级融合高分辨率特征图和一级融合低分辨率特征图；一级融合高分辨率特征图经残差网络处理后与经下采样、残差网络处理后的一级融合低分辨率特征图进行二次语义融合，得到三级融合高分辨率特征图和三级融合低分辨率特征图；三级融合高分辨率特征图经残差网络处理后与经下采样、残差网络处理后的三级融合低分辨率特征图进行三次语义融合，得到五级融合特征图；五级融合特征图经解码器上采样，得到图像语义分割结果。结果。结果。

【技术实现步骤摘要】
一种用于复杂环境移动机器人场景理解的主干双路图像语义分割方法


[0001]本专利技术涉及图像处理
，具体涉及一种用于复杂环境移动机器人场景理解的主干双路图像语义分割方法。

技术介绍

[0002]对于移动机器人，场景理解是其实现真正智能化的最核心技术，其场景理解能力依赖于面向场景解析的高精度语义分割算法具有场景理解能力的服务机器人即拥有了场景语义分割的能力，在配合移动底座和高精度机械臂后，能够进一步实现自主导航、物体送达、室内安保等高级任务。
[0003]场景理解在早期的计算机视觉相关的研究工作中就已经被重视，但一直无法找出较有效的解决方法。场景理解研究中存在较多难点，比如：如何在场景中的目标物体受到平移、旋转、光照或畸变等影响时，仍能获得该目标物体的鲁棒特征、为了取得更好的分割效果，研究人员通常会为基于深度学习的语义分割模型设计复杂的结构来提高分割精度，如ASPP模块等，但复杂的结构通常会降低模型的运行速度、为了提高模型的运行速度，很多轻量语义分割模型被提出，然而轻量模型的精度与精确模型相比有一定差距，结构通常也比较特殊，较难改进或者改进后可能需要在ImageNet数据集上进行预训练，设备要求高且训练费时费力。因此，亟需研究一种用于复杂环境移动机器人场景理解的图像语义分割模型，使得该图像语义分割模型应用于移动机器人的面向场景解析直接使用时就能高精度地对场景进行解析，在专用设备上应用时不会因为降低精度的操作而损失过多的场景解析性能。

技术实现思路

[0004]针对现有技术中存在的问题和不足，本专利技术的目的旨在提供一种用于复杂环境移动机器人场景理解的主干双路图像语义分割方法。
[0005]为实现专利技术目的，本专利技术采用的技术方案如下：
[0006]本专利技术第一方面提供了一种用于复杂环境移动机器人场景理解的主干双路图像语义分割方法，包括以下步骤：
[0007]S1：将待分割图像输入图像语义分割模型的编码器中，采用编码器的初始模块对待分割图像进行初始特征提取，得到初始特征图，初始特征图的空间尺寸为待分割图像的1/2；然后将初始特征图分别输入编码器的高分辨率支路、下采样支路进行处理；
[0008]S2：输入高分辨率支路的初始特征图经残差网络进行特征提取，得到空间尺寸与初始特征图相同的一级高分辨率特征图；输入下采样支路的初始特征图依次经下采样、残差网络进行特征提取，得到空间尺寸为初始特征图1/2的一级低分辨率特征图；将一级高分辨率特征图与一级低分辨率特征图采用一级fuse模块进行第一次语义特征信息融合，融合后得到了一级融合高分辨率特征图和一级融合低分辨率特征图，所述一级融合高分辨率特
征图是将一级低分辨率特征图的语义特征信息融合到一级高分辨率特征图中得到的特征图；所述一级融合低分辨率特征图是将一级高分辨率特征图的语义特征信息融合到一级低分辨率特征图中得到的特征图；
[0009]S3：一级融合高分辨率特征图经残差网络进行特征提取，得到空间尺寸与初始特征图相同的二级融合高分辨率特征图；一级融合低分辨率特征图依次经下采样、残差网络进行特征提取，得到空间尺寸为初始特征图1/4的二级融合低分辨率特征图；将二级融合高分辨率特征图、二级融合低分辨率特征图、一级融合低分辨率特征图采用二级fuse模块进行第二次语义特征信息融合，融合后得到了三级融合高分辨率特征图和三级融合低分辨率特征图，所述三级融合高分辨率特征图是将二级融合低分辨率特征图、一级融合低分辨率特征图的语义特征信息融合到二级融合高分辨率特征图中得到的特征图；所述三级融合低分辨率特征图是将二级融合高分辨率特征图的语义特征信息融合到二级融合低分辨率特征图中得到的特征图；
[0010]S4：三级融合高分辨率特征图经残差网络进行特征提取，得到空间尺寸与初始特征图相同的四级融合高分辨率特征图；三级融合低分辨率特征图依次经下采样、残差网络进行特征提取，得到空间尺寸为初始特征图1/8的四级融合低分辨率特征图；将四级融合高分辨率特征图、四级融合低分辨率特征图、三级融合低分辨率特征图、一级融合低分辨率特征图采用三级fuse模块进行第三次语义特征信息融合，融合后得到了五级融合高分辨率特征图，所述五级融合高分辨率特征图是将四级融合低分辨率特征图、三级融合低分辨率特征图、一级融合低分辨率特征图的语义特征信息融合到四级融合高分辨率特征图中得到的特征图；
[0011]S5：采用图像语义分割模型的解码器对所述五级融合高分辨率特征图进行上采样处理，得到图像语义分割结果。
[0012]根据上述的主干双路图像语义分割方法，优选地，采用一级fuse模块进行第一次语义特征信息融合的具体操作为：
[0013]S21：采用语义指导上采样模块对一级低分辨率特征图和一级高分辨率特征图行语义特征信息融合，将语义融合后得到的特征图与经1
×
1卷积层处理后的一级高分辨率特征图进行对应元素相加，得到一级融合高分辨率特征图；一级融合高分辨率特征图的空间尺寸与一级高分辨率特征图相同；
[0014]S22：将一级高分辨率特征图的空间尺寸调整至与一级低分辨率特征图一致，然后将空间尺寸调整后的一级高分辨率特征图与经1
×
1卷积层处理后的一级低分辨率特征图进行对应元素相加，得到一级融合低分辨率特征图，一级融合低分辨率特征图的空间尺寸与一级低分辨率特征图相同；其中，1
×
1卷积层的步长为1。
[0015]根据上述的主干双路图像语义分割方法，优选地，采用二级fuse模块进行第二次语义特征信息融合的具体操作为：
[0016]S31：采用语义指导上采样模块对一级融合低分辨率特征图和二级融合低分辨率特征图进行语义特征信息融合，得到一级融合图，一级融合图的空间尺寸与一级融合低分辨率特征图相同；
[0017]S32：采用语义指导上采样模块对一级融合图和二级融合高分辨率特征图进行语义特征信息融合，得到二级融合图，二级融合特征图的空间尺寸与二级融合高分辨率特征
图相同；将二级融合图与经1
×
1卷积层处理后的二级融合高分辨率特征图进行对应元素相加，得到三级融合高分辨率特征图；三级融合高分辨率特征图的空间尺寸与一级高分辨率特征图相同；其中，1
×
1卷积层的步长为1；
[0018]S33：将二级融合高分辨率特征图的空间尺寸调整至与二级融合低分辨率特征图一致，然后将空间尺寸调整后的二级融合高分辨率特征图与经1
×
1卷积层处理后的二级融合低分辨率特征图进行对应元素相加，得到三级融合低分辨率特征图，三级融合低分辨率特征图的空间尺寸为一级低分辨率特征图的1/2；其中，1
×
1卷积层的步长为1。
[0019]根据上述的主干双路图像语义分割方法，优选地，采用三级fuse模块进行第三次语义特征信息融合的具体操作为：
[0020]S41：采用语义指导上采样模块对四级融合低分辨率特征图和三级融合低分辨率特征图进行语义特征信息融合，得到第一融合本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于复杂环境移动机器人场景理解的主干双路图像语义分割方法，其特征在于，包括以下步骤：S1：将待分割图像输入图像语义分割模型的编码器中，采用编码器的初始模块对待分割图像进行初始特征提取，得到初始特征图，初始特征图的空间尺寸为待分割图像的1/2；然后将初始特征图分别输入编码器的高分辨率支路、下采样支路进行处理；S2：输入高分辨率支路的初始特征图经残差网络进行特征提取，得到空间尺寸与初始特征图相同的一级高分辨率特征图；输入下采样支路的初始特征图依次经下采样、残差网络进行特征提取，得到空间尺寸为初始特征图1/2的一级低分辨率特征图；将一级高分辨率特征图与一级低分辨率特征图采用一级fuse模块进行第一次语义特征信息融合，融合后得到了一级融合高分辨率特征图和一级融合低分辨率特征图，所述一级融合高分辨率特征图是将一级低分辨率特征图的语义特征信息融合到一级高分辨率特征图中得到的特征图；所述一级融合低分辨率特征图是将一级高分辨率特征图的语义特征信息融合到一级低分辨率特征图中得到的特征图；S3：一级融合高分辨率特征图经残差网络进行特征提取，得到空间尺寸与初始特征图相同的二级融合高分辨率特征图；一级融合低分辨率特征图依次经下采样、残差网络进行特征提取，得到空间尺寸为初始特征图1/4的二级融合低分辨率特征图；将二级融合高分辨率特征图、二级融合低分辨率特征图、一级融合低分辨率特征图采用二级fuse模块进行第二次语义特征信息融合，融合后得到了三级融合高分辨率特征图和三级融合低分辨率特征图，所述三级融合高分辨率特征图是将二级融合低分辨率特征图、一级融合低分辨率特征图的语义特征信息融合到二级融合高分辨率特征图中得到的特征图；所述三级融合低分辨率特征图是将二级融合高分辨率特征图的语义特征信息融合到二级融合低分辨率特征图中得到的特征图；S4：三级融合高分辨率特征图经残差网络进行特征提取，得到空间尺寸与初始特征图相同的四级融合高分辨率特征图；三级融合低分辨率特征图依次经下采样、残差网络进行特征提取，得到空间尺寸为初始特征图1/8的四级融合低分辨率特征图；将四级融合高分辨率特征图、四级融合低分辨率特征图、三级融合低分辨率特征图、一级融合低分辨率特征图采用三级fuse模块进行第三次语义特征信息融合，融合后得到了五级融合高分辨率特征图，所述五级融合高分辨率特征图是将四级融合低分辨率特征图、三级融合低分辨率特征图、一级融合低分辨率特征图的语义特征信息融合到四级融合高分辨率特征图中得到的特征图；S5：采用图像语义分割模型的解码器对所述五级融合高分辨率特征图进行上采样处理，得到图像语义分割结果。2.根据权利要求1所述的主干双路图像语义分割方法，其特征在于，采用一级fuse模块进行第一次语义特征信息融合的具体操作为：S21：采用语义指导上采样模块对一级低分辨率特征图和一级高分辨率特征图行语义特征信息融合，将语义融合后得到的特征图与经1
×
1卷积层处理后的一级高分辨率特征图进行对应元素相加，得到一级融合高分辨率特征图；一级融合高分辨率特征图的空间尺寸与一级高分辨率特征图相同；S22：将一级高分辨率特征图的空间尺寸调整至与一级低分辨率特征图一致，然后将空
间尺寸调整后的一级高分辨率特征图与经1
×
1卷积层处理后的一级低分辨率特征图进行对应元素相加，得到一级融合低分辨率特征图，一级融合低分辨率特征图的空间尺寸与一级低分辨率特征图相同。3. 根据权利要求2所述的主干双路图像语义分割方法，其特征在于， 采用二级fuse模块进行第二次语义特征信息融合的具体操作为：S31：采用语义指导上采样模块对一级融合低分辨率特征图和二级融合低分辨率特征图进行语义特征信息融合，得到一级融合图，一级融合图的空间尺寸与一级融合低分辨率特征图相同；S32：采用语义指导上采样模块对一级融合图和二级融合高分辨率特征图进行语义特征信息融合，得到二级融合图，二级融合特征图的空间尺寸与二级融合高分辨率特征图相同；将二级融合图与经1
×
1卷积层处理后的二...

【专利技术属性】
技术研发人员：李恒宇，程立，刘靖逸，岳涛，王曰英，谢少荣，罗均，
申请(专利权)人：上海大学，
类型：发明
国别省市：