一种用于复杂环境移动机器人场景理解的语义分割模型训练方法技术

本发明专利技术属于计算机图像处理领域，公开了一种用于复杂环境移动机器人场景理解的语义分割模型训练方法，步骤为：S1：获取样本图像集，将样本图像集划分为训练集、验证集和测试集，样本图像集中包括多个样本图像，样本图像中含有样本分割区域以及对应的样本类别信息；S2：将训练集的样本图像输入预先构建的语义分割模型进行检测，得到样本图像语义分割结果；根据样本图像中的语义分割结果以及样本图像的特征区域和对应的类别信息构建损失函数，采用反向传播对模型进行参数更新，得到训练后的语义分割模型；S3：采用验证集对训练后的语义分割模型进行验证，选出最优语义分割模型；S4：采用测试集对最优语义分割模型进行测试，评估模型性能。本发明专利技术训练得到的语义分割模型兼备速度快和精度高的优点，在牺牲少许精度的情况下能够加快网路的推理速度。能够加快网路的推理速度。能够加快网路的推理速度。

【技术实现步骤摘要】
一种用于复杂环境移动机器人场景理解的语义分割模型训练方法


[0001]本专利技术涉及图像处理
，具体涉及一种用于复杂环境移动机器人场景理解的语义分割模型训练方法。

技术介绍

[0002]对于移动机器人,场景理解是其实现真正智能化的最核心技术,其场景理解能力依赖于面向场景解析的高精度语义分割算法具有场景理解能力的服务机器人即拥有了场景语义分割的能力,在配合移动底座和高精度机械臂后,能够进一步实现自主导航、物体送达、室内安保等高级任务。
[0003]场景理解在早期的计算机视觉相关的研究工作中就已经被重视,但一直无法找出较有效的解决方法。场景理解研究中存在较多难点，比如：如何在场景中的目标物体受到平移、旋转、光照或畸变等影响时,仍能获得该目标物体的鲁棒特征、为了取得更好的分割效果，研究人员通常会为基于深度学习的语义分割模型设计复杂的结构来提高分割精度，如ASPP模块等，但复杂的结构通常会降低模型的运行速度、为了提高模型的运行速度，很多轻量语义分割模型被提出，然而轻量模型的精度与精确模型相比有一定差距，结构通常也比较特殊，较难改进或者改进后可能需要在ImageNet数据集上进行预训练，设备要求高且训练费时费力。
[0004]综上，应用于移动机器人的面向场景解析的语义分割模型需要保证高精度，在未部署到移动端时即可达到实时的处理速度，从而可以使模型在直接使用时就能高精度地对场景进行解析，在专用设备上应用时不会因为降低精度的操作而损失过多的场景解析性能。考虑到设备的限制，难以对全新的模型进行重复迭代验证，因此本专利技术提出了一种用于复杂环境移动机器人场景理解的语义分割模型，该模型采用语义指导上采样模块以及RepVGG模块将不同层级的特征图进行对齐融合，能捕获丰富的上下文信息。并且该模型最复杂的结构只有五级，结构简单模型更易训练且处理速度快等特点，并可以根据需求和平台灵活调整网络中的参数能进一步加快网路的推理速度。这些特点的结合，能很好的使移动机器人在应对复杂多变的环境下，迅速做出合理且精细的判断并加以应对。

技术实现思路

[0005]针对现有技术中存在的问题和不足，本专利技术的目的旨在提供一种用于复杂环境移动机器人场景理解的语义分割模型训练方法及图像语义分割方法。
[0006]为实现专利技术目的，本专利技术采用的技术方案如下：
[0007]本专利技术第一方面提供了一种用于复杂环境移动机器人场景理解的语义分割模型训练方法，包括以下步骤：
[0008]S1：获取样本图像集，所述样本图像集中包括多个样本图像，所述样本图像中含有样本分割区域以及样本分割区域对应的样本类别信息；将样本图像集按比例随机划分为训
练集、验证集和测试集；
[0009]S2：将训练集中的样本图像输入预先构建的语义分割模型进行检测，得到所述样本图像的语义分割结果，所述语义分割结果包括基于语义识别得到的所述样本图像的特征区域和特征区域对应的类别信息；根据样本图像中的样本分割区域及样本分割区域对应的样本类别信息以及样本图像的特征区域和特征区域对应的类别信息构建损失函数，根据所述损失函数，采用反向传播对语义分割模型进行参数更新，得到训练后的语义分割模型；
[0010]S3：采用验证集对步骤S2得到的训练后的语义分割模型进行验证，从训练后的语义分割模型中选出最优语义分割模型；
[0011]S4：采用测试集对步骤S3筛选的最优语义分割模型进行测试，评估最优语义分割模型的性能。
[0012]根据上述的语义分割模型训练方法，优选地，所述语义分割模型包含编码器、Neck网络和解码器，所述编码器用于对待分割图像进行多个不同通道的特征提取，提取后生成多个不同通道的特征图；所述Neck网络位于编码器和解码器之间，用于对编码器生成的多个不同通道的特征图进行加工处理，使输入的多个不同通道的特征图的通道数调整相同；所述解码器用于将Neck网络输出的特征图进行上采样处理，得到最终的语义分割结果。
[0013]根据上述的语义分割模型训练方法，优选地，所述编码器包含五个网络结构相同的主干网络和四个结构相同的下采样模块组成；待分割图像从第一主干网络输入，经第一主干网络进行特征提取后生成一级特征图；一级特征图经第一下采样模块进行下采样后输入第二主干网络，经第二主干网络进行特征提取后生成二级特征图；二级特征图经第二下采样模块进行下采样后输入第三主干网络，经第三主干网络进行特征提取后生成三级特征图；三级特征图经第三下采样模块进行下采样后输入第四主干网络，经第四主干网络进行特征提取后生成四级特征图；四级特征图经第四下采样模块进行下采样后输入第五主干网络，经第五主干网络进行特征提取后生成五级特征图。
[0014]根据上述的语义分割模型训练方法，优选地，所述主干网络为ResNet
‑
18网络；所述下采样模块的步长为2。
[0015]根据上述的语义分割模型训练方法，优选地，所述Neck网络包含四个并列设置的RepVGG模块，四个RepVGG模块的网络结构相同，其中，第一RepVGG模块的输入为二级特征图，第一RepVGG模块的输出为二级变换特征图；第二RepVGG模块的输入为三级特征图，第二RepVGG模块的输出为三级变换特征图；第三RepVGG模块的输入为四级特征图，第三RepVGG模块的输出为四级变换特征图；第四RepVGG模块的输入为五级特征图，第四RepVGG模块的输出为五级变换特征图；所述解码器包含3个网络结构相同的上采样模块，每个上采样模块均由语义指导上采样模块和RepVGG模块组成；第一上采样模块的输入为四级变换特征图和五级变换特征图，第一上采样模块的输出为四级变换特征图和五级变换特征图经语义融合得到的四级融合特征图；第二上采样模块的输入为三级变换特征图和四级融合特征图，第二上采样模块的输出为三级变换特征图和四级融合特征图经语义融合得到的三级融合特征图；第三上采样模块的输入为二级变换特征图和三级融合特征图，第三上采样模块的输出为二级变换特征图和三级融合特征图经语义融合得到的二级融合特征图；将二级融合特征图的通道数调整至与待分割图像一致，得到语义分割结果并输出。
[0016]根据上述的语义分割模型训练方法，优选地，每个上采样模块均由语义指导上采
样模块和RepVGG模块组成；语义指导上采样模块用于对输入上采样模块的两个特征图进行特征语义对齐处理，并将特征语义对齐后的两个特征图进行融合，得到相应的融合特征图；所述语义指导上采样模块包含反卷积模块、拼接模块、RepVGG模块、卷积模块和Warp变形模块。更加优选地，语义指导上采样模块中，所述反卷积模块由转置卷积层、批量归一化层和激活函数组成，反卷积模块的卷积核大小为2，步长为2，填充为0；所述卷积模块为3
×
3卷积模块。
[0017]根据上述的语义分割模型训练方法，优选地，语义指导上采样模块对输入的两个特征图进行处理的具体过程为：
[0018](1)将输入上采样模块的两个特征图中高一级的特征图记作X
i+1
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于复杂环境移动机器人场景理解的语义分割模型训练方法，其特征在于，包括以下步骤：S1：获取样本图像集，所述样本图像集中包括多个样本图像，所述样本图像中含有样本分割区域以及样本分割区域对应的样本类别信息；将样本图像集按比例随机划分为训练集、验证集和测试集；S2：将训练集中的样本图像输入预先构建的语义分割模型进行检测，得到所述样本图像的语义分割结果，所述语义分割结果包括基于语义识别得到的所述样本图像的特征区域和特征区域对应的类别信息；根据样本图像中的样本分割区域及样本分割区域对应的样本类别信息以及样本图像的特征区域和特征区域对应的类别信息构建损失函数，根据所述损失函数，采用反向传播对语义分割模型进行参数更新，得到训练后的语义分割模型；S3：采用验证集对步骤S2得到的训练后的语义分割模型进行验证，从训练后的语义分割模型中选出最优语义分割模型；S4：采用测试集对步骤S3筛选的最优语义分割模型进行测试，评估最优语义分割模型的性能；所述语义分割模型包含编码器、Neck网络和解码器，所述编码器用于对待分割的图像进行多个不同通道的特征提取，提取后生成多个不同通道的特征图；所述Neck网络位于编码器和解码器之间，用于对编码器生成的多个不同通道的特征图进行加工处理，使输入的多个不同通道的特征图的通道数调整相同；所述解码器用于将Neck输出的特征图进行上采样处理，得到最终的语义分割结果。2.根据权利要求1所述的语义分割模型训练方法，其特征在于，所述编码器包含五个网络结构相同的主干网络和四个结构相同的下采样模块组成；待分割图像从第一主干网络输入，经第一主干网络进行特征提取后生成一级特征图；一级特征图经第一下采样模块进行下采样后输入第二主干网络，经第二主干网络进行特征提取后生成二级特征图；二级特征图经第二下采样模块进行下采样后输入第三主干网络，经第三主干网络进行特征提取后生成三级特征图；三级特征图经第三下采样模块进行下采样后输入第四主干网络，经第四主干网络进行特征提取后生成四级特征图；四级特征图经第四下采样模块进行下采样后输入第五主干网络，经第五主干网络进行特征提取后生成五级特征图。3.根据权利要求2所述的语义分割模型训练方法，其特征在于，所述Neck网络包含四个并列设置的RepVGG模块，四个RepVGG模块的网络结构相同，其中，第一RepVGG模块的输入为二级特征图，第一RepVGG模块的输出为二级变换特征图；第二RepVGG模块的输入为三级特征图，第二RepVGG模块的输出为三级变换特征图；第三RepVGG模块的输入为四级特征图，第三RepVGG模块的输出为四级变换特征图；第四RepVGG模块的输入为五级特征图，第四RepVGG模块的输出为五级变换特征图；所述解码器包含3个网络结构相同的上采样模块，每个上采样模块均由语义指导上采样模块和RepVGG模块组成；第一上采样模块的输入为四级变换特征图和五级变换特征图，第一上采样模块的输出为四级变换特征图和五级变换特征图经语义融合得到的四级融合特征图；第二上采样模块的输入为三级变换特征图和四级融合特征图，第二上采样模块的输出为三级变换特征图和四级融合特征图经语义融合得到的三级融合特征图；第三上采样模块的输入为二级变换特征图和三级融合特征图，第三上采样模块的输出为二级变换特征图和三级融合特征图经语义融合得到的二级融合特征图；将
二级融合特征图的通道数调整至与待分割图像一致，得到语义分割结果并输出。4.根据权利要求3所述的语义分割模型训练方法，其特征在于，每个上采样模块均由语义指导上采样模块和RepVGG模块组成；语义指导上采样模块用于对输入上采样模块的两个特征图进行特征语义对齐处理，并将特征语义对齐...

【专利技术属性】
技术研发人员：李恒宇，程立，刘靖逸，岳涛，王曰英，谢少荣，罗均，
申请(专利权)人：上海大学，
类型：发明
国别省市：