【技术实现步骤摘要】
一种用于复杂环境移动机器人场景理解的语义分割模型训练方法
[0001]本专利技术涉及图像处理
,具体涉及一种用于复杂环境移动机器人场景理解的语义分割模型训练方法。
技术介绍
[0002]对于移动机器人,场景理解是其实现真正智能化的最核心技术,其场景理解能力依赖于面向场景解析的高精度语义分割算法具有场景理解能力的服务机器人即拥有了场景语义分割的能力,在配合移动底座和高精度机械臂后,能够进一步实现自主导航、物体送达、室内安保等高级任务。
[0003]场景理解在早期的计算机视觉相关的研究工作中就已经被重视,但一直无法找出较有效的解决方法。场景理解研究中存在较多难点,比如:如何在场景中的目标物体受到平移、旋转、光照或畸变等影响时,仍能获得该目标物体的鲁棒特征、为了取得更好的分割效果,研究人员通常会为基于深度学习的语义分割模型设计复杂的结构来提高分割精度,如ASPP模块等,但复杂的结构通常会降低模型的运行速度、为了提高模型的运行速度,很多轻量语义分割模型被提出,然而轻量模型的精度与精确模型相比有一定差距,结构通常也比较特殊,较难改进或者改进后可能需要在ImageNet数据集上进行预训练,设备要求高且训练费时费力。
[0004]综上,应用于移动机器人的面向场景解析的语义分割模型需要保证高精度,在未部署到移动端时即可达到实时的处理速度,从而可以使模型在直接使用时就能高精度地对场景进行解析,在专用设备上应用时不会因为降低精度的操作而损失过多的场景解析性能。考虑到设备的限制,难以对全新的模型进行重复迭代验证,因此 ...
【技术保护点】
【技术特征摘要】
1.一种用于复杂环境移动机器人场景理解的语义分割模型训练方法,其特征在于,包括以下步骤:S1:获取样本图像集,所述样本图像集中包括多个样本图像,所述样本图像中含有样本分割区域以及样本分割区域对应的样本类别信息;将样本图像集按比例随机划分为训练集、验证集和测试集;S2:将训练集中的样本图像输入预先构建的语义分割模型进行检测,得到所述样本图像的语义分割结果,所述语义分割结果包括基于语义识别得到的所述样本图像的特征区域和特征区域对应的类别信息;根据样本图像中的样本分割区域及样本分割区域对应的样本类别信息以及样本图像的特征区域和特征区域对应的类别信息构建损失函数,根据所述损失函数,采用反向传播对语义分割模型进行参数更新,得到训练后的语义分割模型;S3:采用验证集对步骤S2得到的训练后的语义分割模型进行验证,从训练后的语义分割模型中选出最优语义分割模型;S4:采用测试集对步骤S3筛选的最优语义分割模型进行测试,评估最优语义分割模型的性能;所述语义分割模型包含编码器、Neck网络和解码器,所述编码器用于对待分割的图像进行多个不同通道的特征提取,提取后生成多个不同通道的特征图;所述Neck网络位于编码器和解码器之间,用于对编码器生成的多个不同通道的特征图进行加工处理,使输入的多个不同通道的特征图的通道数调整相同;所述解码器用于将Neck输出的特征图进行上采样处理,得到最终的语义分割结果。2.根据权利要求1所述的语义分割模型训练方法,其特征在于,所述编码器包含五个网络结构相同的主干网络和四个结构相同的下采样模块组成;待分割图像从第一主干网络输入,经第一主干网络进行特征提取后生成一级特征图;一级特征图经第一下采样模块进行下采样后输入第二主干网络,经第二主干网络进行特征提取后生成二级特征图;二级特征图经第二下采样模块进行下采样后输入第三主干网络,经第三主干网络进行特征提取后生成三级特征图;三级特征图经第三下采样模块进行下采样后输入第四主干网络,经第四主干网络进行特征提取后生成四级特征图;四级特征图经第四下采样模块进行下采样后输入第五主干网络,经第五主干网络进行特征提取后生成五级特征图。3.根据权利要求2所述的语义分割模型训练方法,其特征在于,所述Neck网络包含四个并列设置的RepVGG模块,四个RepVGG模块的网络结构相同,其中,第一RepVGG模块的输入为二级特征图,第一RepVGG模块的输出为二级变换特征图;第二RepVGG模块的输入为三级特征图,第二RepVGG模块的输出为三级变换特征图;第三RepVGG模块的输入为四级特征图,第三RepVGG模块的输出为四级变换特征图;第四RepVGG模块的输入为五级特征图,第四RepVGG模块的输出为五级变换特征图;所述解码器包含3个网络结构相同的上采样模块,每个上采样模块均由语义指导上采样模块和RepVGG模块组成;第一上采样模块的输入为四级变换特征图和五级变换特征图,第一上采样模块的输出为四级变换特征图和五级变换特征图经语义融合得到的四级融合特征图;第二上采样模块的输入为三级变换特征图和四级融合特征图,第二上采样模块的输出为三级变换特征图和四级融合特征图经语义融合得到的三级融合特征图;第三上采样模块的输入为二级变换特征图和三级融合特征图,第三上采样模块的输出为二级变换特征图和三级融合特征图经语义融合得到的二级融合特征图;将
二级融合特征图的通道数调整至与待分割图像一致,得到语义分割结果并输出。4.根据权利要求3所述的语义分割模型训练方法,其特征在于,每个上采样模块均由语义指导上采样模块和RepVGG模块组成;语义指导上采样模块用于对输入上采样模块的两个特征图进行特征语义对齐处理,并将特征语义对齐...
【专利技术属性】
技术研发人员:李恒宇,程立,刘靖逸,岳涛,王曰英,谢少荣,罗均,
申请(专利权)人:上海大学,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。