基于Mask-RCNN的语义信息提取方法技术

本发明专利技术公开了一种基于Mask‑RCNN的语义信息提取方法，应用于语义地图构建环节，其特征在于结合深度学习实例分割算法Mask‑RCNN对室内物品进行不同个体的区分，对于语义地图中含有语义信息的图像精确标注并进行实例分割。对分割后的结果进行优化处理，使用DenseCRF算法对Mask‑RCNN分割后的图像边缘进行处理，使分割后的结果更加精确和平滑，提取到更加精确的环境信息，为后续语义地图构建奠定良好的基础，从而使移动机器人实现更好的人机交互。

【技术实现步骤摘要】
基于Mask-RCNN的语义信息提取方法
本专利技术涉及本专利技术涉及图像处理
，尤其涉及一种基于Mask-RCNN实例分割模型的语义地图构建环节中语义信息提取方法。
技术介绍
随着机器人技术的不断进步与发展，移动机器人越来越多地进入到人们的日常生活中，传统几何地图已无法满足机器人与复杂环境进行交互的信息需求，因此构建带有物体信息的语义地图成为研究的热点。移动机器人通过语义地图能够和用户进行自然的交流，从而完成自动驾驶、家庭服务等人机交互任务。语义地图生成的关键是完成对环境语义信息的提取，即实现对室内物体的准确分割。然而室内物品繁多，且对移动机器人来讲每个物体应属于单独的个体，如果只对几种类别进行语义划分，没有区分物体的个体，机器人将无法实现操作对象个体一类的服务任务。传统的分割算法对物体的特征提取不足，特征的区分较弱，在复杂环境下的分割效果不好、分割速度慢、鲁棒性不高，并且无法区分同种类的不同个体。随着深度学习技术在图像感知领域的快速发展，尤其是卷积神经网络(ConvolutionalNeuralNetwork,CNN)本文档来自技高网...

【技术保护点】
1.一种基于Mask-RCNN的语义信息提取方法，其特征在于应用于语义地图构建环节的语义信息提取，包括如下步骤：/n首先利用移动机器人自身携带的Kinect深度相机获取不同环境下的室内彩色图像序列，之后对图像中的物体进行实例级分割，所述的实例级分割过程为：使用一种深度学习分割算法模型进行训练，接着将采集的室内彩色图像传入到训练好的神经网络中经过不断的池化、卷积、提取物体的特征并进行分析，输入分割后的结果实现物体个体的区分，在像素层面识别目标轮廓，在图像中将目标检测出来，然后对每个像素打上标签，区分同类的不同实例；对于实例级分割后的结果，如在边缘细节方面处理不理想则对分割后的边缘进行优化，补充完...

【技术特征摘要】
1.一种基于Mask-RCNN的语义信息提取方法，其特征在于应用于语义地图构建环节的语义信息提取，包括如下步骤：
首先利用移动机器人自身携带的Kinect深度相机获取不同环境下的室内彩色图像序列，之后对图像中的物体进行实例级分割，所述的实例级分割过程为：使用一种深度学习分割算法模型进行训练，接着将采集的室内彩色图像传入到训练好的神经网络中经过不断的池化、卷积、提取物体的特征并进行分析，输入分割后的结果实现物体个体的区分，在像素层面识别目标轮廓，在图像中将目标检测出来，然后对每个像素打上标签，区分同类的不同实例；对于实例级分割后的结果，如在边缘细节方面处理不理想则对分割后的边缘进行优化，补充完善边缘细节的分割结果，提高分割准确率，实现对环境语义信息的精确提取。


2.根据权利要求1所述的基于Mask-RCNN的语义信息提取方法，其特征在于所述的实例级分割过程包括如下步骤：
首先对数据集标注：对获取的室内彩色图像序列的图片按照训练集：测试集：验证集进行划分，然后对训练集的图片进行标注；利用标注好的数据集，放入Mask-RCNN实例分割模型中进行训练；
其次，根据已经训练好的Mask-RCNN实例分割模型对室内图片进行实例分割，将待分割的图片输入到训练好的MaskR-CNN实例分割模型中，识别出可能是物体的候选框，然后将候选框输入到网络模型中进行实例分割，得到目标分类框或、及实例分割的结果，输出物体的目标框或类别、置信度及对应的掩码Mask；
最后，将分割后的结果输入到DenseCRF算法中，对分割后的结果进行优化，使物体的边缘信息更加精确，实现对环境中物体语义信息的提取。


3.根据权利要求2所述的基于Mask-RCNN的语义信息提取方法，其特征在于MaskR-CNN实例分割模型是在FasterR-CNN特征网络的基础上添加一个预测分割掩码Mask的分支，并且将FasterR-CNN的ROIPooling网络替换成ROIAlign网络，添加并列的FCN层或Mask层；在实现目标检测的同时，把目标中感兴趣的区域像素分割出来，训练完成后将得到包括类别Category、坐标Coordinates、掩码Mask输出的三分支网络模型和权重；其中Category将输出待检测的图片中包含哪种物体、Coordinates的目的是生成物体所对应的检测框的坐标、Mask输出物体所对应像素上覆盖的分割掩码。


4.根据权利要求2或3所述的基于Mask-RCNN的语义信息提取方法，其特征在于Mask-RCNN实例分割模型的训练方法如下：
首先，输入一张Kinect相机获取到的彩色图像，然后进行预处理操作；
其次，将标注后的相关文件输入到MaskR-CNN实例分割模型中进行训练，该实例分割模型先利用共享卷积网络CNN进行训练，然后使用共享的卷积层ResNeXt-101+FPN为全图提取特征，生成不同尺寸的特征图featuremaps；
在训练Mask-RCNN模型时，采用如下的损失函数：
L＝Lcls+Lbox+LMask(1)
其中，L表示总的误差，Lcls代表分类误差，Lbox表示回归误差，LMask表示分割误差；
再次，将上一步提取的不同尺寸的特征图通过RPN网络生成待检测框，由待检测框推测其中的物体可能出现的位置生成感兴趣区域ROI并进行筛选保留含有某些物体的检测框去除冗余框以...

【专利技术属性】
技术研发人员：吴怀宇，李琳，陈洋，郑秀娟，张天宇，吴帆，李想成，
申请(专利权)人：武汉科技大学，
类型：发明
国别省市：湖北;42