基于场景分割的夜间机器人运动决策方法技术

本发明专利技术涉及一种基于场景分割的夜间机器人运动决策方法，包括以下步骤：构建红外图像训练数据集和测试数据集；对每个场景类别进行标注，并且将标注出的图像形式保存作为场景分割的训练标签；构建CDNN网络框架，利用训练数据集和训练标签进行训练，通过深度卷积神经网络将输入的原始图像提取特征，场景分割分支提高运动预测网络整体精度；将建立的神经网络模型用于在线实时的夜间机器人场景分割与运动决策，即将夜间机器人采集的图像输入构建的CDNN网络，模型在线实时输出给出的方向决策建议及场景分割图像。本发明专利技术能够提高运动预测精度。

Motion decision method of night robot based on scene segmentation

The invention relates to a night robot motion decision making method based on scene segmentation, including the following steps: building an infrared image training data set and testing data set, marking each scene category, and preserving the annotated image as a training label for scene segmentation; building a CDNN network framework, using training. Training the data set and training label, extracting the original image by the deep convolution neural network, the segmentation branch of the scene improves the overall accuracy of the motion prediction network, and the neural network model is used for the real-time real-time scene segmentation and motion decision of the night robot, and the pictures collected by the night robot are taken. As input to build the CDNN network, the model outputs the direction decision proposal and scene segmentation image online and in real time. The invention can improve the precision of motion prediction.

【技术实现步骤摘要】
基于场景分割的夜间机器人运动决策方法
本专利技术涉及机器人控制
，特别是涉及一种基于场景分割的夜间机器人运动决策方法。
技术介绍
机器人能对周围环境进行探测，根据收集到的信息自动决策运动行为，从而完成一系列指定的工作，因此在搜索和救援、监测、研究、勘探和绘图等许多应用中取得了巨大的成功。对于有效载荷非常有限的机器人，携带先进的雷达是不可行的。最近的一些成果使用激光测距仪或RGB-D相机取得了一些进展。但是这两种传感器的体积和功率较大，导致功率消耗增加，运行时间减少。相比之下，基于视觉的机器人场景分割和运动决策的解决方案是可行的。机器人常被应用到许多复杂和危险的环境中去代替人类工作，如灾难、雾霾或夜晚无光的情况下，通常普通的摄像头往往难以发挥作用。与普通摄像头不同，红外成像系统通过物体表面与环境之间温度辐射差异进行成像，不需要外界光源，因此可以在夜间和光线较弱时发挥重要作用。通过红外成像系统获得的图像称为红外图像，与可见光图像相比，红外图像具有无色彩、对比度低、信噪比低和缺乏深度感等缺点。机器人在夜间的场景识别能力和自主运动能力是机器人能否在夜间顺利完成任务的关键。为了增强机器人对红外图像的场景识别，在夜间模式下更快更精确地探测和识别周围环境，进而实现机器人自主导航，研究夜间机器人场景分割与运动决策意义深刻。传统的场景分割技术就是将具有相同特征的像素聚类，从而把图像划分成不同的区域。基于图论的场景分割是一种比较有效的图像分割算法，后来Ross还把该算法跟卷积神经网络结合从而实现了目标检测。基于图论的图像分割算法的思路是将原图映射为带权无向图，原图中的像素对应带权无向图的节点，原图中的像素之间的关系对应带权无向图的边，原图中的像素特征之间的差异或相似性对应带权无向图中边的权重，然后利用各种分割方向对带权无向图上的节点进行划分，进而完成对图像的分割(闫成新,桑农,张天序.基于图论的图像分割研究进展[J].计算机工程与应用,2006,42(5):11-14.)。基于图论的图像分割算法很好地体现了局部信息和整体信息之间的关系。带权无向图中边的权值是为了提取像素之间的局部信息，可以表示像素的灰度、位置、颜色或纹理的特征，或者是这些特征的组合，而将图分割成一个个的子图则体现了图像特征的整体信息(anlonJ,DeoN.Graph-theoreticalgorithmsforimagesegmentation[C]//IEEEInternationalSymposiumonCircuitsandSystems.IEEE,1999:141-144vol.6)。
技术实现思路
本专利技术所要解决的技术问题是提供一种基于场景分割的夜间机器人运动决策方法，能够提高运动预测精度。本专利技术解决其技术问题所采用的技术方案是：提供一种基于场景分割的夜间机器人运动决策方法，包括以下步骤：(1)构建红外图像训练数据集和测试数据集；(2)对每个场景类别进行标注，并且将标注出的图像形式保存作为场景分割的训练标签；(3)构建CDNN网络框架，利用训练数据集和训练标签进行训练，通过深度卷积神经网络将输入的原始图像提取特征，场景分割分支提高运动预测网络整体精度；(4)将建立的神经网络模型用于在线实时的夜间机器人场景分割与运动决策，即将夜间机器人采集的图像输入构建的CDNN网络，模型在线实时输出给出的方向决策建议及场景分割图像。所述步骤(1)具体为：用红外摄像头的机器人采集实验图像，将采集到图像分为训练数据集和测试数据集，并对训练数据集和测试数据集的所有图像重新命名，并制作训练数据集和测试数据集的图像名称列表。所述步骤(2)中的场景类别分为8类。所述步骤(3)中构建的CDNN网络框架包括卷积层、激励层和池化层多个阶段，每个阶段的输入和输出的数组集合叫特征图，网络最后输出的特征图看作是从输入图像的所有位置上提取出来的特定特征；前几个阶段是由卷积层和池化层组成的降采样过程，卷积层的单元被组织在特征图中，卷积层的单元通过一组滤波器连接到上一层的特征图中的一个局部块，然后这个局部的加权和被传递给一个非线性激活函数。所述步骤(3)中构建的CDNN网络框架采用多任务学习的隐层参数硬共享机制，采用VGG16模型作为基网络，通过全连接层和Softmax输出角度和速度的分类，在pooling5层前分类任务与场景分割任务共享隐层，但是在pooling5层后分类任务与场景分割任务的输出层不同；所述CDNN网络框架把场景识别转化为像素级分类问题，并将场景分割作为额外的训练误差以提高模型的整体精度。所述步骤(3)和步骤(4)之间还包括利用测试数据集的图像和样本文件测试训练出的神经网络模型是否满足误差要求，如果满足则进入步骤(4)，否则重新进行训练。有益效果由于采用了上述的技术方案，本专利技术与现有技术相比，具有以下的优点和积极效果：本专利技术可以从场景分割损失和运动预测损失中共同学习，能很好地实现夜间机器人的运动预测。实验证明通过一个侧面的任务即场景分割任务作为额外的监督能够提高分类的准确率。并且本申请的CDNN框架运行速度快，满足了实时的要求。附图说明图1是总体网络结构图；图2是卷积-反卷积场景分割网络实验流程图；图3是CDNN框架结构图。具体实施方式下面结合具体实施例，进一步阐述本专利技术。应理解，这些实施例仅用于说明本专利技术而不用于限制本专利技术的范围。此外应理解，在阅读了本专利技术讲授的内容之后，本领域技术人员可以对本专利技术作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。本专利技术的实施方式涉及一种基于场景分割的夜间机器人运动决策方法，如图1所示，对于原始的红外图像，进行红外图像的场景标定及运动预测的人工标定，进而形成夜视红外图像数据集。利用红外图像数据集训练卷积-反卷积神经网络，其中场景分割把场景识别转化为像素级分类问题，并将场景分割作为额外的训练误差以提高模型的整体精度。其后通过CDNN网络输出控制机器人的速度和角度，具体包括如下步骤：步骤1：构建红外图像训练和测试数据集。采用实验室载有FLIR红外摄像头的机器人采集实验图像，1500张红外图像作为训练数据集，600张红外图像作为测试数据集，每张图像大小为360*480。对训练数据集和测试数据集的所有图像按规定重新命名，并制作训练数据集和测试数据集的图像名称列表。步骤2：用LabelMe标注工具标注每个场景类别，并且将标注出的图像形式保存作为场景分割的训练标签。共包括8个场景类别，分别为草地Grassland、建筑Building、车辆Vehicle、人Person、路Road、路标SignBoard、天空Sky、树Tree。人工对所有训练和测试图像编写绝对路径，即将所有图像所存在的路径写出。步骤3：构建CDNN框架，利用步骤1得到的夜视红外图像数据集训练该卷积-反卷积神经网络，一个典型的卷积神经网络包含卷积层、激励层和池化层多个阶段，每个阶段的输入和输出的数组集合叫特征图。网络最后输出的特征图可以看作是从输入图像的所有位置上提取出来的特定特征。前几个阶段是由卷积层和池化层组成的降采样过程，卷积层的单元被组织在特征图中，卷积层的单元通过一组滤波器连接到上一层的特征图中的一个局部块，然后这个局部的加权和被传递给一本文档来自技高网...

【技术保护点】
1.一种基于场景分割的夜间机器人运动决策方法，其特征在于，包括以下步骤：(1)构建红外图像训练数据集和测试数据集；(2)对每个场景类别进行标注，并且将标注出的图像形式保存作为场景分割的训练标签；(3)构建CDNN网络框架，利用训练数据集和训练标签进行训练，通过深度卷积神经网络将输入的原始图像提取特征，场景分割分支提高运动预测网络整体精度；(4)将建立的神经网络模型用于在线实时的夜间机器人场景分割与运动决策，即将夜间机器人采集的图像输入构建的CDNN网络，模型在线实时输出给出的方向决策建议及场景分割图像。

【技术特征摘要】
1.一种基于场景分割的夜间机器人运动决策方法，其特征在于，包括以下步骤：(1)构建红外图像训练数据集和测试数据集；(2)对每个场景类别进行标注，并且将标注出的图像形式保存作为场景分割的训练标签；(3)构建CDNN网络框架，利用训练数据集和训练标签进行训练，通过深度卷积神经网络将输入的原始图像提取特征，场景分割分支提高运动预测网络整体精度；(4)将建立的神经网络模型用于在线实时的夜间机器人场景分割与运动决策，即将夜间机器人采集的图像输入构建的CDNN网络，模型在线实时输出给出的方向决策建议及场景分割图像。2.根据权利要求1所述的基于场景分割的夜间机器人运动决策方法，其特征在于，所述步骤(1)具体为：用红外摄像头的机器人采集实验图像，将采集到图像分为训练数据集和测试数据集，并对训练数据集和测试数据集的所有图像重新命名，并制作训练数据集和测试数据集的图像名称列表。3.根据权利要求1所述的基于场景分割的夜间机器人运动决策方法，其特征在于，所述步骤(2)中的场景类别分为8类。4.根据权利要求1所述的基于场景分割的夜间机器人运动决策方法，其特征在于，所述步骤(3)中构建的CDNN网络框架包括卷...

【专利技术属性】
技术研发人员：廖雁洲，孙韶媛，高凯珺，吴雪平，
申请(专利权)人：东华大学，
类型：发明
国别省市：上海,31