一种障碍物实时检测和分类方法技术

本发明专利技术提出了一种障碍物实时检测和分类方法，属于机器人智能导航领域。本发明专利技术提出的一种障碍物实时检测和分类方法，可以满足在不同环境下，不需要大量的人为图像分割的标定而只需语义有无障碍物标定的训练集，也能对障碍物进行很好的检测和识别，而且训练的效率大大缩小。大大提高标定的效率、训练的效率以及障碍物检测和识别的准确率，在技术上具有一定的超前性。

A Real-time Obstacle Detection and Classification Method

The invention provides a real-time obstacle detection and classification method, which belongs to the field of intelligent navigation of robots. A real-time obstacle detection and classification method proposed by the present invention can satisfy the requirement that in different environments, a large number of artificial image segmentation calibrations are not required, but only a training set of semantic obstacle-free calibration is needed, and the obstacle can be detected and identified well, and the training efficiency is greatly reduced. It greatly improves the efficiency of calibration, training and the accuracy of obstacle detection and recognition. It has a certain advance in technology.

【技术实现步骤摘要】
一种障碍物实时检测和分类方法
本专利技术属于机器人智能导航领域，特别涉及一种障碍物实时检测和分类方法。
技术介绍
近年来，随着计算机硬件以及图像处理技术的快速发展，图像分割的技术也在突飞猛进的发展。前些年，基于传统的图像分割有基于阈值的分割、区域生长、区域分裂合并、分水岭算法、边缘分割(边缘检测)、直方图法、聚类分析、小波变换等。在2012年，Alex等赢得ImageNet挑战赛堪称是CNN发展史上的里程碑，自那之后，CNN就成了图像分类的黄金标准，并且性能不断提升。到如今，基于CNN的物体检测和分割的GAN、cGAN、R-CNN、FastR-CNN、FasterR-CNN、MaskR-CNN等技术，将图像分割达到像素级别分割技术，并且逐步由理论研究到实时的应用，物体识别率也不断的增高，成为无人驾驶领域和安防领域最重要的一个环节之一。物体的检测和识别技术涉及到图像处理、图像分析、模式识别、深度学习等众多领域，既是一个跨学科的综合问题，也是一个极具挑战的前沿课题。在物体检测和识别技术发展过程中，虽然浮现出相应的问题和挑战，但是也创造出相应的发展和机遇。另外，基于物体检测和识别技术具有重要的研究的意义。首先，基于物体的检测和识别的人脸识别技术已得到广泛的应用，比如车站的身份证确认以及嫌疑人的追踪识别。其次，由基于深度学习的物体检测和识别技术可以在无人驾驶领域得到全面的应用，这可以大大提高交通的安全性和效率，为国家经济发展乃至人类文明的发展踏出革命性的一步。在现有技术中，有一种基于生成式对抗网络(GAN,GenerativeAdversarialNetworks)的Pix2Pix框架，能根据输入图像快速识别图像中的障碍物及其分类。但是其存在一些问题：在数据集不大的情况下，生成的图像不能区分人和动态障碍物；如果把现有的模型放在新环境下进行障碍物检测和分类，其效果大打折扣，也就是说，在新的环境下，必须重新制作图像分割标签数据集，这样效率会大大降低。
技术实现思路
为了解决上述问题，本专利技术提出了一种障碍物实时检测和分类方法，可以满足在不同环境下，不需要大量的人为图像分割的标定而只需语义有无障碍物标定的训练集，也能对障碍物进行很好的检测和识别。一种障碍物实时检测和分类方法，应用于机器人，所述机器人设有单目摄像头，包络以下步骤：步骤1，获取训练图像，基于所述单目摄像头测量所述机器人正前方、左方、右方的分割线在训练图像中的坐标，对训练图像进行分割，对分割的训练图像进行标注，得到训练图像分割数据集和训练障碍物分类数据集；步骤2，将所述训练图像分割数据集和训练障碍物分类数据集输入至网络中进行训练，得到训练好的网络模型；步骤3，获取原始图像，得到所述原始图像的障碍物分类数据集；步骤4，将所述障碍物分类数据集输入至训练好的网络模型中对部分网络进行训练，保存模型参数。进一步地，所述步骤1包括以下流程：将获取的训练图像分割为正前方、左方和右方后，标注分割后的训练图像，将机器人可行走区域、静态障碍物、花草树木、人和动态障碍物采用不同的方式进行标注，得到训练图像分割数据集；根据所述机器人的正前方、左方、右方三个方向有无静态障碍物、花草树木、人和动态障碍物三种障碍物，生成训练障碍物分类数据集，所述训练障碍物分类数据集由0、1组成的长度为9的向量标注分类标签构成。进一步地，所述步骤2包括以下流程：将所述训练图像分割数据集和训练障碍物分类数据集输入生成式对抗网络进行训练，求取障碍物分类损失函数的最小值后，再求取图像分割损失函数的最小值；其中，所述障碍物分类损失函数为ζ(C)＝-E[ZilogC(x)i+(1-Zi)log(1-C(x)i)],i＝1,2,...,9式中，Zi为标注分类标签中的长度为9的向量中第i个值，C(x)i为C(x)中长度为9的向量中的第i个，C(x)为所述生成式对抗网络中生成式网络输出的图像特征表达；所述图像分割损失函数为式中，ζcGAN(G,D)＝Ex,y[logD(x,y)]+Ex[log(1-D(x,G(x)))]，ζL1(G)＝Ex,y[||y-G(x)||1]，G表示生成式网络，D表示判别式网络。进一步地，所述步骤4包括以下流程：改变生成式网络中图像特征提取层的权重，求取损失函数的最小值，保持其它网络层参数不变；其中，损失函数为本专利技术的有益效果：本专利技术提出的一种障碍物实时检测和分类方法，可以满足在不同环境下，不需要大量的人为图像分割的标定而只需语义有无障碍物标定的训练集，也能对障碍物进行很好的检测和识别，而且训练的效率大大缩小。大大提高标定的效率、训练的效率以及障碍物检测和识别的准确率，在技术上具有一定的超前性。附图说明图1为本专利技术实施例的网络模型。图2为本专利技术实施例的自编码网络和U-Net网络。图3为本专利技术实施例的流程图。具体实施方式下面结合附图对本专利技术的实施例做进一步的说明。本专利技术提出的一种障碍物实时检测和分类方法，在Pix2pix框架的基础上进行改进，Pix2pix框架基于生成式对抗网络(GAN,GenerativeAdversarialNetworks)。GAN是受博弈论中的零和博弈的启发，由[Goodfellowetal,NIPS2014]开创性地提出。在零和博弈中，两位博弈方的利益之和为零或一个常数，即一方有所得，另一方必有所失。GAN模型中的两位博弈方分别由生成式模型(generativemodel)和判别式模型(discriminativemodel)充当。生成模型G捕捉样本数据的分布，判别模型是一个二分类器，估计一个样本来自于训练数据(而非生成数据)的概率。G和D一般都是非线性映射函数，例如多层感知机、卷积神经网络等。请参阅图1，图1为本专利技术实施例中的网络模型，基于Pix2Pix框架，在生成网络(GenerativeNetwork)的encoder卷积层的第7层后面另外加上6层decoder和一层全连接层。全连接层输出层有9个神经元再接sigmoid分类器就得到classifiedC(x)，分别表示左中右方向上有无三种(红、绿、蓝)障碍物的置信度。这样整个网络可以看成图像特征的提取和表达，encoder网络层就是图像特征提取层，decoder网络层就是图像特征表达，即G(x)和C(x)是图像两种表达的结果。本实施例中，选择在encoder卷积层的第7层后面添加网络层，是因为在训练过程中，发现encoder卷积层的第8层和decoder第8层的参数和初始化的参数一样，始终保持不变，也就是说这两层对网络没什么影响。图1中，卷积层和反卷积层没注明步长的，stride＝2。在未进行添加网络层时的Pix2Pix框架，对于图像翻译任务来说，它的G输入是一张图x，输出当然也是一张图G(x)。但是D的输入却应该发生一些变化，因为除了要生成真实图像之外，还要保证生成的图像和输入图像是匹配的。于是D的输入就做了一些变动，因此pix2pix的损失函数为：ζcGAN(G,D)＝Ex,y[logD(x,y)]+Ex[log(1-D(x,G(x)))]对于图像翻译任务而言，G的输入和输出之间其实共享了很多信息，比如图像上色任务，输入和输出之间就共享了边信息。因而为了保证输入图像和输出图像之间的相似度。还加入了L1本文档来自技高网...

【技术保护点】
1.一种障碍物实时检测和分类方法，应用于机器人，所述机器人设有单目摄像头，其特征在于，包络以下步骤：步骤1，获取训练图像，基于所述单目摄像头测量所述机器人正前方、左方、右方的分割线在训练图像中的坐标，对训练图像进行分割，对分割的训练图像进行标注，得到训练图像分割数据集和训练障碍物分类数据集；步骤2，将所述训练图像分割数据集和训练障碍物分类数据集输入至网络中进行训练，得到训练好的网络模型；步骤3，获取原始图像，得到所述原始图像的障碍物分类数据集；步骤4，将所述障碍物分类数据集输入至训练好的网络模型中对部分网络进行训练，保存模型参数。

【技术特征摘要】
1.一种障碍物实时检测和分类方法，应用于机器人，所述机器人设有单目摄像头，其特征在于，包络以下步骤：步骤1，获取训练图像，基于所述单目摄像头测量所述机器人正前方、左方、右方的分割线在训练图像中的坐标，对训练图像进行分割，对分割的训练图像进行标注，得到训练图像分割数据集和训练障碍物分类数据集；步骤2，将所述训练图像分割数据集和训练障碍物分类数据集输入至网络中进行训练，得到训练好的网络模型；步骤3，获取原始图像，得到所述原始图像的障碍物分类数据集；步骤4，将所述障碍物分类数据集输入至训练好的网络模型中对部分网络进行训练，保存模型参数。2.如权利要求1所述的障碍物实时检测和分类方法，其特征在于，所述步骤1包括以下流程：将获取的训练图像分割为正前方、左方和右方后，标注分割后的训练图像，将机器人可行走区域、静态障碍物、花草树木、人和动态障碍物采用不同的方式进行标注，得到训练图像分割数据集；根据所述机器人的正前方、左方、右方三个方向有无静态障碍物、花草树木、人和动态障碍物三种障碍物，生成训练障碍物分类数据集，所述训练障碍物分类数据集由0、1组...

【专利技术属性】
技术研发人员：廖敏，叶茂，张宇潇，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川,51