一种基于卷积神经网络的多类障碍物检测与识别方法技术

技术编号:15225114 阅读:117 留言:0更新日期:2017-04-27 03:38
本发明专利技术涉及一种基于卷积神经网络的多类障碍物检测与识别方法,属于计算机视觉与目标检测技术领域。该方法将车载视频转换为图片帧,应用类间方差法以及形态学操作从图片帧中提取得到ROI以及其在原图像中的位置信息,将提取得到的ROI放入AlexNet网络中进行分类,与此同时,由卡尔曼滤波根据分类得到的障碍物的位置信息进行状态估计,实现实时的障碍物检测与识别。本发明专利技术提取图像本身与图像间的多种特征,提高了障碍物检测与识别的精度;将障碍物的属性、运动趋势等信息设置到整个检测与识别系统中,对于驾驶员或者智能车的安全行驶起到了至关重要的作用,为未来全智能化的驾驶系统保驾护航。

【技术实现步骤摘要】

本专利技术属于计算机视觉与目标检测
,涉及一种基于卷积神经网络的多类障碍物检测与识别方法。
技术介绍
物体检测与类别辨识是目标检测与计算机视觉中的核心问题之一,检测到行车过程中的物体,如人、车、电线杆、路牌、护栏等障碍物信息对于人工驾驶以及智能车的安全行驶有着至关重要的作用。区分移动或者静止的障碍物的类别,计算障碍物与当前行驶车辆间的距离,判断障碍物的运动趋势,设计一个优质的视觉驾驶辅助系统,可以为智能车避障提供非常有价值价值的辅助信息。假如检测到障碍物为人或者车此类价值较高且处于移动状态的障碍物,且当人或者车向当前行驶车辆方向移动时,应该更偏向于紧急制动的处理措施;而当检测到人或者车以远离当前行驶车辆的方向行驶时,应该偏向于减速的处理措施。再假设检测到障碍物为护栏、电线杆这类价值较低,处于静止状态,但如果发生碰撞会对车或者驾驶员造成极大财产损失与人身伤害时,应该偏向于匀速或者加速远离障碍物的处理措施。目前基于卷积神经网络对目标进行检测的方法存在只能检测静态物体,且只针对单一目标进行检测,如专利申请号为201310633797.4,专利名称为《卷积神经网络和基于卷积神经网络的目标检测方法》仅针对行人进行了检测,只是简单地分辨出目标物体物和非目标物体,未对目标进行跟踪,也未对目标物体的属性未进行标注处理,如目标距离车的位置以及目标的运动趋势。且其采用的提取图像特征的方法单一,仅提取图像中检测区域的像素值作为卷积神经网络学习的特征。而基于像素值的图像特征无法描述图像中颜色的局部分布及每种色彩所处的空间位置,即无法描述图像中检测区域内目标的具体类别,检测与识别精度不高,且容易受到环境的干扰,如光照、图像分辨率、图像拍摄角度、抖动等。
技术实现思路
有鉴于此,本专利技术的目的在于提供一种基于卷积神经网络的多类障碍物检测与识别方法,该方法将车载视频转换为图片帧,应用类间方差法以及形态学操作从图片帧中提取得到ROI以及其在原图像中的位置信息,将提取得到的ROI放入AlexNet网络中进行分类,与此同时,由卡尔曼滤波根据分类得到的障碍物的位置信息进行状态估计,实现实时的障碍物检测与识别。本方法能够对行车过程中的移动或者静止的障碍物,如人、车、电线杆、路牌、护栏等进行检测与识别,并能跟踪处理图像,实时为障碍物备注上必要的属性,如类别、位置与运动趋势信息。该方法同时对多类障碍物进行检测,只要出现在图像中检测区域内的目标都会被检测到,移动的或者静止的;同时对多类障碍物进行检测,是适用于每一类的车,如公交车、轿车、出租车、摩托车、三轮车等具有车属性的对象;同时对多类障碍物进行检测,是适用于每一类的人,如大人、小孩等具有人属性的对象;同时对多类障碍物进行检测,是适用于每一类的路牌,不限定路牌的大小于类型。为达到上述目的,本专利技术提供如下技术方案:一种基于卷积神经网络的多类障碍物检测与识别方法,该方法包括以下步骤:S1:采集车载视频,包括由车载摄像机、行车记录仪、手持摄像机拍摄的车载视频,作为原始样本;S2:将采集到的车载视频进行视频分帧处理,将视频转换为连续的单帧图片;S3:应用自动图像分割提取方法提取单帧图片的ROI(regionofinterest,感兴趣区域),并标记ROI区域在原始图片中的相对位置信息,此处提取的ROI信息即为障碍物信息;S4:将提取好的ROI样本库放入AlexNet(Alex网络结构模型)中进行分类识别,实现障碍物的分类辨识,与此同时,根据ROI在原始图片中的位置信息应用卡尔曼滤波进行目标跟踪,实现对障碍物的实时跟踪与状态估计;S5:根据上述步骤,将原始视频直接放入训练调试好的卷积神经网络中进行测试,实现直接输入视频的对多类障碍物的实时检测与识别。进一步,在步骤S3中,所述的应用自动图像分割提取方法提取单帧图片的ROI区域具体包括以下步骤:S31:应用最大类间差阈值分割获取图像的RGB颜色信息,并分别提取图像的R、G、B分量,将RGB颜色空间转换到lab彩色空间,通过颜色空间转化函数makecform()和applycform()实现;S32:取出lab空间的a分量,采用最大类间差阈值法实现图像的自动阈值分割,按图像的灰度特性,通过阈值分割函数graythresh()找到图片的一个合适的阈值进行,将图像分为背景与目标两部分,并将灰度图像转化为二值图像;S33:采用膨胀算法和腐蚀算法平滑图像的边界轮廓曲线,去除狭窄的连接,去掉细小的突出部分,保留边界曲线围成的ROI区域,图像处理函数imdilate()实现图像膨胀,函数imerode()实现图像腐蚀,通过函数imfill()可将由边界曲线包围的ROI区域填充,腐蚀与膨胀的具体公式如下:腐蚀:膨胀:其中,B(x)代表结构元素,对工作空间E中的每一点X;S34:将图像中对应感兴趣区域之外的区域颜色信息设为0,去除背景,对应感兴趣区域的部分颜色信息保持不变,实现原图像中ROI区域的提取;S35:针对有同一帧图片中有多类障碍物需要分割的情况,是需要分别实现的,即分别提取不同类别的障碍物时,需重复上述步骤。在步骤S32和S33中,所述对输入图像的二值化以及对图像的形态学操作,包括:所述图像处理层二值化输入图像,再进行腐蚀后膨胀,最后填充的形态学操作;所述图像处理层二值化输入图像,再进行膨胀后腐蚀,最后填充的形态学操作;所述图像处理层对输入图像进行腐蚀后膨胀,填充,最后二值化的操作;所述图像处理层对输入图像进行膨胀后腐蚀,填充,最后二值化的操作。进一步,在步骤S4中,所述的将提取好的ROI样本库放入AlexNet中进行分类识别,实现障碍物的分类辨识具体包括:所述ALexNet网络包括输入层、卷积层、池化层、归一化、部分连接层、全连接层、输出层,网络的层数可以部分采用也可以全部采用,一种类型的网络层可以使用多次;所述ALexNet自主学习图像中检测区域的特征,对所述经过图像处理层处理后的图像进行自动特征提取,得到所述检测区域的特征图;所述卷积神经网络根据特征图确定训练库中每个识别目标的得分率,得分较高的就确定为检测区域的障碍物。进一步,在步骤S4中,所述的应用卡尔曼滤波结合ROI的位置信息,实现对障碍物的实时跟踪与状态估计,其中卡尔曼滤波的实现公式如下:X(k)=AX(k-1)+BU(k)+W(k)X(k)是K时刻的系统状态,U(k)是K时刻对系统的控制量,W(k)是过程噪声,A和B是系统参数,对于多模型系统,它们为矩阵。进一步,所述的多类障碍物检测与识别方法还包括步骤S6:根据步骤S5得到的检测与识别结果,实时更新障碍物信息,根据分类器得到的所述检测区域的目标物体,标注上物体的距离信息,制定实时响应机制;所述实时响应机制具体包括:响应1:所述目标物体为移动障碍物,具体的标注信息为目标物体与当前行驶车辆间的距离以及目标的运动趋势,判断障碍物与当前行驶车辆间的距离大于安全车距,且运动趋势为远离当前行驶车辆,则当前车辆采取匀速行驶的响应机制;响应2:所述目标物体为移动障碍物,具体的标注信息为目标物体与当前行驶车辆间的距离以及目标的运动趋势,判断障碍物与当前行驶车辆间的距离大于安全车距,且运动趋势为靠近当前行驶车辆,则当前车辆采取减速行驶的响应机制;响应3:所述本文档来自技高网
...

【技术保护点】
一种基于卷积神经网络的多类障碍物检测与识别方法,其特征在于:该方法包括以下步骤:S1:采集车载视频,包括由车载摄像机、行车记录仪、手持摄像机拍摄的车载视频,作为原始样本;S2:将采集到的车载视频进行视频分帧处理,将视频转换为连续的单帧图片;S3:应用自动图像分割提取方法提取单帧图片的ROI(region of interest,感兴趣区域),并标记ROI区域在原始图片中的相对位置信息,此处提取的ROI信息即为障碍物信息;S4:将提取好的ROI样本库放入AlexNet(Alex网络结构模型)中进行分类识别,实现障碍物的分类辨识,与此同时,根据ROI在原始图片中的位置信息应用卡尔曼滤波进行目标跟踪,实现对障碍物的实时跟踪与状态估计;S5:根据上述步骤,将原始视频直接放入训练调试好的卷积神经网络中进行测试,实现直接输入视频的对多类障碍物的实时检测与识别。

【技术特征摘要】
1.一种基于卷积神经网络的多类障碍物检测与识别方法,其特征在于:该方法包括以下步骤:S1:采集车载视频,包括由车载摄像机、行车记录仪、手持摄像机拍摄的车载视频,作为原始样本;S2:将采集到的车载视频进行视频分帧处理,将视频转换为连续的单帧图片;S3:应用自动图像分割提取方法提取单帧图片的ROI(regionofinterest,感兴趣区域),并标记ROI区域在原始图片中的相对位置信息,此处提取的ROI信息即为障碍物信息;S4:将提取好的ROI样本库放入AlexNet(Alex网络结构模型)中进行分类识别,实现障碍物的分类辨识,与此同时,根据ROI在原始图片中的位置信息应用卡尔曼滤波进行目标跟踪,实现对障碍物的实时跟踪与状态估计;S5:根据上述步骤,将原始视频直接放入训练调试好的卷积神经网络中进行测试,实现直接输入视频的对多类障碍物的实时检测与识别。2.根据权利要求1所述的基于卷积神经网络的多类障碍物检测与识别方法,其特征在于:在步骤S3中,所述的应用自动图像分割提取方法提取单帧图片的ROI区域具体包括以下步骤:S31:应用最大类间差阈值分割获取图像的RGB颜色信息,并分别提取图像的R、G、B分量,将RGB颜色空间转换到lab彩色空间,通过颜色空间转化函数makecform()和applycform()实现;S32:取出lab空间的a分量,采用最大类间差阈值法实现图像的自动阈值分割,按图像的灰度特性,通过阈值分割函数graythresh()找到图片的一个合适的阈值进行,将图像分为背景与目标两部分,并将灰度图像转化为二值图像;S33:采用膨胀算法和腐蚀算法平滑图像的边界轮廓曲线,去除狭窄的连接,去掉细小的突出部分,保留边界曲线围成的ROI区域,图像膨胀处理函数imdilate()实现图像膨胀,图像腐蚀处理函数imerode()实现图像腐蚀,通过图像填充处理函数imfill()可将由边界曲线包围的ROI区域填充,腐蚀与膨胀的具体公式如下:腐蚀:膨胀:其中,B(x)代表结构元素,对工作空间E中的每一点X;S34:将图像中对应感兴趣区域之外的区域颜色信息设为0,去除背景,对应感兴趣区域的部分颜色信息保持不变,实现原图像中ROI区域的提取;S35:针对有同一帧图片中有多类障碍物需要分割的情况,是需要分别实现的,即分别提取不同类别的障碍物时,需重复上述步骤。3.根据权利要求1所述的基于卷积神经网络的多类障碍物检测与识别方法,其特征在于:在步骤S4中,所述的将提取好的ROI样本库放入AlexNet中进行分类识别,实现障碍物的分类辨识具体包括:所述ALexNet网络包括...

【专利技术属性】
技术研发人员:李鹏华何春燕米怡刘太林黄智宇徐洋
申请(专利权)人:重庆邮电大学
类型:发明
国别省市:重庆;50

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1