【技术实现步骤摘要】
本专利技术属于计算机视觉与目标检测
,涉及一种基于卷积神经网络的多类障碍物检测与识别方法。
技术介绍
物体检测与类别辨识是目标检测与计算机视觉中的核心问题之一,检测到行车过程中的物体,如人、车、电线杆、路牌、护栏等障碍物信息对于人工驾驶以及智能车的安全行驶有着至关重要的作用。区分移动或者静止的障碍物的类别,计算障碍物与当前行驶车辆间的距离,判断障碍物的运动趋势,设计一个优质的视觉驾驶辅助系统,可以为智能车避障提供非常有价值价值的辅助信息。假如检测到障碍物为人或者车此类价值较高且处于移动状态的障碍物,且当人或者车向当前行驶车辆方向移动时,应该更偏向于紧急制动的处理措施;而当检测到人或者车以远离当前行驶车辆的方向行驶时,应该偏向于减速的处理措施。再假设检测到障碍物为护栏、电线杆这类价值较低,处于静止状态,但如果发生碰撞会对车或者驾驶员造成极大财产损失与人身伤害时,应该偏向于匀速或者加速远离障碍物的处理措施。目前基于卷积神经网络对目标进行检测的方法存在只能检测静态物体,且只针对单一目标进行检测,如专利申请号为201310633797.4,专利名称为《卷积神经网络和基于卷积神经网络的目标检测方法》仅针对行人进行了检测,只是简单地分辨出目标物体物和非目标物体,未对目标进行跟踪,也未对目标物体的属性未进行标注处理,如目标距离车的位置以及目标的运动趋势。且其采用的提取图像特征的方法单一,仅提取图像中检测区域的像素值作为卷积神经网络学习的特征。而基于像素值的图像特征无法描述图像中颜色的局部分布及每种色彩所处的空间位置,即无法描述图像中检测区域内目标的具体类别,检测 ...
【技术保护点】
一种基于卷积神经网络的多类障碍物检测与识别方法,其特征在于:该方法包括以下步骤:S1:采集车载视频,包括由车载摄像机、行车记录仪、手持摄像机拍摄的车载视频,作为原始样本;S2:将采集到的车载视频进行视频分帧处理,将视频转换为连续的单帧图片;S3:应用自动图像分割提取方法提取单帧图片的ROI(region of interest,感兴趣区域),并标记ROI区域在原始图片中的相对位置信息,此处提取的ROI信息即为障碍物信息;S4:将提取好的ROI样本库放入AlexNet(Alex网络结构模型)中进行分类识别,实现障碍物的分类辨识,与此同时,根据ROI在原始图片中的位置信息应用卡尔曼滤波进行目标跟踪,实现对障碍物的实时跟踪与状态估计;S5:根据上述步骤,将原始视频直接放入训练调试好的卷积神经网络中进行测试,实现直接输入视频的对多类障碍物的实时检测与识别。
【技术特征摘要】
1.一种基于卷积神经网络的多类障碍物检测与识别方法,其特征在于:该方法包括以下步骤:S1:采集车载视频,包括由车载摄像机、行车记录仪、手持摄像机拍摄的车载视频,作为原始样本;S2:将采集到的车载视频进行视频分帧处理,将视频转换为连续的单帧图片;S3:应用自动图像分割提取方法提取单帧图片的ROI(regionofinterest,感兴趣区域),并标记ROI区域在原始图片中的相对位置信息,此处提取的ROI信息即为障碍物信息;S4:将提取好的ROI样本库放入AlexNet(Alex网络结构模型)中进行分类识别,实现障碍物的分类辨识,与此同时,根据ROI在原始图片中的位置信息应用卡尔曼滤波进行目标跟踪,实现对障碍物的实时跟踪与状态估计;S5:根据上述步骤,将原始视频直接放入训练调试好的卷积神经网络中进行测试,实现直接输入视频的对多类障碍物的实时检测与识别。2.根据权利要求1所述的基于卷积神经网络的多类障碍物检测与识别方法,其特征在于:在步骤S3中,所述的应用自动图像分割提取方法提取单帧图片的ROI区域具体包括以下步骤:S31:应用最大类间差阈值分割获取图像的RGB颜色信息,并分别提取图像的R、G、B分量,将RGB颜色空间转换到lab彩色空间,通过颜色空间转化函数makecform()和applycform()实现;S32:取出lab空间的a分量,采用最大类间差阈值法实现图像的自动阈值分割,按图像的灰度特性,通过阈值分割函数graythresh()找到图片的一个合适的阈值进行,将图像分为背景与目标两部分,并将灰度图像转化为二值图像;S33:采用膨胀算法和腐蚀算法平滑图像的边界轮廓曲线,去除狭窄的连接,去掉细小的突出部分,保留边界曲线围成的ROI区域,图像膨胀处理函数imdilate()实现图像膨胀,图像腐蚀处理函数imerode()实现图像腐蚀,通过图像填充处理函数imfill()可将由边界曲线包围的ROI区域填充,腐蚀与膨胀的具体公式如下:腐蚀:膨胀:其中,B(x)代表结构元素,对工作空间E中的每一点X;S34:将图像中对应感兴趣区域之外的区域颜色信息设为0,去除背景,对应感兴趣区域的部分颜色信息保持不变,实现原图像中ROI区域的提取;S35:针对有同一帧图片中有多类障碍物需要分割的情况,是需要分别实现的,即分别提取不同类别的障碍物时,需重复上述步骤。3.根据权利要求1所述的基于卷积神经网络的多类障碍物检测与识别方法,其特征在于:在步骤S4中,所述的将提取好的ROI样本库放入AlexNet中进行分类识别,实现障碍物的分类辨识具体包括:所述ALexNet网络包括...
【专利技术属性】
技术研发人员:李鹏华,何春燕,米怡,刘太林,黄智宇,徐洋,
申请(专利权)人:重庆邮电大学,
类型:发明
国别省市:重庆;50
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。