一种实时雷达探测区域检测方法技术

技术编号:19024448 阅读:18 留言:0更新日期:2018-09-26 19:19
本发明专利技术提供了一种实时雷达探测区域检测方法,属于图像处理领域。本发明专利技术利用深度神经网络结合传统图像处理的方法,对机器人视觉图片进行语义分割,在第一阶段,进行基于深度神经网络的分割,判断图像上各像素点的语义等级。第二阶段,运用OTSU阈值算法对图片进行阈值分割。本发明专利技术在判别出可行走区域与不可行走区域的同时,判断出了雷达探测区域,实现了对机器视觉中的雷达探测区域的实时检测,便于将计算机视觉技术对图像的感知信息与激光雷达检测的信息进行融合,在机器视觉图像分割,机器视觉道路识别,机器视觉障碍物检测方面起到了实际作用。

【技术实现步骤摘要】
一种实时雷达探测区域检测方法
本专利技术属于图像处理领域,特别涉及一种实时雷达探测区域检测方法。
技术介绍
近年来,随着计算机软硬件技术,电子信息技术,控制技术的飞速发展,机器人技术也得到了长足的发展,从最初在工厂流水线上工作的工件加工机器人,到与客户交互的服务机器人,进行安防巡检的安防机器人,用于扑灭火灾的灾害救援机器人,机器人技术被应用于服务业,加工业,军事等各个领域,并呈现出集成化,平台化,智能化的发展趋势。在各类机器人中,安防巡检机器人是必不可少的一环,应用于安防巡检机器人的技术也十分复杂,涉及控制理论,材料科学与技术,计算机软硬件交互,图像处理,目标识别与检测,多模态信息融合等,既是一个融合多学科的综合问题,也是一个极具挑战的前沿课题。在安防巡检机器人的发展过程中,虽然出现了问题与挑战,但是也创造出了相应的发展和机遇。在应用于安防巡检机器人的各项技术中,图像感知技术是最复杂的技术之一。在安防机器人的运行过程中,需要对机器人视觉中的各类物体进行感知与判断,识别道路与障碍物,分割可行走区域,并在行走过程中识别各类可疑对象,图像感知的实现主要依赖计算机视觉技术。可是,由于图像感知对机器人前方视觉作出的判断并不是绝对准确的,在计算机视觉技术对机器人视觉图像进行感知时,在划分可行走区域与不可行走区域之余,某些区域的可行性待定,需要进行进一步的扫描和检测,才能有效地规避巡逻途中的各类障碍物。
技术实现思路
为了解决上述问题,本专利技术提供一种实时雷达探测区域检测方法,在计算机视觉技术对机器人视觉图像进行感知而划分的可行走区域与不可行走区域之余,利用雷达探测雷达探测区域,使机器人巡逻更加顺畅,并且能有效地规避巡逻途中的各类障碍物。一种实时雷达探测区域检测方法,应用于机器人,包括以下步骤:步骤1,采集视觉图像,并对近距离视觉区域进行标定;步骤2,应用深度神经网络进行训练;步骤3,划分可行性等级;步骤4,对视觉图像基于OTSU阈值分割方法进行二值分割;步骤5,生成雷达探测区域。进一步地,所述步骤1包括以下流程:步骤11,采集视觉图像信息;步骤12,对近距离视觉区域进行建模;步骤13,对视觉图像中近距离视觉区域中每一个像素点进行标定。进一步地,所述步骤2包括以下流程:步骤21,构造深度神经网络,基于所述深度神经网络提取图像特征;步骤22,设置滑动窗口,所述滑动窗口在图像上滑动,将已提取的图像特征基于所述滑动窗口进行分割得到数个子窗口;步骤23,判断每个子窗口的语义标签,所述深度神经网络中的分类器层进行分类,得到语义分割结果。进一步地,所述步骤3包括以下流程:根据每个子窗口的所述语义分割结果,对像素点的语义等级进行划分,得到像素点隶属的子窗口的可行性等级,得到分割结果。进一步地,所述步骤4包括以下流程:得到所述分割结果后,对视觉图像应用OTSU阈值分割方法进行二值分割,得到二值分割结果。进一步地,所述步骤5包括以下流程:基于得到二值分割结果和分割结果,得到融合结果,生成雷达探测区域。本专利技术的有益效果:本专利技术在计算机视觉技术对机器人视觉图像进行感知时,在划分可行走区域与不可行走区域之余,提出雷达探测区域,实现了对户外安防巡逻机器人的雷达探测区域的实时检测。机器人自动控制,在机器视觉图像分割,机器视觉道路识别,机器视觉障碍物检测方面起到了实际作用。附图说明图1为本专利技术实施例的流程图。图2为图1中步骤1的流程图。图3为本专利技术建立的几何模型。图4为图1中步骤2的流程图。图5为图4中步骤21构造的深度神经网络图。具体实施方式下面结合附图对本专利技术的实施例做进一步的说明。请参阅图1,本专利技术提供的一种实时雷达探测区域检测方法通过以下步骤实现:步骤1,采集视觉图像,并对近距离视觉区域进行标定。请参阅图2,步骤1通过以下流程实现:步骤11,采集视觉图像信息。本专利技术实施例中,为了训练深度神经网络,需要搜集大量道路图片样本,为了便于适应机器人行走环境,本专利技术利用机器人上的景深摄像机ZED进行样本采集,并利用景深摄像机返回的图片深度矩阵对图片进行标定,对机器人视觉图像中的近距离区域(大小为165×490),深度矩阵记录了各个像素点的准确深度值。步骤12,对近距离视觉区域进行建模。请参阅图3,建立如图3所示的几何模型,计算图像中该位置位于水平地面的深度值。对机器人视觉区域中的近距离像素点几何建模的公式表达如下:其中,d表示机器人视觉区域中近距离像素点距离机器人的深度,α表示摄像机光轴与地平面所成角,H表示摄像机高度,β表示摄像机光心与该像素点在地面位置上的连线与光轴的夹角。其中,α可以表示为:在上式中,D表示为摄像机光轴与地平面的交点的深度值。而β可以表示为:其中,v表示该像素点在图片中距离图片顶端的距离,而V表示图片的高,VA表示摄像机的视角。步骤13,对视觉图像中近距离视觉区域中每一个像素点进行标定。本专利技术实施例中,对机器人视觉图像中的近距离视觉区域中的每一个像素点pij计算出对应的Dij,与该像素点在深度矩阵中的值Mij进行比较,得到该像素点的标签(可行,不可行与未知)。比较规则如下表(一)所示:表(一)数据集中图片各像素点语义判断准则如表(一)所示,若两者相差的绝对值在300毫米之内,则将该像素点的语义置为可行,若两者相差的绝对值在500毫米之上,则将该像素点的语义置为不可行。若之上两者都不满足,则将该像素点的语义置为未知。本专利技术实施例中,总共搜集了1684张图像并将它们进行如上所述的标记,并分配训练集与测试集,训练集与测试集的图片比例约为8:1,也可以为其它数值和比例。步骤2,应用深度神经网络进行训练。请参阅图4,步骤2通过以下流程实现:步骤21,构造深度神经网络,基于所述深度神经网络提取图像特征。本实施例中,为了使雷达探测区域检测能够在实时条件下执行,将深度神经网络的规模设计得较为小,如图5所示,深度神经网络主要由9层组成,分别为卷积一层,卷积二层,卷积三层,卷积四层,特征分割层,全连接一层,全连接二层,全连接三层和一个分类器层。网络接收的输入图像大小为165×490,卷积一层,输出96个特征图,大小为83×245;卷积二层输出256个特征图,大小为42×123;卷积三层输出384个特征图,大小为42×123;卷积四层输出384个特征图,大小为42×123。本实施例中,深度神经网络的设置优选为上述数据,可以为其它设定。步骤22,设置滑动窗口,所述滑动窗口在图像上滑动,将已提取的图像特征基于所述滑动窗口进行分割得到数个子窗口。本实施例中,在网络的输入上设置滑动窗口的大小为15×14,一共有385个子窗口。本实施例中,滑动窗口大小和子窗口分割结果优选为上述数据,也可以为其他设定。步骤23,判断每个子窗口的语义标签,所述深度神经网络中的分类器层进行分类,得到语义分割结果。子窗口语义标签如下表(二)所示:表(二)子窗口语义标签判断准则在上表中,Na表示一个子窗口中经过标定为可行的像素点的个数,而Ni表示一个子窗口中经过标定为不可行的像素点的个数。若上述两条规则都不满足,那么子窗口的标签会被置为-1,表示该子窗口的可行性不确定。在神经网络的训练过程中,标签为-1的子窗口会被忽略。本实施例中,在特征分割层,将各个窗口的特征维度置为3×3,本文档来自技高网...

【技术保护点】
1.一种实时雷达探测区域检测方法,应用于机器人,其特征在于,包括以下步骤:步骤1,采集视觉图像,并对近距离视觉区域进行标定;步骤2,应用深度神经网络进行训练;步骤3,划分可行性等级;步骤4,对视觉图像基于OTSU阈值分割方法进行二值分割;步骤5,生成雷达探测区域。

【技术特征摘要】
1.一种实时雷达探测区域检测方法,应用于机器人,其特征在于,包括以下步骤:步骤1,采集视觉图像,并对近距离视觉区域进行标定;步骤2,应用深度神经网络进行训练;步骤3,划分可行性等级;步骤4,对视觉图像基于OTSU阈值分割方法进行二值分割;步骤5,生成雷达探测区域。2.如权利要求1所述的实时雷达探测区域检测方法,其特征在于,所述步骤1包括以下流程:步骤11,采集视觉图像信息;步骤12,对近距离视觉区域进行建模;步骤13,对视觉图像中近距离视觉区域中每一个像素点进行标定。3.如权利要求2所述的实时雷达探测区域检测方法,其特征在于,所述步骤2包括以下流程:步骤21,构造深度神经网络,基于所述深度神经网络提取图像特征;步骤22,设置滑动窗口,所述滑动窗口在图像上滑动...

【专利技术属性】
技术研发人员:张宇潇叶茂
申请(专利权)人:电子科技大学
类型:发明
国别省市:四川,51

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1