基于机器视觉的低速园区无人车巡航及紧急制动系统技术方案

技术编号:21362482 阅读:38 留言:0更新日期:2019-06-15 09:33
本发明专利技术公开了一种基于机器视觉的低速园区无人车巡航方法。步骤1)建立道路语义分割模型,语义分割模型在ICNet的基础上通过制作道路本地数据集、训练道路本地数据、微调参数和网络结构,对ICNet的backbone做出调整,缩小卷积核的size;加载模型,输入待预测图像image,运行模型预测输入;步骤2)基于道路语义分割模型的识别结果计算车辆偏移道路中心的距离:本发明专利技术既解决了以激光雷达为主要传感器的自动驾驶方案的成本高昂问题,也解决了传统计算机视觉的车道线感知受环境复杂度影响的问题。本发明专利技术借由于本地化ICNet的模型的性能提高,使得Yolov3和ICNet模型同时运行依然能够达到20fps+。

Cruise and Emergency Braking System of Unmanned Vehicle in Low Speed Park Based on Machine Vision

The invention discloses a low-speed Park unmanned vehicle cruise method based on machine vision. Step 1) Establish the road semantics segmentation model. Based on ICNet, the semantics segmentation model adjusts the backbone of ICNet by making road local data sets, training road local data, fine-tuning parameters and network structure, and reduces the size of convolution core. Load the model, input the image to be predicted, run the model to predict input; Step 2) Recognition based on road semantics segmentation model. Result Calculating the distance of the vehicle from the road center: The invention not only solves the high cost problem of the automatic driving scheme with the laser radar as the main sensor, but also solves the problem that the lane perception of the traditional computer vision is affected by the complexity of the environment. Due to the improved performance of localized ICNet models, the Yolov3 and ICNet models can still run at the same time up to 20fps+.

【技术实现步骤摘要】
基于机器视觉的低速园区无人车巡航及紧急制动系统
本专利技术属于深度学习语义分割领域,更具体的涉及一种基于深度学习语义分割的低速园区无人车巡航及紧急制动系统。
技术介绍
语义分割,对图片的每个像素都做分类。较为重要的语义分割数据集有:VOC2012 以及 MSCOCO 现有的传统机器学习方法有:像素级的决策树分类,参考TextonForest 以及 RandomForestbasedclassifiers&nbsp。再有就是深度学习方法。更确切地说,是卷积神经网络。深度学习最初流行的分割方法是,打补丁式的分类方法(patchclassification)。逐像素地抽取周围像素对中心像素进行分类。由于当时的卷积网络末端都使用全连接层(fullconnectedlayers),所以只能使用这种逐像素的分割方法。2014年,来自伯克利的 FullyConvolutionalNetworks(FCN)&nbsp卷积网络,去掉了末端的全链接层。随后的语义分割模型基本上都采用了这种结构。除了全链接层,语义分割另一个重要的问题是池化层。池化层能进一步提取抽象特征增加感受域,但是丢弃了像素的位置信息。但是语义分割需要类别标签和原图像对齐,因此需要从新引入像素的位置信息。有两种不同的架构可以解决此像素定位问题。第一种是编码-译码架构。编码过程通过池化层逐渐减少位置信息、抽取抽象特征;译码过程逐渐恢复位置信息。一般译码与编码间有直接的连接。该类架构中U-net&nbsp是最流行的。第二种架构是膨胀卷积(dilatedconvolutions),抛弃了池化层,使用的卷积核如图1。条件随机场的后处理经常用来提高分割的精确度,后处理利用图像的光感强度(可理解为亮度),将周围强度相近的像素分为同一类,能提高1-2个百分点。PID横向控制,PID控制器(比例-积分-微分控制器)由比例单元P、积分单元I和微分单元D组成。PID控制的基础是比例控制;积分控制可消除稳态误差,但可能增加超调;微分控制可加快大惯性系统响应速度以及减弱超调趋势。PID控制在工业领域应用广泛,参数少,简单易用,消耗运算很少,成本极低。图2中,δ∈[δmin,δmax]为满足车辆动态姿态限制的方向盘转角,Vr∈[δmin,δmax]为前向速度。而对这些状态量的控制可以是一个典型的PID反馈控制系统。其中e(t)代表当前的跟踪误差,而这个跟踪的变量误差可以是轨迹的纵向/横向误差,角度/曲率误差或者是若干车辆姿态状态变量的综合误差。其中P控制器代表对当前误差的反馈,其增益由KP控制;I和D控制器分别代表积分项和微分项,其增益分别有KI和KD来控制。控制车辆尽可能遵循上游动作规划(MotionPlanning)所输出的时空轨迹。可以使用两个基于PID反馈控制的控制器来分别控制方向盘转角δ以及前进速度Vs。现有技术的不足和缺点:A:陈家凡.基于机器视觉的车道线识别与预警[D].浙江理工大学,2018.论文所选用的实验场景方面基本偏向于城市和高速两大主要场景,在这两个场景的基础上,对车道线识别与预警算法做了相应的改进,使其主要针对该场景。因为一套算法是无法都适合不同场景和不同天气条件。B:董莹莹.基于机器视觉的车辆和车道线检测研究[D].湖南大学,2018.通过计算机视觉的相关只是,设计实现了结构化道路中的车道线检测系统并验证其可靠性,最后,融合检测算法实现可行驶区域的简单预测。A、B的技术方案中虽然对车道线检测的噪声做出一定的处理,但是传统计算机视觉的方案仍不能解决阴影、天气、光强等造成的影响。本专利技术旨在借助深度学习的语义分割技术实现对任意场景下的道路进行语义分割检测,进而识别出可行驶区域。
技术实现思路
1、专利技术目的。为了排除环境因素对道路识别的影响,本专利技术提出了一种基于机器视觉的低速园区无人车巡航及紧急制动系统。2、本专利技术所采用的技术方案。本专利技术公开了一种基于机器视觉的低速园区无人车巡航方法,步骤如下:1)建立道路语义分割模型语义分割模型在ICNet的基础上通过制作道路本地数据集、训练道路本地数据、微调参数和网络结构,对ICNet的backbone做出调整,缩小卷积核的size;加载模型,输入待预测图像image,运行模型预测输入;2)基于道路语义分割模型的识别结果计算车辆偏移道路中心的距离:①道路右边界识别:以ICNet的道路语义分割识别结果作为输入图像,具体为:Canny检测得到道路轮廓图像;Hough直线检测得到道路的轮廓的许多短小的直线组成直线集;过滤直线集中斜率符合要求的直线组成新的图像;②曲线拟合及曲率计算:基于像素直方图算法识别图像中哪些像素属于道路右边界,并使用马氏距离去除异常值;利用道路右边界像素拟合二阶多项式f(x)=a0+a1x+a2x2,以图像中心为车辆位置计算车辆偏移道路中心距离;3)计算PID车辆横向控制公式参数PID横向控制公式:y=y_+p*(o1-o2)+i*o1+d*(o1-2*o2+o3)o1:当前帧的车辆偏移道路中心距离,o2:上一帧的偏移距离;o3:上上一帧的偏移距离,y:当前帧的方向盘转角;y_:上一帧的方向盘转角,P、i、d:为系数。本专利技术公开了一种基于机器视觉的低速园区无人车紧急制动方法,步骤如下:1)建立目标检测模型加载目标检测模型,输入待预测图像image,运行模型预测图像中物体位置;2)计算雷达点云映射到图像,雷达点云的前视图投影所需的参数,计算点云街道图像的投影矩阵需要三个参数,分别是相机内参矩阵、参考相机到相机图像平面的旋转矩阵和点云到相机的外参矩阵;见公式:x=P*Tr*XP为3*4的投影矩阵,Tr为3*4的变换矩阵,表示雷达点云到坐标系的平移变化,X为点云数据;使用投影公式计算点云的前视图投影;3)计算图像中检测到的2D目标的距离数据在每个被检测到物体框所包含的点云;中计算合适的距离作为该物体的距离,具体方法为:①将物体框所包含的点云的深度数据收集形成新的矩阵并直方化;②在直方图中选取最长的深度数据作为该物体的距离;4)计算行驶区域在图像中的感兴趣区域因为紧急制动无需考虑行驶路径外的障碍物,所以感兴趣区域过滤出位于行驶区域内的物件;具体做法如下:计算物体在图像中的实际位置:yolo的检测结果为目标框的宽w、高h以及左上点的坐标(x,y),实际物体在图像中的位置应以目标框的下边中心位置为准;设置感兴趣区域,符合下式的物体被用来判断是否需要启动AEB5)根据感兴趣区域中的目标的距离变化率判断是否需要启动紧急制动以及是启动缓刹还是启动急刹。更进一步,步骤5)具体判定依据:若目标的距离小于设定值:急刹若目标的距离在设定该范围内:计算距离区间内的物体的速度,若最快速度大于预设值:急刹,否则:缓刹。本专利技术公开了一种基于机器视觉的低速园区无人车巡航及紧急制动系统,包括行驶区域感知模块、PID规划模块、障碍物检测模块、激光点云映射至图像模块、障碍物3D检测与追踪模块、ROI与AEB模块;通过行驶区域感知模块对道路行驶区域建立语义分割模型;PID规划模块用于车辆横向控制,以达到控制车辆按照本文档来自技高网
...

【技术保护点】
1.一种基于机器视觉的低速园区无人车巡航方法,其特征在于步骤如下:1)建立道路语义分割模型语义分割模型在ICNet的基础上通过制作道路本地数据集、训练道路本地数据、微调参数和网络结构,对ICNet的backbone做出调整,缩小卷积核的size;加载模型,输入待预测图像image,运行模型预测输入;2)基于道路语义分割模型的识别结果计算车辆偏移道路中心的距离:①道路右边界识别:以ICNet的道路语义分割识别结果作为输入图像,具体为:Canny检测得到道路轮廓图像;Hough直线检测得到道路的轮廓的许多短小的直线组成直线集;过滤直线集中斜率符合要求的直线组成新的图像;②曲线拟合及曲率计算:基于像素直方图算法识别图像中哪些像素属于道路右边界,并使用马氏距离去除异常值;利用道路右边界像素拟合二阶多项式f(x)=a0+a1x+a2x

【技术特征摘要】
1.一种基于机器视觉的低速园区无人车巡航方法,其特征在于步骤如下:1)建立道路语义分割模型语义分割模型在ICNet的基础上通过制作道路本地数据集、训练道路本地数据、微调参数和网络结构,对ICNet的backbone做出调整,缩小卷积核的size;加载模型,输入待预测图像image,运行模型预测输入;2)基于道路语义分割模型的识别结果计算车辆偏移道路中心的距离:①道路右边界识别:以ICNet的道路语义分割识别结果作为输入图像,具体为:Canny检测得到道路轮廓图像;Hough直线检测得到道路的轮廓的许多短小的直线组成直线集;过滤直线集中斜率符合要求的直线组成新的图像;②曲线拟合及曲率计算:基于像素直方图算法识别图像中哪些像素属于道路右边界,并使用马氏距离去除异常值;利用道路右边界像素拟合二阶多项式f(x)=a0+a1x+a2x2,以图像中心为车辆位置计算车辆偏移道路中心距离;3)计算PID车辆横向控制公式参数PID横向控制公式:y=y_+p*(o1-o2)+i*o1+d*(o1-2*o2+o3)o1:当前帧的车辆偏移道路中心距离,o2:上一帧的偏移距离;o3:上上一帧的偏移距离,y:当前帧的方向盘转角;y_:上一帧的方向盘转角,P、i、d:为系数。2.一种基于机器视觉的低速园区无人车紧急制动方法,其特征在于步骤如下:1)建立目标检测模型加载目标检测模型,输入待预测图像image,运行模型预测图像中物体位置;2)计算雷达点云映射到图像,雷达点云的前视图投影所需的参数,计算点云街道图像的投影矩阵需要三个参数,分别是相机内参矩阵、参考相机到相机图像平面的旋转矩阵和点云到相机的外参矩阵;见公式:x=P*Tr*XP为3*4的投影矩阵,Tr为3*4的变换矩阵,表示雷达点云到坐标系的平移变化,X为点云数据;使用投影公式计算点云的前视图投影;3)计算图像中检测到的2D目标的距离数据在每个被检测到物体框所包含的点云;中计算合适的距离作为该物体的距离,具体方法为:①将物体框所包含的点云的深度数据收集形成新的矩阵并直方化;②在直方图中选取最长的深度数据作为该物体的距离;4)计算行驶区域在图像中的感兴趣区域因为紧急制动无需考虑行驶路径外的障碍物,所以感兴趣区域过滤出位于行驶区域内的物件;具体做法如下:计算物体在图像中的实际位置:yolo的检测结果为目标框的宽w、高h以及左上点的坐标(x,y),实际物体在图像中的位置应以目标框的下边中心位置为准;设置感兴趣区域,符合下式的物体被用来判断是否需要启动AEB5)根据感兴趣区域中的目标的距离变化率判断是否需要启动紧急制动以及是启动缓刹还是启动急刹。3.根据权利要求2所述的基于机器视觉的低速园区无人车紧急制动方法,其特征在于步骤5)具体判定依据:若目标的距离小于设定值:急刹若目标的距离在设定该范围内:计算距离区间内的物体的速度,若最快速度大于预设值:急刹,否则:缓刹。4.一种基于机器视觉的低速园区无人车巡航及紧急制动系统,其特征在于:包括行驶区域感知模块、PID规划模块、障碍物检测模块、激光点云映射至图像模块、障碍物3D检测与追踪模块、ROI与AEB模块;通过行驶区域感知模块对道路行驶区域建立语义分割模型;PID规划模块用于车辆横向控制,以达...

【专利技术属性】
技术研发人员:徐江张杰赵健成顾昕程程威翔梁昊吴龙飞张旭英之旋卢起王一品姚锋
申请(专利权)人:常熟理工学院
类型:发明
国别省市:江苏,32

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1