The invention discloses a low-speed Park unmanned vehicle cruise method based on machine vision. Step 1) Establish the road semantics segmentation model. Based on ICNet, the semantics segmentation model adjusts the backbone of ICNet by making road local data sets, training road local data, fine-tuning parameters and network structure, and reduces the size of convolution core. Load the model, input the image to be predicted, run the model to predict input; Step 2) Recognition based on road semantics segmentation model. Result Calculating the distance of the vehicle from the road center: The invention not only solves the high cost problem of the automatic driving scheme with the laser radar as the main sensor, but also solves the problem that the lane perception of the traditional computer vision is affected by the complexity of the environment. Due to the improved performance of localized ICNet models, the Yolov3 and ICNet models can still run at the same time up to 20fps+.
【技术实现步骤摘要】
基于机器视觉的低速园区无人车巡航及紧急制动系统
本专利技术属于深度学习语义分割领域,更具体的涉及一种基于深度学习语义分割的低速园区无人车巡航及紧急制动系统。
技术介绍
语义分割,对图片的每个像素都做分类。较为重要的语义分割数据集有:VOC2012 ;以及 ;MSCOCO ;现有的传统机器学习方法有:像素级的决策树分类,参考TextonForest ;以及 ;RandomForestbasedclassifiers 。再有就是深度学习方法。更确切地说,是卷积神经网络。深度学习最初流行的分割方法是,打补丁式的分类方法(patchclassification)。逐像素地抽取周围像素对中心像素进行分类。由于当时的卷积网络末端都使用全连接层(fullconnectedlayers),所以只能使用这种逐像素的分割方法。2014年,来自伯克利的 ;FullyConvolutionalNetworks(FCN) 卷积网络,去掉了末端的全链接层。随后的语义分割模型基本上都采用了这种结构。除了全链接层,语义分割另一个重要的问题是池化层。池化层能进一步提取抽象特征增加感受域,但是丢弃了像素的位置信息。但是语义分割需要类别标签和原图像对齐,因此需要从新引入像素的位置信息。有两种不同的架构可以解决此像素定位问题。第一种是编码-译码架构。编码过程通过池化层逐渐减少位置信息、抽取抽象特征;译码过程逐渐恢复位置信息。一般译码与编码间有直接的连接。该类架构中U-n ...
【技术保护点】
1.一种基于机器视觉的低速园区无人车巡航方法,其特征在于步骤如下:1)建立道路语义分割模型语义分割模型在ICNet的基础上通过制作道路本地数据集、训练道路本地数据、微调参数和网络结构,对ICNet的backbone做出调整,缩小卷积核的size;加载模型,输入待预测图像image,运行模型预测输入;2)基于道路语义分割模型的识别结果计算车辆偏移道路中心的距离:①道路右边界识别:以ICNet的道路语义分割识别结果作为输入图像,具体为:Canny检测得到道路轮廓图像;Hough直线检测得到道路的轮廓的许多短小的直线组成直线集;过滤直线集中斜率符合要求的直线组成新的图像;②曲线拟合及曲率计算:基于像素直方图算法识别图像中哪些像素属于道路右边界,并使用马氏距离去除异常值;利用道路右边界像素拟合二阶多项式f(x)=a0+a1x+a2x
【技术特征摘要】
1.一种基于机器视觉的低速园区无人车巡航方法,其特征在于步骤如下:1)建立道路语义分割模型语义分割模型在ICNet的基础上通过制作道路本地数据集、训练道路本地数据、微调参数和网络结构,对ICNet的backbone做出调整,缩小卷积核的size;加载模型,输入待预测图像image,运行模型预测输入;2)基于道路语义分割模型的识别结果计算车辆偏移道路中心的距离:①道路右边界识别:以ICNet的道路语义分割识别结果作为输入图像,具体为:Canny检测得到道路轮廓图像;Hough直线检测得到道路的轮廓的许多短小的直线组成直线集;过滤直线集中斜率符合要求的直线组成新的图像;②曲线拟合及曲率计算:基于像素直方图算法识别图像中哪些像素属于道路右边界,并使用马氏距离去除异常值;利用道路右边界像素拟合二阶多项式f(x)=a0+a1x+a2x2,以图像中心为车辆位置计算车辆偏移道路中心距离;3)计算PID车辆横向控制公式参数PID横向控制公式:y=y_+p*(o1-o2)+i*o1+d*(o1-2*o2+o3)o1:当前帧的车辆偏移道路中心距离,o2:上一帧的偏移距离;o3:上上一帧的偏移距离,y:当前帧的方向盘转角;y_:上一帧的方向盘转角,P、i、d:为系数。2.一种基于机器视觉的低速园区无人车紧急制动方法,其特征在于步骤如下:1)建立目标检测模型加载目标检测模型,输入待预测图像image,运行模型预测图像中物体位置;2)计算雷达点云映射到图像,雷达点云的前视图投影所需的参数,计算点云街道图像的投影矩阵需要三个参数,分别是相机内参矩阵、参考相机到相机图像平面的旋转矩阵和点云到相机的外参矩阵;见公式:x=P*Tr*XP为3*4的投影矩阵,Tr为3*4的变换矩阵,表示雷达点云到坐标系的平移变化,X为点云数据;使用投影公式计算点云的前视图投影;3)计算图像中检测到的2D目标的距离数据在每个被检测到物体框所包含的点云;中计算合适的距离作为该物体的距离,具体方法为:①将物体框所包含的点云的深度数据收集形成新的矩阵并直方化;②在直方图中选取最长的深度数据作为该物体的距离;4)计算行驶区域在图像中的感兴趣区域因为紧急制动无需考虑行驶路径外的障碍物,所以感兴趣区域过滤出位于行驶区域内的物件;具体做法如下:计算物体在图像中的实际位置:yolo的检测结果为目标框的宽w、高h以及左上点的坐标(x,y),实际物体在图像中的位置应以目标框的下边中心位置为准;设置感兴趣区域,符合下式的物体被用来判断是否需要启动AEB5)根据感兴趣区域中的目标的距离变化率判断是否需要启动紧急制动以及是启动缓刹还是启动急刹。3.根据权利要求2所述的基于机器视觉的低速园区无人车紧急制动方法,其特征在于步骤5)具体判定依据:若目标的距离小于设定值:急刹若目标的距离在设定该范围内:计算距离区间内的物体的速度,若最快速度大于预设值:急刹,否则:缓刹。4.一种基于机器视觉的低速园区无人车巡航及紧急制动系统,其特征在于:包括行驶区域感知模块、PID规划模块、障碍物检测模块、激光点云映射至图像模块、障碍物3D检测与追踪模块、ROI与AEB模块;通过行驶区域感知模块对道路行驶区域建立语义分割模型;PID规划模块用于车辆横向控制,以达...
【专利技术属性】
技术研发人员:徐江,张杰,赵健成,顾昕程,程威翔,梁昊,吴龙飞,张旭,英之旋,卢起,王一品,姚锋,
申请(专利权)人:常熟理工学院,
类型:发明
国别省市:江苏,32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。