基于端到端卷积神经网络的农业园场景车道偏移预警控制方法及系统技术方案

本发明专利技术公开了一种基于端到端卷积神经网络的农业园场景车道偏移预警控制方法，包括以下步骤：采集实时的道路图像，送入高效的语义分割卷积神经网络进行像素级标注；对神经网络标注的图像进行感兴趣区域选取；采用差分边缘检测提取感兴趣区域选取中的道路图像的边缘图像；获取边缘图像中边缘像素在图像坐标系中对应的坐标点集合；采用霍夫变换直线检测算法从所述边缘像素对应的坐标点集合中检测出道路边缘拟合直线；通过筛选和融合获得最优的拟合直线；根据最优的拟合直线结果，提取实时的道路图像中的车身与道路左右侧边缘的相对距离和车载摄像头的焦点的特征以区分车辆位姿状态，并进行相应的车身调整，以实现车辆居中行驶。

【技术实现步骤摘要】
基于端到端卷积神经网络的农业园场景车道偏移预警控制方法及系统
本专利技术涉及农业园场景车道偏移预警
，尤其是基于端到端卷积神经网络的农业园场景车道偏移预警控制方法及系统。
技术介绍
目前，现代中国的劳动力逐渐向城市集中，而农业劳动力越来越少，农村出现大片荒田空地；在新疆这些本就地广人稀的土地上，这种现象尤为突出，所以国内农业逐渐向大规模、集中化治理发展，这就需要大量现代化农作机器设备。但是，现有技术中的大部分农作机器设备几乎都是人为驾驶，这一驾驶过程属于典型的简单重复性劳动，所以将人力从农作车械解放出来的需求成了未来智慧农业的必然需求。对于新的场景而言，自动驾驶的实现有很多新的挑战，比如道路情况的恶劣、缺乏道路标志等等，但也存在一些不同之处从而降低了很多要求，诸如低车速允许较低计算速度、农作车辆行驶只需要单车道从而不需要进行车道划分等等。首先，自动驾驶需要解决定位的问题，野外场景的定位多为GPS，但在车道级的定位上，GPS由于其低精度在提供横向定位信息方面的能力很差(沿道路前后为纵向位置，道路左右为横向位置)。另外，还有部本文档来自技高网...

【技术保护点】
1.基于端到端卷积神经网络的农业园场景车道偏移预警控制方法，其特征在于，包括以下步骤：/n对端到端卷积神经网络进行预训练，以获得针对农业园场景的语义分割网络模型；所述摄像装置安装在车辆的中轴线上并置于车头上、且能拍摄获取当前道路道面和道面两侧的图像；/n利用摄像装置采集农业园场景的道路图像，并采用卷积神经网络标注图像；/n对所述神经网络标注的图像进行感兴趣区域选取；/n采用差分边缘检测提取感兴趣区域选取中的道路图像的边缘图像；/n建立笛卡尔坐标系，获取边缘图像中边缘像素在图像坐标系中对应的坐标点集合；/n拟合输出数条拟合直线；/n对所述数条拟合后的直线进行筛选，以获得最优的拟合直线；/n根据最...

【技术特征摘要】
1.基于端到端卷积神经网络的农业园场景车道偏移预警控制方法，其特征在于，包括以下步骤：
对端到端卷积神经网络进行预训练，以获得针对农业园场景的语义分割网络模型；所述摄像装置安装在车辆的中轴线上并置于车头上、且能拍摄获取当前道路道面和道面两侧的图像；
利用摄像装置采集农业园场景的道路图像，并采用卷积神经网络标注图像；
对所述神经网络标注的图像进行感兴趣区域选取；
采用差分边缘检测提取感兴趣区域选取中的道路图像的边缘图像；
建立笛卡尔坐标系，获取边缘图像中边缘像素在图像坐标系中对应的坐标点集合；
拟合输出数条拟合直线；
对所述数条拟合后的直线进行筛选，以获得最优的拟合直线；
根据最优的拟合直线进行位姿状态估计，提取实时的道路图像中的车身与道路左右侧边缘的相对距离和车载摄像头的焦点的特征以区分车辆位姿状态，并进行车身调整，以实现车辆居中行驶。


2.根据权利要求1所述的基于端到端卷积神经网络的农业园场景车道偏移预警控制方法，其特征在于，所述端到端卷积神经网络进行预训练，包括以下步骤：采用城市道路公开大数据集对网络模型的预训练，利用摄像装置采集农业园场景的道路图像制作小数据集，并采用农业园场景的道路图像的小数据集在预训练后的模型基础上进行迁移学习。


3.根据权利要求1所述的基于端到端卷积神经网络的农业园场景车道偏移预警控制方法，其特征在于，所述拟合输出数条拟合直线，包括以下步骤：采用霍夫变换直线检测算法从所述边缘像素对应的坐标点集合中检测出道路边缘拟合直线，以获得定位锚点信息，并采用霍夫变换后的表达形式输出数条检测出的拟合直线。


4.根据权利要求1所述的基于端到端卷积神经网络的农业园场景车道偏移预警控制方法，其特征在于，对所述神经网络标注的图像进行自适应的感兴趣区域选取，并利用道路语义分割结果确定道路在图像中的可视尽头位置Pend＝(xend，yend)的横坐标yend，具体步骤如下：
统计标注的图像中每一行像素总和Ni，其中，i表示标注图像的第i行；
判断分支1：若该行像素总和Ni随i的减小而减小即Ni-step<Ni，且Ni-step＝0时，则到达道路图像的可视尽头位置Pend＝(xend,yend)的横坐标yend；否则，判断沿行进方向的该行的下一行；所述Ni-step表示第i-step像素行；
判断分支2：若像素总和Ni随i的减小而增大即Ni-step>Ni，且Ni-step-Ni＞Nthld，则道路图像到达可视尽头位置Pend＝(xend,yend)；否则，判断沿行进方向的该行的下一行；
若连续进行M次判断分支2，则到达道路图像的可视尽头位置Pend＝(xend,yend)的横坐标yend；所述M为大于等于3的自然数。


5.根据权利要求1所述的基于端到端卷积神经网络的农业园场景车道偏移预警控制方法，其特征在于，所述对所述数条拟合后的直线进行筛选，以获得最优的拟合直线，包括以下步骤：
设定直线斜率值的阀值，并得到拟合道路两侧边缘的直线集Ltotal；所述直线集Ltotal包括道路左侧直线集Lleft和道路右侧直线集Lright；
采用去除异常点的平均算法对所述道路左侧直线集Lleft和道路右侧直线集Lright进行处理，以得到最优的道路左侧边缘拟合直线Lmleft(ρlm,Θlm)、数条道路右侧边缘拟合直线Lmright(ρrm,Θrm)、以及道路左侧边缘拟合直线Lmleft(ρlm,Θlm)与数条...

【专利技术属性】
技术研发人员：周军，肖剑彪，龙羽，徐菱，
申请(专利权)人：成都睿芯行科技有限公司，
类型：发明
国别省市：四川;51