一种基于视觉传感器的自动驾驶系统及方法技术方案

本发明专利技术公开了一种基于视觉传感器的自动驾驶系统及方法，属于农机和精准农业领域。包括以下步骤：S1：利用安装于农机上的摄像头采集图像；S2：利用车载计算机加载深度学习模型进行图像语义分割，识别出作业区域；S3：利用基于分割效果的视觉算法，在作业区域中计算出导航区域和导航路线；S4：作业过程中，计算行驶航向偏差，输出行驶转向角β和偏移距离D，并进行位置校正；S5：作业过程中，当作业区域无法导航时，视觉算法判定此时无法进行作业，控制器接收信号S，此时提醒切换为手动控制。解决了复杂作业方式下无法有效自动作业的问题，同时可实现对边缘作业、束状作业、行间作业三种作业方式的自动驾驶，提高适用范围。提高适用范围。提高适用范围。

【技术实现步骤摘要】
一种基于视觉传感器的自动驾驶系统及方法


[0001]本专利技术涉及农机和精准农业领域，具体为一种基于视觉传感器的自动驾驶系统及方法。

技术介绍

[0002]各行业自动驾驶技术的不断突破，视频摄像头、激光雷达等传感器的广泛应用，在汽车等领域已经实现了自动驾驶和辅助驾驶。不断成熟的自动驾驶技术已经辐射到多个行业。
[0003]当前农机作业方式还是采用的机械操作为主，近几年开始应用北斗卫星定位和激光雷达等技术来实现辅助驾驶。目前，市场上主要使用的主要为基于全球卫星定位系统(例如但不限于北斗、GPS、GLONASS等)和地面增强站的辅助驾驶，定位准确，实现精准导航作业。但卫星导航作业受限于作业地形环境约束，对地形要求较高，对复杂地块，无法进行有效的全覆盖作业。农机作业环境差，作业机具多受地块环境影响，产生偏移、转向等现象，导致作物的种植和生长情况复杂多样；同时不同地区种植农艺要求差异较大，也是作业条件复杂的原因行业上已经开始尝试通过加载了一些红外、超声波、激光雷达传感器进行辅助来解决问题。农业产业上迫切需要复杂作业环境的自动驾驶技术来推动农机行业的产业升级。
[0004]所以，人们需要一种基于视觉传感器的自动驾驶系统及方法来解决以上问题。

技术实现思路

[0005]本专利技术的目的在于提供一种基于视觉传感器的自动驾驶系统及方法，以解决上述
技术介绍
中提出的问题。
[0006]为了解决上述技术问题，本专利技术提供如下技术方案：一种基于视觉传感器的自动驾驶方法，包括以下步骤：
[0007]S1：利用安装于农机上的摄像头采集图像；
[0008]S2：利用车载计算机加载深度学习模型进行图像语义分割，识别出作业区域；
[0009]S3：利用基于分割效果的视觉算法，在作业区域中计算出导航区域和导航路线；
[0010]S4：作业过程中，计算行驶航向偏差，输出行驶转向角β和偏移距离D，并进行位置校正；
[0011]S5：作业过程中，当作业区域无法导航时，视觉算法判定此时无法进行作业，控制器接收信号S，此时提醒切换为手动控制。
[0012]在步骤S1中，在农机上安装摄像头，镜头朝向为农机行驶方向且镜头光轴与地面呈固定角度，摄像头采集行进方向前方的图像，并将采集图像发送至车载计算机，具体方法为：
[0013]S101：将摄像头安装在农机上，镜头朝向为农机行驶方向，使得摄像头可以采集到农机行驶前方的更大区域内的图片；
[0014]S102：使摄像头的镜头光轴与地面呈固定角度；
[0015]S103：将采集到的农机行驶方向前方的图片发送至车载计算机，通过车载计算机组合形成连续的区域图；
[0016]所述摄像头可以进行上下左右各45
°
的自动校正。
[0017]在步骤S2，利用车载计算机加载深度学习模型对采集图像进行图像语义分割，识别出农机作业区域，具体方法为：
[0018]S201：以农机为中心建立平面直角坐标系，原点坐标为(0,0)农机坐标为(x0,y0)，农机行进方向为沿着x轴方向；
[0019]S202：将摄像头采集图像的特征点标记为A1,A2,A3,A4,...,A
n
，对应坐标为(x1,y1),(x2,y2),(x3,y3),(x4,y4),...,(x
n
,y
n
)，n表示有n个特征点；
[0020]S203：将采集的图像发送至车载计算机，利用车载计算机加载深度学习模型对采集图像进行语义分割；
[0021]所述图像语义分割方法为：找到图像中个特征的像素点，经过语义分割后得到不同像素点的分割图，语义分割对原图进行类别划分，对不同的像素点标记不同的颜色进行区分，这就形成了不同的种类，在此还需要确定语义分割的精准度，精准度计算方法为：
[0022][0023]其中PA表示像素精度，P
ij
表示本表示i类但是被标记为j类的像素数量，P
ii
表示正确的数量，P
ij
表示假正的数量，计算结果表示正确的像素占总像素的比例。
[0024]通过上述技术方案，实现了对图片精确度的计算，通过该计算结果删除效果过低的图片，以达到提高精确度的目的。
[0025]在步骤S3中，利用基于分割效果的视觉算法，在作业区域中计算出导航区域和导航路线，所述导航区域为农机可以正常行驶的区域，所述导航路线为语义分割后计算出的导航区域的中间线，具体方法为：
[0026]S301：在经过语义分割的图片中利用视觉算法进行搜索，规划出一条可供正常行驶的路线；
[0027]S302：该路线为目标作业区域的中心线，可以实现对工作区域的全覆盖作业。
[0028]在步骤S4中，作业过程中，农机实时得到图像，车载计算机基于实时图像，识别分割出目标作业区域，再根据视觉算法，基于语义分割结果，计算出导航线路，从而可以计算行驶航向偏差，输出行驶转向角β和偏移距离D，定进行位置校正，所述计算方式为：
[0029]S401：定位出此时农机所在构建坐标系中的位置(x
c
,y
c
)；
[0030]S402：根据农机正常规划路线中的坐标(x0,y0)，可求出D＝y
c
‑
y0；
[0031]S403：根据所求出的偏移角度θ和偏移距离D进行位置校正。
[0032]通过上述技术方案，可实现对边缘作业、束状作业、行间作业三种作业方式的自动驾驶、解决了复杂作业方式下无法有效自动作业的问题。
[0033]在步骤S5中，所述作业过程中，当作业区域无法导航时，视觉算法判定此时无法进
行作业，位于车载计算机中的控制器接收信号S，此时提醒切换为手动控制，具体为：
[0034]当作业区域分布杂乱，无法导航时，视觉算法判断无法继续自动驾驶并进行制动，向计算机发送切换为手动操作的信号S；
[0035]当多次行驶均出现偏差时，判定导航路线不可靠，无法继续进行自动驾驶，切换为手动控制。
[0036]一种基于视觉传感器的自动驾驶系统，该自动驾驶系统包括；图像采集处理模块、无线通信模块、硬件支持模块和运动控制模块，所述图像采集处理单元和硬件支持模块连接，所述无线通线模块与硬件支持模块和运动控制模块连接，所述运动控制模块和硬件支持模块连接；
[0037]通过所述图像采集处理模块对视觉传感器采集的图像进行语义分割处理和路线规划；
[0038]通过所述无线通信模块为农机提供卫星定位和信号增强，并生成动作指令；
[0039]通过所述硬件支持模块为农机自动驾驶系统提供硬件支持；
[0040]通过所述运动控制模块对农机控制系统发送动作指令并控制农机自动驾驶。
[0041]所述图像采集处理模块包括图像采集单元、图像处理单元和路线规划单元，所述图像采集单元的输出端连接车载计算机的输入端，所述图像处理单元与本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉传感器的自动驾驶方法，其特征在于：包括以下步骤：S1：利用安装于农机上的摄像头采集图像；S2：利用车载计算机加载深度学习模型进行图像语义分割，识别出作业区域；S3：利用基于分割效果的视觉算法，在作业区域中计算出导航区域和导航路线；S4：作业过程中，计算行驶航向偏差，输出行驶转向角β和偏移距离D，并进行位置校正；S5：作业过程中，当作业区域无法导航时，视觉算法判定此时无法进行作业，控制器接收信号S，此时提醒切换为手动控制。2.根据权利要求1所述的一种基于视觉传感器的自动驾驶方法，其特征在于：在步骤S1中，在农机上安装摄像头，镜头朝向为农机行驶方向且镜头光轴与地面呈固定角度，摄像头采集行进方向前方的图像，并将采集图像发送至车载计算机。3.根据权利要求2所述的一种基于视觉传感器的自动驾驶方法，其特征在于：在步骤S2，利用车载计算机加载深度学习模型对采集图像进行图像语义分割，识别出农机作业区域；在步骤S3中，利用基于分割效果的视觉算法，在作业区域中计算出导航区域和导航路线，所述导航区域为农机可以正常行驶的区域，所述导航路线为语义分割后计算出的导航区域的中间线。4.根据权利要求3所述的一种基于视觉传感器的自动驾驶方法，其特征在于：在步骤S4中，作业过程中，农机实时得到图像，车载计算机基于实时图像，识别分割出目标作业区域，再根据视觉算法，基于语义分割结果，计算出导航线路，从而可以计算行驶航向偏差，输出行驶转向角β和偏移距离D，并进行位置校正。5.根据权利要求4所述的一种基于视觉传感器的自动驾驶方法，其特征在于：在步骤S5中，所述作业过程中，当作业区域无法导航时，视觉算法判定此时无法进行作业，位于车载计算机中的控制器接收信号S，此时提醒切换为手动控制。6.一种基于视觉传感器的自动驾驶系统，其特征在于：该自动驾驶系统包括；图像采集处理模块、无线通信模块、硬件支持模块和运动控制模块，所述图像采集处理单元和硬件支持模块连接，所述无线通线模块与硬件支持模块和运动控制模块连接，所述运动控制模块和硬件支持模块连接；通过所述图像采集处理模块对视觉传感器采集的图像进...

【专利技术属性】
技术研发人员：王清泉，杨莉，杨广超，张中，马瑞，
申请(专利权)人：上海易罗信息科技有限公司，
类型：发明
国别省市：