农机无人驾驶用农田环境感知方法技术

本发明专利技术提供了农机控制技术领域内的一种农机无人驾驶用农田环境感知方法，具体包括以下步骤，步骤1：农机作业前，对摄像机进行标定，将雷达和视觉信息在空间上融合；步骤2：农机作业时，距离检测装置一检测雷达与地面间的高度变化，距离检测装置二检测摄像机与地面间的高度变化，实时调整雷达与摄像机坐标的转换，使雷达与摄像机在空间上同步；步骤3：工控机解算接收到的毫米波雷达数据，确定有效目标，确定最危险目标，同步采集摄像机图像；步骤4：根据雷达信息判断最危险目标状态，根据雷达与摄像机采集到的最危险目标的图像数据，判断最危险目标的类型，导航箱控制农机做相应的动作；本发明专利技术中数据融合精度高，提高识别障碍物的准确度。

Farmland environment perception method for agricultural vehicle unmanned driving

The present invention provides a control in the field of agricultural machinery technology of the unmanned driving with sensing method of farmland environment. It includes the following steps: Step 1, agricultural machinery operation, the camera calibration, the radar and visual information fusion in space; step 2: agricultural operations, a distance detection device and the ground detection radar the height change, change detection distance and height of two cameras and the ground between the conversion, real-time adjustment of radar and camera coordinates, the radar and camera synchronization in space; step 3: IPC solution of millimeter wave radar received data, determine the effective goal, determine the most dangerous targets, synchronous image acquisition cameras; step 4: according to the radar information to determine the most dangerous state, according to the image data of the most dangerous targets of radar and camera to capture the most judgment The navigation box controls the agricultural machinery to do the corresponding action. The invention has high data fusion accuracy and improves the accuracy of the identification obstacle.

【技术实现步骤摘要】
农机无人驾驶用农田环境感知方法
本专利技术涉及一种无人驾驶中的环境感知方法，特别涉及一种农机无人驾驶中的农田环境感知方法。
技术介绍
精准农业技术被认为是21世纪农业科技发展的前沿，是科技含最高、集成综合性最强的现代农业生产管理技术之一。精准农业技术根据空间变异，定位、定时、定量的实施一套现代化农事操作技术与管理的系统，是信息技术与农业生产全面结合的一种新型农业技术。精准农业的应用于快速发展，能够充分挖掘农田最大的生产潜力、合理利用水肥资源、减少环境污染，大幅度提高农产品产量和品质。发展精准农业技术是解决我国农业由传统农业向现代化农业发展过程中所面临的确保农产品总量、调整农业产业结构、改善农产品品质和质量、资源严重不足且利用率低、环境污染等问题的有效解决方式，也是中国农业现代化发展与转型升级的必经之路。卫星导航技术是精准农业技术的基本组成之一,使农机实现自动行驶，农机作业前只需要设定好参数后，导航系统便引导农机进入自动作业模式，开始进行直线耕作。在农机自动导航的过程中，农田的环境恶劣且复杂，大型的农田里可能会存在电线杆、田埂、土丘、牲畜以及随时出现的劳作人员等，这些因素都为无人驾驶农机的实现提出了新的挑战。现有技术中，使用卫星导航技术可以实现农机在农田里自动行走，但是农机无法准确识别农机前方的障碍物，即农机无法感应农田环境，更不用说根据感知到的农田环境自动做停车等待还是继续行驶等处理，农机作业时必须得有驾驶员辅助操控农机的动作，一不注意，农机就会与前方障碍物碰撞；因此迫切需要研究出一套农田环境感知方法使无人驾驶的农机具备对周环境进行感知的能力，一旦遇到上述农田中存在电线杆、田埂、土丘、牲畜以及随时出现的劳作人员等情况，能够及时采取停车等待等应急处理。
技术实现思路
针对现有技术中的缺陷，本专利技术的目的在于克服上述现有技术中的不足之处，解决现有技术中无人驾驶的农机无法感知农田环境的技术问题，提供一种用于农机无人驾驶的农田环境感知方法，本专利技术实现了农田环境的感知，感知精度高，识别农机前方障碍物的准确度高，提高农机无人驾驶时的可靠性。本专利技术的目的是这样实现的：一种农机无人驾驶用农田环境感知方法，具体包括以下步骤，步骤1：农机作业前，对摄像机进行标定，摄像机空间坐标变换，再对雷达视觉联合标定，使得雷达和视觉信息在空间上融合；步骤2：农机作业时，距离检测装置一实时检测雷达与地面间的高度变化△hst，距离检测装置二实时检测摄像机与地面间的高度变化△hct，工控机进行数据处理实时调整雷达与摄像机坐标的转换关系，使雷达与摄像机在作业条件下实现在空间上的同步；步骤3：工控机解算接收到的毫米波雷达数据，确定有效目标，选出农机作业前方雷达感兴趣的区域，确定最危险目标，同步进行摄像机图像的采集；步骤4：根据雷达的信息判断出最危险目标的运动状态，根据雷达与相机采集到的最危险目标的图像数据，判断出最危险目标的类型，工控机将动作指令传输给导航箱，导航箱控制农机做相应的动作；其中，农机作业时，农机的行驶速度匀速；所述距离检测装置一和距离检测装置二的结构相同，距离检测装置一安装在农机前侧且设置在雷达正下方，距离检测装置二安装在农机下侧且设置在摄像机正下方位置；所述距离检测装置一包括具有容纳腔的壳体，容纳腔为圆柱体状，所述壳体内设有可沿着壳体内壁做上下直线运动的滑块，滑块呈长方体状，壳体内设有检测滑块顶部与壳体内壁上侧距离变化的距离传感器，所述滑块和壳体内壁顶部之间连接有至少一个连接件，所述连接件随着滑块的移动而移动，所述导向套的底部开有所述滑块的底部安装有可在地面上滚动的万向滚轮；工控机接收所述距离传感器发送过来的数据信号并进行数据处理。为了实现雷达和摄像机在空间上的初步同步，所述步骤1中的将车辆坐标转换成图像像素坐标具体包括以下步骤，步骤1.1：农机作业前，地面默认为水平，将毫米波雷达固定安装在农机的前侧且位于农机纵向中轴，雷达发射面向外，使雷达发射面与地面垂直；安装摄像机时使摄像机的光轴与地面平行；步骤1.2：以雷达的中心为原点建立雷达坐标系00-X0Y0Z0，毫米波雷达所在平面由X0轴和Y0轴确定并与Z0轴相垂直，Z0轴与地面平行且与农机中心轴线重合；建立摄像机坐标系Oc-XcYcZc，以摄像机的中心为原点Oc，平面XcOcYc平行于摄像机的成像平面，Zc轴是摄像机的取景光轴且垂直于成像平面；建立车辆坐标系Ow-XwYwZw，Ow为农机的农机后轴的中心与车辆的中心轴线的交点，Xw轴水平向右并垂直于农机的纵向中轴线，Zw水平向前且与农机中心轴线重合，Yw轴垂直于水面地面向上，雷达坐标系的X0O0Z0平面与车辆坐标系的XwOwZw平面平行；步骤1.3：光轴与成像平面相交的点是图像主点O’，车辆坐标通过旋转矩阵R和平移向量sc转换后得到摄像机坐标(xc，yc，zc，1)T，任意点P的车辆坐标为(xw，yw，zw，1)T，将车辆坐标转换为摄像机坐标，具体的转换关系如下，式(1-1)中，R为一个三行三列的正交单位矩阵，sc为初始条件下车辆坐标系到摄像机坐标系的1*3平移矩阵，xc0为摄像机所在的中心轴与车辆中心轴线两直线的距离，yc0为初始条件下摄像机距离地面的高度，zc0为摄像机距离农机后轴的距离；步骤1.4：将摄像机坐标(xc，yc，zc，1)T转换到图像物理坐标(x1，y1)T，具体的转换关系如下，式(1-2)中，f为摄像机的焦距，焦距单位为mm；步骤1.5：将图像物理坐标(x1，y1)T转换到图像像素坐标(u,v)，具体的转换关系如下：其中，dx,dy分别表示每个像素在横轴和纵轴上单位大小，u0、v0分别为图像像素坐标系下摄像机光轴和成像平面交点的横纵坐标，坐标单位为pixel；步骤1.6：根据以上公式(1-1)～(1-3)得到图像像素坐标系到车辆坐标系的转换公式，具体的为，步骤1.7：为了使雷达和视觉信息在空间上融合，将步骤1.6中的坐标转换关系更新为，其中，s＝sc+s0，s0的坐标设为(xs0,ys0,zs0)，xs0＝0，ys0为初始条件下雷达距离地面的高度，zs0为雷达与农机后轴的距离。为了提高农机作业过程中雷达和摄像机的融合精度，所述步骤2中的工控机进行数据处理实时调整雷达与摄像机坐标的转换关系，具体的为，根据农机的实际路况实时调整平移向量s，扫描周期t下调整后的平移向量st＝sc+s0+△st，实时的车辆坐标与图像像素坐标的转换关系，具体的为，其中，△hct为扫描周期t下摄像机与地面高度的变化值，△hst为扫描周期t下雷达与地面高度的变化值，j为扫描周期数，(ut,vt)为农机作业过程中扫描周期t下实时更新计算得到的图像像素坐标。为了进一步提高环境感知精度，所述步骤2中自适应调整后的平移向量中获得△ht的步骤如下，步骤2.1：农机作业前，在雷达正下方安装有用来检测雷达与地面间的高度变化的高度检测装置一；在摄像机正下方的农机下侧安装有用来检测摄像机与地面的高度变化量的高度检测装置二；步骤2.2：实时计算雷达与地面高度变化量以及摄像机与地面的高度变化量，具体的为，扫描周期t中i时刻与i-1时刻雷达与地面高度距离变化值为△hsti，采用平均法计算扫描周期t中雷达相对地面的高度变化量△hst，假设扫描周期t中采样时刻i与本文档来自技高网...

【技术保护点】
一种农机无人驾驶用农田环境感知方法，其特征在于，具体包括以下步骤，步骤1：农机作业前，对摄像机进行标定，摄像机空间坐标变换，再对雷达视觉联合标定，使得雷达和视觉信息在空间上融合；步骤2：农机作业时，距离检测装置一实时检测雷达与地面间的高度变化△h

【技术特征摘要】
1.一种农机无人驾驶用农田环境感知方法，其特征在于，具体包括以下步骤，步骤1：农机作业前，对摄像机进行标定，摄像机空间坐标变换，再对雷达视觉联合标定，使得雷达和视觉信息在空间上融合；步骤2：农机作业时，距离检测装置一实时检测雷达与地面间的高度变化△hst，距离检测装置二实时检测摄像机与地面间的高度变化△hct，工控机进行数据处理实时调整雷达与摄像机坐标的转换关系，使雷达与摄像机在作业条件下实现在空间上的同步；步骤3：工控机解算接收到的毫米波雷达数据，确定有效目标，选出农机作业前方雷达感兴趣的区域，确定最危险目标，同步进行摄像机图像的采集；步骤4：根据雷达的信息判断出最危险目标的运动状态，根据雷达与相机采集到的最危险目标的图像数据，判断出最危险目标的类型，工控机将动作指令传输给导航箱，导航箱控制农机做相应的动作；其中，农机作业时，农机的行驶速度匀速；所述距离检测装置一和距离检测装置二的结构相同，距离检测装置一安装在农机前侧且设置在雷达正下方，距离检测装置二安装在农机下侧且设置在摄像机正下方位置；所述距离检测装置一包括具有容纳腔的壳体，容纳腔为圆柱体状，所述壳体内设有可沿着壳体内壁做上下直线运动的滑块，滑块呈长方体状，壳体内设有检测滑块顶部与壳体内壁上侧距离变化的距离传感器，所述滑块和壳体内壁顶部之间连接有至少一个连接件，所述连接件随着滑块的移动而移动，所述导向套的底部开有所述滑块的底部安装有可在地面上滚动的万向滚轮；工控机接收所述距离传感器发送过来的数据信号并进行数据处理。2.根据权利要求1所述的农机无人驾驶用农田环境感知方法，其特征在于，所述步骤1中的将雷达坐标转换成图像像素坐标具体包括以下步骤，步骤1.1：农机作业前，地面默认为水平，将毫米波雷达固定安装在农机的前侧且位于农机纵向中轴，雷达发射面向外，使雷达发射面与地面垂直；安装摄像机时使摄像机的光轴与地面平行；步骤1.2：以雷达的中心为原点建立雷达坐标系00-X0Y0Z0，毫米波雷达所在平面由X0轴和Y0轴确定并与Z0轴相垂直，Z0轴与地面平行且与农机中心轴线重合；建立摄像机坐标系Oc-XcYcZc，以摄像机的中心为原点Oc，平面XcOcYc平行于摄像机的成像平面，Zc轴是摄像机的取景光轴且垂直于成像平面；建立车辆坐标系Ow-XwYwZw，Ow为农机的农机后轴的中心与车辆的中心轴线的交点，Xw轴水平向右并垂直于农机的纵向中轴线，Zw水平向前且与农机中心轴线重合，Yw轴垂直于水面地面向上，雷达坐标系的X0O0Z0平面与车辆坐标系的XwOwZw平面平行；步骤1.3：光轴与成像平面相交的点是图像主点O’，车辆坐标通过旋转矩阵R和平移向量sc转换后得到摄像机坐标(xc，yc，zc，1)T，任意点P的车辆坐标为(xw，yw，zw，1)T，将车辆坐标转换为摄像机坐标，具体的转换关系如下，式(1-1)中，R为一个三行三列的正交单位矩阵，sc为初始条件下车辆坐标系到摄像机坐标系的1*3平移矩阵，xc0为摄像机所在的中心轴与车辆中心轴线两直线的距离，yc0为初始条件下摄像机距离地面的高度，zc0为摄像机距离农机后轴的距离；步骤1.4：将摄像机坐标(xc，yc，zc，1)T转换到图像物理坐标(x1，y1)T，具体的转换关系如下，式(1-2)中，f为摄像机的焦距，焦距单位为mm；步骤1.5：将图像物理坐标(x1，y1)T转换到图像像素坐标(u,v)，具体的转换关系如下：其中，dx,dy分别表示每个像素在横轴和纵轴上单位大小，u0、v0分别为图像像素坐标系下摄像机光轴和成像平面交点的横纵坐标，坐标单位为pixel；步骤1.6：根据以上公式(1-1)～(1-3)得到图像像素坐标系到车辆坐标系的转换公式，具体的为，步骤1.7：为了使雷达和视觉信息在空间上融合，将步骤1.6中的坐标转换关系更新为，其中，s＝sc+s0，s0的坐标设为(xs0,ys0,zs0)，xs0＝0，ys0为初始条件下雷达距离地面的高度，zs0为雷达与农机后轴的距离。3.根据权利要求2所述的农机无人驾驶用农田环境感知方法，其特征在于,所述步骤2中的工控机进行数据处理实时调整雷达与摄像机坐标的转换关系，具体的为，根据农机的实际路况实时调整平移向量s，扫描周期t下调整后的平移向量st＝sc+s0+△st，实时的车辆坐标与图像像素坐标的转换关系，具体的为，其中，△hct为扫描周期t下摄像机与地面高度的变化值，△hst为扫描周期t下雷达与地面高度的变化值，j为扫描周期数，(ut,vt)为农机作业过程中扫描周期t下实时更新计算得到的图像像素坐标。4.根据权利要求3所述的农机无人驾驶用农田环境感知方法，其特征在于,所述步骤2中实时调整后的平移向量中获得△ht的步骤如下，步骤2.1：实时计算雷达与地面间的高度变化量以及摄像机与地面间的高度变化量，具体的为，扫描周期t中i时刻与i-1时刻雷达与地面高度距离变化值为△hsti，采用平均法计算扫描周期t中雷达相对地面的高度变化量△hst，假设扫描周期t中采样时刻i与采样时刻i-1下摄像机与地面高度变化值为△hcti，采用平均法计算扫描周期t中摄像机与地面的高度变化量△hct，步骤2.2：实时计算出扫描周期t下自适应调整后的平移向量s，具体的为，其中，k为一个扫描周期中的采样点的总数。5.根据权利要求1～4任一项所述的农机无人驾驶用农田环境感知方法，其特征在于，所述连接件设置有2个，连接件关于滑块在宽度方向上...

【专利技术属性】
技术研发人员：张瑞宏，奚小波，金亦富，张剑峰，单翔，蔡广林，孙福华，叶伟伟，史扬杰，马国梁，
申请(专利权)人：南京沃杨机械科技有限公司，
类型：发明
国别省市：江苏,32