用于农机无人驾驶的多传感器融合的农田环境感知方法技术

本发明专利技术提供了农机路径控制技术领域内的一种用于农机无人驾驶的多传感器融合的农田环境感知方法，具体包括以下步骤，步骤1：农机作业前，对摄像机进行标定，将雷达和视觉信息在空间上融合；步骤2：农机作业时，实时调整雷达与摄像机坐标的转换关系，使雷达与摄像机实现在空间上的同步；步骤3：工控机解算接收到的毫米波雷达数据，确定有效目标，选出农机作业前方雷达感兴趣的区域，确定最危险目标，同步采集摄像机图像；步骤4：根据雷达信息判断最危险目标状态，根据雷达与摄像机采集到的最危险目标的图像数据，判断最危险目标的类型，导航箱控制农机做相应的动作；本发明专利技术数据融合的准确度高，提高识别农机前方障碍物的准确度。

Farm environment sensing method for multi sensor fusion of unmanned agricultural vehicle

The present invention provides a method for farmland environment perception method of multi-sensor fusion agricultural unmanned technology in the field of agricultural control path, including the following steps: Step 1, agricultural machinery operation, the camera calibration, the radar and visual information fusion in space; step 2: agricultural operations, real-time conversion the adjustment of radar and camera coordinates, radar and camera to achieve synchronization in space; step 3: IPC solution of millimeter wave radar received data, to determine the effective target, choose agricultural operations in front of radar area of interest, to determine the most dangerous targets, synchronous image acquisition cameras; step 4: according to the radar information judgment the most dangerous target state, according to the image data of the most dangerous target radar and camera to determine the type, the most dangerous target, navigation The utility model has the advantages of high accuracy of data fusion and improvement of the accuracy of identifying obstacles in front of the agricultural machinery.

【技术实现步骤摘要】
用于农机无人驾驶的多传感器融合的农田环境感知方法
本专利技术涉及一种自动掉头路径规划及其控制方法，特别涉及一种用于农机无人驾驶的多传感器融合的农田环境感知方法。
技术介绍
精准农业技术被认为是21世纪农业科技发展的前沿，是科技含最高、集成综合性最强的现代农业生产管理技术之一。精准农业技术根据空间变异，定位、定时、定量的实施一套现代化农事操作技术与管理的系统，是信息技术与农业生产全面结合的一种新型农业技术。精准农业的应用于快速发展，能够充分挖掘农田最大的生产潜力、合理利用水肥资源、减少环境污染，大幅度提高农产品产量和品质。发展精准农业技术是解决我国农业由传统农业向现代化农业发展过程中所面临的确保农产品总量、调整农业产业结构、改善农产品品质和质量、资源严重不足且利用率低、环境污染等问题的有效解决方式，也是中国农业现代化发展与转型升级的必经之路。卫星导航技术是精准农业技术的基本组成之一，使农机实现自动行驶，农机作业前只需要设定好参数后，导航系统便引导农机进入自动作业模式，开始进行直线耕作。在农机自动导航的过程中，农田的环境恶劣且复杂，大型的农田里可能会存在电线杆、田埂、土丘、牲畜以及随时出现的劳作人员等，这些因素都为无人驾驶农机的实现提出了新的挑战。现有技术中，使用卫星导航技术可以实现农机在农田里自动行走，但是农机无法准确识别农机前方的障碍物，即农机无法感应农田环境，更不用说根据感知到的农田环境自动做停车等待还是继续行驶等处理，农机作业时必须得有驾驶员辅助操控农机的动作，一不注意，农机就会与前方障碍物碰撞；因此迫切需要研究出一套农田环境感知方法使无人驾驶的农机具备对周环境进行感知的能力，一旦遇到上述农田中存在电线杆、田埂、土丘、牲畜以及随时出现的劳作人员等情况，能够及时采取停车等待等应急处理。
技术实现思路
针对现有技术中的缺陷，本专利技术的目的在于克服上述现有技术中的不足之处，解决现有技术中无人驾驶的农机无法感知农田环境的技术问题，提供一种用于农机无人驾驶的农田环境感知方法，本专利技术实现了农田环境的感知，感知精度高，识别农机前方障碍物的准确度高，提高农机无人驾驶时的可靠性。本专利技术的目的是这样实现的：一种用于农机无人驾驶的多传感器融合的农田环境感知方法，具体包括以下步骤，步骤1：农机作业前，对摄像机进行标定，摄像机空间坐标变换，再对雷达视觉联合标定，使得雷达和视觉信息在空间上融合；步骤2：农机作业时，实时调整雷达与摄像机坐标的转换关系，使雷达与摄像机在作业条件下实现在空间上的同步；步骤3：工控机解算接收到的毫米波雷达数据，确定有效目标，选出农机作业前方雷达感兴趣的区域，确定最危险目标，同步进行摄像机图像的采集；步骤4：根据雷达的信息判断出最危险目标的运动状态，根据雷达与相机采集到的最危险目标的图像数据，判断出最危险目标的类型，工控机将动作指令传输给导航箱，导航箱控制农机做相应的动作；其中，农机作业时，农机的行驶速度匀速。为了实现雷达和摄像机在空间上的初步同步，所述步骤1中的将雷达坐标转换成图像像素坐标具体包括以下步骤，步骤1.1：农机作业前，地面默认为水平，将毫米波雷达固定安装在农机的前侧且位于农机纵向中轴，雷达发射面向外，使雷达发射面与地面垂直；安装摄像机时使摄像机的光轴与地面平行；步骤1.2：以雷达的中心为原点建立雷达坐标系00-X0Y0Z0，毫米波雷达所在平面由X0轴和Y0轴确定并与Z0轴相垂直，Z0轴与地面平行且与农机中心轴线重合；建立摄像机坐标系Oc-XcYcZc，以摄像机的中心为原点Oc，平面XcOcYc平行于摄像机的成像平面，Zc轴是摄像机的取景光轴且垂直于成像平面；建立车辆坐标系Ow-XwYwZw，Ow为农机的农机后轴的中心与车辆的中心轴线的交点，Xw轴水平向右并垂直于农机的纵向中轴线，Zw水平向前且与农机中心轴线重合，Yw轴垂直于水面地面向上，雷达坐标系的X0O0Z0平面与车辆坐标系的XwOwZw平面平行；步骤1.3：光轴与成像平面相交的点是图像主点O’，车辆坐标通过旋转矩阵R和平移向量sc转换后得到摄像机坐标(xc，yc，zc，1)T，任意点P的车辆坐标为(xw，yw，zw，1)T，将车辆坐标转换为摄像机坐标，具体的转换关系如下，式(1-2)中，R为一个三行三列的正交单位矩阵，sc为初始条件下车辆坐标系到摄像机坐标系的1*3平移矩阵，xc0为摄像机所在的中心轴与车辆中心轴线两直线的距离，yc0为摄像机距离农机后轴的距离，zc0为初始条件下摄像机距离地面的高度；步骤1.4：将摄像机坐标(xc，yc，zc，1)T转换到图像物理坐标(x1，y1)T，具体的转换关系如下，式(1-3)中，f为摄像机的焦距，焦距单位为mm；步骤1.5：将图像物理坐标(x1，y1)T转换到图像像素坐标(u,v)，具体的转换关系如下：其中，dx,dy分别表示每个像素在横轴和纵轴上单位大小，u0、v0分别为图像像素坐标系下摄像机光轴和成像平面交点的横纵坐标，坐标单位为pixel；步骤1.6：根据以上公式(1-1)～(1-4)得到图像像素坐标系到车辆坐标系的转换公式，具体的为，步骤1.7：为了使雷达和视觉信息在空间上融合，雷达坐标与摄像机的坐标转换关系更新为，其中，s＝sc+s0，s0的坐标设为(xs0,ys0,zs0)，xs0＝0，ys0为初始条件下雷达距离地面的高度，zs0为雷达与农机后轴的距离。为了提高农机作业过程中雷达和摄像机的融合精度，所述步骤2中的实时调整图像像素坐标与车辆坐标的转换关系，具体的为，根据农机的实际路况实时调整平移向量s，扫描周期t下实时调整后的平移向量st＝sc+s0+△st，实时的车辆坐标与图像像素坐标的转换关系，具体的为，其中，△hct为扫描周期t下摄像机与地面高度的变化值，△hst为扫描周期t下雷达与地面高度的变化值，j为扫描周期数，(ut,vt)为农机作业过程中扫描周期t下实时更新计算得到的图像像素坐标。为了进一步提高环境感知精度，所述步骤2中实时调整后的平移向量中获得△ht的步骤如下，步骤2.1：农机作业前，在雷达正下方安装有用来检测雷达与地面间的高度变化的高度检测装置一；在摄像机正下方的农机下侧安装有用来检测摄像机与地面的高度变化量的高度检测装置二；步骤2.2：实时计算雷达与地面高度变化量以及摄像机与地面的高度变化量，具体的为，扫描周期t中i时刻与i-1时刻雷达与地面高度距离变化值为△hsti，采用平均法计算扫描周期t中雷达相对地面的高度变化量△hst，假设扫描周期t中采样时刻i与采样时刻i-1下摄像机与地面高度变化值为△hcti，采用平均法计算扫描周期t中摄像机与地面的高度变化量△hct，步骤2.3：实时计算出扫描周期t下实时调整后的平移向量s，具体的为，其中，k为一个扫描周期中的采样点的总数；此设计中，通过实时检测雷达距离地面的高度变化以及摄像机距离地面的高度变化，实时更新平移向量s，提高摄像机和雷达空间同步的精度。为了实现雷达距离地面的高度变化和摄像机距离地面的高度变化的检测，所述高度检测装置一和高度检测装置二的结构相同，所述高度检测装置一包括可开合且具有容纳腔的壳体，壳体的底部连接有挡板，壳体上在高度方向上分别间隔连接有轴承一和轴承二，轴承一和轴承二内均连接有螺母，螺母上螺纹本文档来自技高网...

【技术保护点】
一种用于农机无人驾驶的多传感器融合的农田环境感知方法，其特征在于，具体包括以下步骤，步骤1：农机作业前，对摄像机进行标定，摄像机空间坐标变换，再对雷达视觉联合标定，使得雷达和视觉信息在空间上融合；步骤2：农机作业时，实时调整雷达与摄像机坐标的转换关系，使雷达与摄像机在作业条件下实现在空间上的同步；步骤3：工控机解算接收到的毫米波雷达数据，确定有效目标，选出农机作业前方雷达感兴趣的区域，确定最危险目标，同步进行摄像机图像的采集；步骤4：根据雷达的信息判断出最危险目标的运动状态，根据雷达与相机采集到的最危险目标的图像数据，判断出最危险目标的类型，工控机将动作指令传输给导航箱，导航箱控制农机做相应的动作；其中，农机作业时，农机的行驶速度匀速。

【技术特征摘要】
1.一种用于农机无人驾驶的多传感器融合的农田环境感知方法，其特征在于，具体包括以下步骤，步骤1：农机作业前，对摄像机进行标定，摄像机空间坐标变换，再对雷达视觉联合标定，使得雷达和视觉信息在空间上融合；步骤2：农机作业时，实时调整雷达与摄像机坐标的转换关系，使雷达与摄像机在作业条件下实现在空间上的同步；步骤3：工控机解算接收到的毫米波雷达数据，确定有效目标，选出农机作业前方雷达感兴趣的区域，确定最危险目标，同步进行摄像机图像的采集；步骤4：根据雷达的信息判断出最危险目标的运动状态，根据雷达与相机采集到的最危险目标的图像数据，判断出最危险目标的类型，工控机将动作指令传输给导航箱，导航箱控制农机做相应的动作；其中，农机作业时，农机的行驶速度匀速。2.根据权利要求1所述的用于农机无人驾驶的多传感器融合的农田环境感知方法，其特征在于，所述步骤1中的将雷达坐标转换成图像像素坐标具体包括以下步骤，步骤1.1：农机作业前，地面默认为水平，将毫米波雷达固定安装在农机的前侧且位于农机纵向中轴，雷达发射面向外，使雷达发射面与地面垂直；安装摄像机时使摄像机的光轴与地面平行；步骤1.2：以雷达的中心为原点建立雷达坐标系00-X0Y0Z0，毫米波雷达所在平面由X0轴和Y0轴确定并与Z0轴相垂直，Z0轴与地面平行且与农机中心轴线重合；建立摄像机坐标系Oc-XcYcZc，以摄像机的中心为原点Oc，平面XcOcYc平行于摄像机的成像平面，Zc轴是摄像机的取景光轴且垂直于成像平面；建立车辆坐标系Ow-XwYwZw，Ow为农机的农机后轴的中心与车辆的中心轴线的交点，Xw轴水平向右并垂直于农机的纵向中轴线，Zw水平向前且与农机中心轴线重合，Yw轴垂直于水面地面向上，雷达坐标系的X0O0Z0平面与车辆坐标系的XwOwZw平面平行；步骤1.3：光轴与成像平面相交的点是图像主点O’，车辆坐标通过旋转矩阵R和平移向量sc转换后得到摄像机坐标(xc，yc，zc，1)T，任意点P的车辆坐标为(xw，yw，zw，1)T，将车辆坐标转换为摄像机坐标，具体的转换关系如下，式(1-2)中，R为一个三行三列的正交单位矩阵，sc为初始条件下车辆坐标系到摄像机坐标系的1*3平移矩阵，xc0为摄像机所在的中心轴与车辆中心轴线两直线的距离，yc0为初始条件下摄像机距离地面的高度，zc0为摄像机距离农机后轴的距离；步骤1.4：将摄像机坐标(xc，yc，zc，1)T转换到图像物理坐标(x1，y1)T，具体的转换关系如下，式(1-3)中，f为摄像机的焦距，焦距单位为mm；步骤1.5：将图像物理坐标(x1，y1)T转换到图像像素坐标(u,v)，具体的转换关系如下：其中，dx,dy分别表示每个像素在横轴和纵轴上单位大小，u0、v0分别为图像像素坐标系下摄像机光轴和成像平面交点的横纵坐标，坐标单位为pixel；步骤1.6：根据以上公式(1-1)～(1-4)得到图像像素坐标系到车辆坐标系的转换公式，具体的为，步骤1.7：为了使雷达和视觉信息在空间上融合，将步骤1.6中的坐标转换关系更新为，其中，s＝sc+s0，s0的坐标设为(xs0,ys0,zs0)，xs0＝0，ys0为初始条件下雷达距离地面的高度，zs0为雷达与农机后轴的距离。3.根据权利要求2所述的用于农机无人驾驶的多传感器融合的农田环境感知方法，其特征在于：所述步骤2中的实时调整图像像素坐标与车辆坐标的转换关系，具体的为，根据农机的实际路况实时调整平移向量s，扫描周期t下实时调整后的平移向量st＝sc+s0+△st，实时的车辆坐标与图像像素坐标的转换关系，具体的为，其中，△hct为扫描周期t下摄像机与地面高度的变化值，△hst为扫描周期t下雷达与地面高度的变化值，j为扫描周期数，(ut,vt)为农机作业过程中扫描周期t下实时更新计算得到的图像像素坐标。4.根据权利要求3所述的用于农机无人驾驶的多传感器融合的农田环境感知方法，其特征在于：所述步骤2中实时调整后的平移向量中获得△ht的步骤如下，步骤2.1：农机作业前，在雷达正下方安装有用来检测雷达与地面间的高度变化的高度检测装置一；在摄像机正下方的农机下侧安装有用来检测摄像机与地面的高度变化量的高度检测装置二；步骤2.2：实时计算雷达与地面高度变化量以及摄像机与地面的高度变化量，具体的为，扫描周期t中i时刻与i-1时刻雷达与地面高度距离变化值为△hsti，采用平均法计算扫描周期t中雷达相对地面的高度变化量△hst，假设扫描周期t中采样时刻i与采样时刻i-1下摄像机与地面高度变化值为△hcti，采用平均法计算扫描周期t中摄像机与地面的高度变化量△hct，步骤2.3：实时计算出扫描周期t下实时调整后的平移向量s，具体的为，其中，k为一个扫描周期中的采样点的总数。5.根据权利要求4所述的用于农机无人驾驶的多传感器融合的农田环境感知方法，所述高度检测装置一和高度检测装置二的结构相同，所述高度检测装置一包括可开合且具有容纳腔的壳体，壳体的底部连接有挡板，壳体上在高度方向上分别间隔连接有轴承一和轴承二，轴承一和轴承二内均连接有螺母，螺母上螺纹连接有丝杆，螺纹升角为35°～40°，所述丝杆的顶部可拆卸地安装有限位板，限位板限制丝杆在容纳腔内运动，所述壳体的顶部可拆卸地安装有正对限位板的距离传感器；所述壳体的底部可拆卸地连接有挡板，所述轴...

【专利技术属性】
技术研发人员：张瑞宏，奚小波，金亦富，张剑峰，单翔，蔡广林，孙福华，叶伟伟，史扬杰，马国梁，
申请(专利权)人：南京沃杨机械科技有限公司，
类型：发明
国别省市：江苏,32