融合双目相机和IMU的收割机倒伏作物检测与收获方法技术

本发明专利技术公开的融合双目相机和IMU的收割机倒伏作物检测与收获方法，属于农业机械领域，本发明专利技术实现方法为：使用双目相机对联合收割机工作区域的作物进行图片采集。使用棋盘格对相机进行标定内外参，计算出重投影矩阵和作物区域视差图，进一步计算出其三维坐标。上位机通过相机IMU模块提供的联合收割机位置及姿态信息对三维坐标进行矫正后，将其转换为三维点云并进行后处理，提取作物表面的有效点云，对其分析得到待收获区域内作物倒伏情况，再计算联合收割机割台的最优调控策略，进而辅助操作人员收割倒伏作物或者实现自动调控收割倒伏作物，克服因为田间地面不平导致的姿态误差问题，提高联合收割机在收获倒伏作物时收割效率，降低收割成本。

【技术实现步骤摘要】
融合双目相机和IMU的收割机倒伏作物检测与收获方法
本专利技术属于农业机械领域，尤其是涉及一种融合双目相机和惯性测量单元的收割机倒伏作物检测与收获方法。
技术介绍
倒伏的作物与正常生长的作物相比，其高度更低，且作物之间相互缠绕，导致收割机作业时收获困难。通常情况下，为了收割倒伏的作物，收割机需要降低割台高度以减小割茬高度，降低拨禾轮高度以使拨禾轮能够扶持到作物。而当前对于作物倒伏程度如何，是否需要改变割台部件的参数来收割，在人工操作的机器上需要依靠收割机操作人员的个人经验，这种方法不仅需要消耗大量的人力物力，同时还不能保证较高的收获效率。传统的作物倒伏检测方法主要包括遥感检测与地面检测两种，其中航空、航天遥感监测操纵困难、实时性不够，无法为收获机的作业提供实时有效的作物倒伏信息，采用激光雷达的地面监测技术虽然已经成熟，但是激光雷达存在过于昂贵等显著缺点，无法广泛推广应用。双目视觉是在农业领域中具有广泛应用前景的技术之一，相比于遥感及激光雷达等技术，具有成本低，效率高，适用面广、易与其他设备相结合的显著优点。通过对成熟作物或田野环境进行三维重建，可为自动化农业器械提供重要的深度信息。
技术实现思路
为了解决上述传统方法中遥感实时性低，激光雷达成本高等问题，本专利技术的目的是提供融合双目相机和IMU的收割机倒伏作物检测与收获方法，能够实时准确地分析待收获作物的倒伏情况，并能够针对非平坦区域存在的联合收割机位置姿态变化问题，使用IMU惯性导航传感器对三维信息进行弥补矫正，同时计算割台的收割策略，为联合收割机割台系统提供有效可靠的作物状态感知信息，进而辅助操作人员收割倒伏作物或者实现自动调控收割倒伏作物。本专利技术能够克服因为田间地面不平导致的姿态误差问题，提高联合收割机在收获倒伏作物时收割效率，降低收割成本。本专利技术的目的是通过下述技术方案实现的：本专利技术公开的融合双目相机和IMU的收割机倒伏作物检测与收获方法，使用棋盘格对双目相机进行标定，并且采集联合收割机前方工作区域的图片。根据标定得到的相机内外参矩阵、畸变参数和左右目相机之间的旋转平移矩阵对相机进行双目校正，计算出重投影矩阵。同时通过双目立体匹配算法，计算出作物区域对应的视差图。根据视差图和重投影矩阵，计算出每个像素点在相机坐标系中的三维坐标，并通过相机外参矩阵将其转换到相对世界坐标系中。上位机通过相机IMU模块提供的联合收割机位置及姿态信息，矫正中得到的三维坐标，将其转换为三维点云，通过后处理滤波去除噪声和无效点云信息，提取作物表面的有效点云。根据三维点云坐标对作物点云进行分析，得到待收获区域内作物倒伏情况，再根据作物的倒伏情况计算联合收割机割台的最优调控策略，进而辅助操作人员收割倒伏作物或者实现自动调控收割倒伏作物，克服因为田间地面不平导致的姿态误差问题，提高联合收割机在收获倒伏作物时收割效率，降低收割成本。本专利技术公开的融合双目相机和IMU的收割机倒伏作物检测与收获方法，包括如下步骤：步骤S1：使用棋盘格标定板对双目相机进行标定，确定绝对世界坐标系，并且采集联合收割机前方工作区域的图片。所述绝对世界坐标系以棋盘格标定板上某个正方形的角点作为原点O0建立坐标系，棋盘标定板所在的平面作为x0轴和y0轴所构成的平面，x0轴和y0轴垂直，方向任意。z0轴、y0轴垂直于x0轴和y0轴所构成的平面向上。步骤S2：根据步骤S1中标定得到的相机内外参矩阵、畸变参数和左右目相机之间的旋转平移矩阵对相机进行双目校正，计算出重投影矩阵。同时通过双目立体匹配算法，计算出小麦区域对应的视差图。步骤S3：根据步骤S2中视差图和重投影矩阵，计算出每个像素点在相机坐标系中的三维坐标，并通过相机外参矩阵将其转换到相对世界坐标系中。所述的相对世界坐标系Onxnynzn在任意时刻n，与联合收割机位置保持相对不变，其相对于相机的位置和姿态与绝对世界坐标系一致。步骤S4：上位机通过相机IMU模块提供的联合收割机位置及姿态信息，矫正步骤S3中得到的三维坐标。并将其转换为三维点云，通过后处理滤波去除噪声和无效点云信息，提取作物表面的有效点云。步骤S5：根据三维点云坐标对作物点云进行分析，得到待收获区域内作物倒伏情况，再根据作物的倒伏情况计算联合收割机割台的最优调控策略，进而辅助操作人员收割倒伏作物或者实现自动调控收割倒伏作物，克服因为田间地面不平导致的姿态误差问题，提高联合收割机在收获倒伏作物时收割效率，降低收割成本。作为优选，相机具有内置IMU模块，IMU模块用于及时获取当前相机姿态和位置。由于相机与联合收割机固连，因此，相机姿态和位置能够被认为是联合收割机姿态和位置。作为优选，外参矩阵的求取分别用迭代法、EPnP算法和P3P算法求解PNP问题，计算三种方法下相机的位姿和重投影误差，最后选择三种方法下重投影误差最小相机位姿作为相机的外参矩阵。作为优选，双目矫正使用Bouguet算法以快速获得矫正结果。作为优选，双目立体匹配算法使用SGBM算法实现。作为优选，点云后处理步骤依次为体素滤波、统计滤波、最小二乘平滑、统计滤波，之后再进行作物表面点云高度筛选。作为优选，相机IMU模块提供位置及姿态信息包括：相机相对于初始时刻的三轴旋转角度和三个方向的位移。三维坐标矫正由式(1)得到。其中，[xnynzn]T是修正过后点的三维坐标，[xn'yn'zn']T是修正之前点的三维坐标，是由三轴旋转角度计算得到的相机从初始位置到当前位置的旋转矩阵，是相机从初始位置运动到当前位置的位移矩阵割台的作业参数包括：割台高度、拨禾轮相对于割台的水平位置和垂直位置、拨禾轮的转速。所述参数通过割台上相应的传感器获得。待收获区域内作物倒伏情况通过如下判据获得：双目相机获得的作物表面点云的空间位置近似为作物穗头的空间位置。不考虑作物在直立、倾斜、倒伏状态下的弯曲，根据作物穗头的位置推测出作物的倾斜角度。收割机拨禾轮控制策略为：如果检测得到前方收割区域作物存在大量倒伏，则上位机控制拨禾轮向下移动，如果倒伏情况少或不存在倒伏现象则抬高拨禾轮。有益效果：1、本专利技术公开的融合双目相机和IMU的收割机倒伏作物检测与收获方法，使用IMU惯性导航传感器对双目相机获取的三维信息进行弥补矫正，同时计算割台的收割策略，为联合收割机割台系统提供有效可靠的作物状态感知信息，进而辅助操作人员收割倒伏作物或者实现自动调控收割倒伏作物。本专利技术能够克服因为田间地面不平导致的姿态误差问题，能够在复杂地形的农田应用，增大本专利技术方法的适用范围，提高联合收割机在收获倒伏作物时收割效率，降低收割成本。2、本专利技术公开的融合双目相机和IMU的收割机倒伏作物检测与收获方法，使用双目视觉的方法检测作物的倒伏情况，相比于现有的地面激光雷达和高空光谱遥感倒伏检测技术，能够显著降低检测的成本，提高检测的实时性，检测效率高、适用面广。3、本专利技术公开的融合双目相机和IMU的收割机倒伏作物检测与收获方法，外参本文档来自技高网...

【技术保护点】
1.融合双目相机和IMU的收割机倒伏作物检测与收获方法，其特征在于：包括如下步骤，/n步骤S1：使用棋盘格标定板对双目相机进行标定，确定绝对世界坐标系，并且采集联合收割机前方工作区域的图片；/n步骤S2：根据步骤S1中标定得到的相机内外参矩阵、畸变参数和左右目相机之间的旋转平移矩阵对相机进行双目校正，计算出重投影矩阵；同时通过双目立体匹配算法，计算出作物区域对应的视差图；/n步骤S3：根据步骤S2中视差图和重投影矩阵，计算出每个像素点在相机坐标系中的三维坐标，并通过相机外参矩阵将其转换到相对世界坐标系中；/n步骤S4：上位机通过相机IMU模块提供的联合收割机位置及姿态信息，矫正步骤S3中得到的三维坐标；并将其转换为三维点云，通过后处理滤波去除噪声和无效点云信息，提取作物表面的有效点云；/n步骤S5：根据三维点云坐标对作物点云进行分析，得到待收获区域内作物倒伏情况，再根据作物的倒伏情况计算联合收割机割台的最优调控策略，进而辅助操作人员收割倒伏作物或者实现自动调控收割倒伏作物，克服因为田间地面不平导致的姿态误差问题，提高联合收割机在收获倒伏作物时收割效率，降低收割成本。/n

【技术特征摘要】
1.融合双目相机和IMU的收割机倒伏作物检测与收获方法，其特征在于：包括如下步骤，
步骤S1：使用棋盘格标定板对双目相机进行标定，确定绝对世界坐标系，并且采集联合收割机前方工作区域的图片；
步骤S2：根据步骤S1中标定得到的相机内外参矩阵、畸变参数和左右目相机之间的旋转平移矩阵对相机进行双目校正，计算出重投影矩阵；同时通过双目立体匹配算法，计算出作物区域对应的视差图；
步骤S3：根据步骤S2中视差图和重投影矩阵，计算出每个像素点在相机坐标系中的三维坐标，并通过相机外参矩阵将其转换到相对世界坐标系中；
步骤S4：上位机通过相机IMU模块提供的联合收割机位置及姿态信息，矫正步骤S3中得到的三维坐标；并将其转换为三维点云，通过后处理滤波去除噪声和无效点云信息，提取作物表面的有效点云；
步骤S5：根据三维点云坐标对作物点云进行分析，得到待收获区域内作物倒伏情况，再根据作物的倒伏情况计算联合收割机割台的最优调控策略，进而辅助操作人员收割倒伏作物或者实现自动调控收割倒伏作物，克服因为田间地面不平导致的姿态误差问题，提高联合收割机在收获倒伏作物时收割效率，降低收割成本。


2.如权利要求1所述的融合双目相机和IMU的收割机倒伏作物检测与收获方法，其特征在于：所述绝对世界坐标系以棋盘格标定板上某个正方形的角点作为原点O0建立坐标系，棋盘标定板所在的平面作为x0轴和y0轴所构成的平面，x0轴和y0轴垂直，方向任意；z0轴、y0轴垂直于x0轴和y0轴所构成的平面向上；
所述的相对世界坐标系Onxnynzn在任意时刻n，与联合收割机位置保持相对不变，其相对于相机的位置和姿态与绝对世界坐标系一致。


3.如权利要求1或2所述的融合双目相机和IMU的收割机倒伏作物检测与收获方法，其特征在于：相机具有内置IMU模块，IMU模块用于及时获取当前相机姿态和位置；由于相机与联合收割机固连，因此，相机姿态和位置能够被认为是联合收割机姿态和位置。


4.如权利要求1或2所述的融合双目相机和IMU的收割机倒伏作物检测与收获方法，其特征在于：外参矩阵...

【专利技术属性】
技术研发人员：闻敬谦，潘政霖，范银冬，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京;11