一种视觉导航的多作物行检测方法技术

本发明专利技术涉及一种视觉导航的多作物行检测方法，属于机器视觉导航与图像处理相关领域。为快速准确的提取出农田中的多条垄线，满足农业机械实时导航定位的需要，本发明专利技术提供一种农业机器视觉导航的多作物行检测方法，包括步骤：标定摄像头参数，采集视频及图像帧，对图像进行畸变校正；分割作物垄行区域，采用垂直投影法提取导航定位点，计算定位点的世界坐标；使用随机直线检测方法对定位点进行计算，检测出作物垄行所在直线；根据直线的斜率参数与截距参数，计算得到各作物垄行在世界坐标系中相对所述农业作业机械的位置。对比传统技术，本发明专利技术技术方案的时间复杂度和空间复杂度都大大降低，准确性及导航的实时性也都得到了提高。

【技术实现步骤摘要】

本专利技术属于机器视觉导航与图像处理相关领域。具体涉及一种视觉导航的多作物行检测方法。
技术介绍
作为精细农业的一个重要分支，农田作业机械智能导航定位技术正越来越受到关 注，其中视觉导航在近年来逐渐成为重点研究方向之一。由于农田环境的非结构化特点，要 求农业机器视觉导航系统在识别田间垄行结构时必须具有很高的鲁棒性，并要在设定的时 间内能输出正确的识别结果。针对此项要求，国外较早提出了运用Hough变换在杂草等噪 声较少的多垄图像中提取导航参数的技术，该技术能克服断垄等影响。Hough变换是Paul Hough在1962年提出的形状匹配技术，Duda和Hart在1972年建立了基于直线检测的Hough 变换。尽管Hough变换可以一定程度克服断垄等影响，但Hough变换本身存在累加器峰值 较难确定和重复线段多、计算量大等问题，使得目前利用Hough变换识别作物行的相关成 果多集中在针对单作物行。而对于多作物行的检测，由于计算量，复杂度等大大增加，相关 资料在国内外都较少。 国内在识别多作物行方面，有基于Hough变换和Fisher准则( 一种判别准则函 数，模式识别中常用的特征提取方法之一)的垄线检测方法，该方法提高了垄线检测的准 确性。但是该方法的计算时间太长，应用在目前的计算机运算水平下，无法用于实时处理。 国外的相关研究，如一种基于垄线消失点的方法，以及基于先验知识与垄线消失点的方法， 主要是利用了垄行宽度，垄行间距或者垄行数目等先验知识以及摄像机成像原理中投影变 换的知识，这些方法计算都比较复杂。 作为提取直线的关键方法，国内外学者对Hough变换也提出了很多改进方法，如 随机Hough变换(Randomized Hough Transform)。随机Hough变换是多对一的映射，与传 统Hough变换对比，大大节省了计算量。同时引入了随机性的思想，可以在较短的时间内检 测出所需直线。但其收敛性仍然难以满足实际要求。
技术实现思路
本专利技术的目的在于提出一种基于随机方法的农业机器视觉导航多作物行检测方 法，以更快速更准确地提取出农田中的多条垄线，满足农业机械实时导航定位的需要。 为实现上述目的，本专利技术提供了，所述检测方 法应用于在多作物垄行上作业的农业作业机械，所述农业作业机械上设置有摄像头； 所述检测方法包括如下步骤 步骤1 :标定所述农业作业机械上摄像头的参数，采集视频及图像帧，结合所标定 的摄像头的参数对采集的图像进行畸变校正； 步骤2 :利用农作物的颜色特征分割各作物垄行区域，采用垂直投影法提取多组 导航定位点，根据所述步骤1中所标定的摄像头的参数，计算出所述导航定位点的世界坐标； 步骤3 :使用随机直线检测方法，根据所述导航定位点，检测出所述各作物垄行的所在直线； 步骤4 :根据步骤3检测出来的直线的斜率参数与截距参数，获得作物行垄行在世界坐标系中相对所述农业作业机械的位置。 所述步骤1包括如下步骤 步骤1. 1 :使用张正友基于2D平面模板的标定方法获得摄像机内部参数，使用Tsai法基于径向约束的两步法获得径向畸变系数，对采集的图像进行畸变校正； 步骤1. 2 :对摄像机外部参数进行推导及标定。 所述步骤2包括如下步骤 步骤2. 1 :采用如下方式计算各导航定位点的世界坐标 假定作物位于世界坐标系中yw = 0的平面上，通过小孔成像模型，与坐标系转换关系，可得到各点像素坐标所对应的世界坐标<formula>formula see original document page 5</formula> 其中，所述(u。， v。)为光心在计算机图像上的像素坐标；所述a x， a y为有效焦距；所述(xw，yw，zw)为点在世界坐标系中的坐标；所述h为摄像头到地面的垂直距离；所述p为摄像头光轴与水平面的夹角；所述(u， v)为像点像素坐标； 步骤2. 2 :对图像进行预处理及对垄线导航定位点的提取。 所述步骤3中的随机直线检测方法为从定位点中随机抽取两点，两点之间的距离需要大于或等于一给定阈值，由这两点可确定一条直线，并在该直线两侧划分出条形区域，检测落在所述直线两侧条形区域内定位点的数目；如果数目大于或等于给定阈值，就认为该直线为待测直线。所述直线两侧的条形区域包括 (1)由所述直线划分出来的两个条形区域；以及 (2)由距离所述直线为一给定距离的两条平行直线所确定出来的一个条形区域。 所述步骤3具体包括如下步骤 步骤3. 1 :建立包含所有目标点的数据空间，预先设置容许的距离长度门限值以及条形区域中令人满意的目标点数目门限值； 步骤3. 2 :设定待检测的直线条数和距离d，将失败累加器、条形区域内数据点个数计数器以及直线条数计数器清零； 步骤3. 3 :如果所述直线条数计数器数值等于所述设定待检测的直线条数，程序结束；否则，从所述数据空间中随机选择两个不同点，同时将这两个点从所述数据空间中清除； 步骤3. 4 :计算所述步骤3. 3中随机选择的两点之间的距离；如果大于容许的距离长度门限值，求得其直线方程，以及与所述直线平行且距离皆为d的另外两条直线方程，然后转入步骤3.5 ;否则，执行失败累加器累加l，然后将所述两点放回数据空间，返回步骤3. 3 ; 步骤3.5 :统计落到相应条形区域内目标点的个数，如果条形区域内数据点个数计数器数值大于或者等于所述条形区域中令人满意的目标点数目门限值，则认为该直线是待检测直线，执行直线条数计数器累加l，然后将相应的条形区域内数据点个数计数器清零，并且清除该区域内及周围目标点的个数，更新数据空间，返回步骤3.3 ;否则，执行失败累加器累加1，将这两个目标点放回数据空间，返回步骤3.3; 步骤3. 6 :通过逆向投影变换，对图像中绘出检测出的直线进行验证。 所述检测方法进一步包括步骤5 :将提取的各垄线投影到图像平面上。 本专利技术结合摄像机标定，图像逆向透视变换原理，先把图像像素点通过标定转换到世界坐标系中，在世界坐标中操作，直观方便，然后进行直线提取。由于采用了随机方法进行直线检测，与传统的Hough变换、基于垄线消隐点的方法以及随机Hough变换相比较，本专利技术所提供的方法的时间复杂度和空间复杂度都大大降低，实时性及准确性都得到了提高。根据检测的直线参数，即可获得作物行在世界坐标系中与作业机械的相对位置，从而提高了导航的实时性。附图说明 图1为本专利技术技术方案中视觉导航的多作物行检测方法流程图； 图2为本专利技术技术方案中视觉导航的多作物行检测方法图像原始图； 图3为本专利技术技术方案中视觉导航的多作物行检测方法畸变校正图； 图4为本专利技术技术方案中视觉导航的多作物行检测方法设定的图像坐标系与像素坐标系； 图5为本专利技术技术方案中视觉导航的多作物行检测方法的农业机器人示意图以及各坐标系示意； 图6. 1为本专利技术技术方案中视觉导航的多作物行检测方法中农作物原始图像； 图6. 2为本专利技术技术方案中视觉导航的多作物行检测方法中农作物原始图像经过二值化处理后得到的图像； 图7. 1为本专利技术技术方案中视觉导航的多作物行检测方法农作物图像膨胀处理采用的结构元素图； 图7. 2为本专利技术技术方案中视觉导航的多作物行检测方法本文档来自技高网...

【技术保护点】
一种视觉导航的多作物行检测方法，其特征在于，所述检测方法应用于在多作物垄行上作业的农业作业机械，所述农业作业机械上设置有摄像头；所述检测方法包括如下步骤：步骤１：标定所述农业作业机械上摄像头的参数，采集视频及图像帧，结合所标定的摄像头的参数对采集的图像进行畸变校正；步骤２：利用农作物的颜色特征分割各作物垄行区域，采用垂直投影法提取多组导航定位点，根据所述步骤１中所标定的摄像头的参数，计算出所述导航定位点的世界坐标；步骤３：使用随机直线检测方法，根据所述导航定位点，检测出所述各作物垄行的所在直线；步骤４：根据步骤３检测出来的直线的斜率参数与截距参数，获得作物行垄行在世界坐标系中相对所述农业作业机械的位置。

【技术特征摘要】

【专利技术属性】
技术研发人员：杜尚丰，陈娇，姜国权，张漫，
申请(专利权)人：中国农业大学，
类型：发明
国别省市：11[中国|北京]