一种果园导航路径视觉信息的俯仰运动搜索装置及方法制造方法及图纸

本发明专利技术涉及果园图像获取及视觉导航技术领域。目的是提出一种果园导航路径视觉俯仰运动搜索装置及搜索方法，所述的装置能够使相机俯仰运动采集原始图像，所述的搜索方法能够有效实现导航路径信息的获取。技术方案是：一种果园图像俯仰运动采集装置，包括上位机控制器；其特征在于：该装置还包括水平布置且可摆动地定位在机架上的转轴、安装在转轴上以用于采集行间原始图像的相机、通过曲柄摇杆机构驱动转轴从而使得相机作俯仰运动的电机、与相机连接以实时检测相机俯仰角的角度传感器；所述上位机控制器分别电连接相机、电机以及角度传感器；以接收相机采集的图像并控制电机的运动。动。动。

A pitching motion search device and method for visual information of orchard navigation path

【技术实现步骤摘要】
一种果园导航路径视觉信息的俯仰运动搜索装置及方法


[0001]本专利技术涉及果园图像获取及视觉导航
，具体涉及一种可实现果园导航路径视觉信息的俯仰运动搜索装置及搜索方法。

技术介绍

[0002]林果业在农业生产和农民收入中占据越来越重要的地位，林果业生产具有作业环节多、用工量大、劳动强度高等特点，且林果果树多生长于山地丘陵地带，其果园环境有以下特点：1、地势不平、有坡度；2、树冠冠幅大，郁闭、遮挡严重，在树冠的遮蔽条件下，卫星信号接收受到较大干扰；3、复杂多变，场景光线容易受到晨昏更替和四季变换的影响，图像差异性较大；4、果树树体生长自由度高，与农田环境不同，果树生长具有高度随机性和自由度，为视觉的识别带来较大挑战；5、障碍物众多，给行间行走带来困难。
[0003]在复杂非结构果园环境下，视觉导航路径信息的获取是一个难题。采集参照信息多、俯仰角度广的果园图像能显著提升视觉导航路径的拟合精度，进而提升农业机器人在果园的导航精度。

技术实现思路

[0004]本专利技术的目的是解决上述
技术介绍
的不足，提出一种果园导航路径视觉俯仰运动搜索装置及搜索方法，所述的装置能够使相机俯仰运动采集原始图像，所述的搜索方法能够有效实现导航路径信息的获取。
[0005]本专利技术的技术方案是：
[0006]一种果园图像俯仰运动采集装置，包括上位机控制器；其特征在于：该装置还包括水平布置且可摆动地定位在机架上的转轴、安装在转轴上以用于采集行间原始图像的相机、通过曲柄摇杆机构驱动转轴从而使得相机作俯仰运动的电机、与相机连接以实时检测相机俯仰角的角度传感器；所述上位机控制器分别电连接相机、电机以及角度传感器；以接收相机采集的图像并控制电机的运动。
[0007]所述相机与角度传感器均安装在相机罩上，该相机罩又固定在转轴上以作绕转轴的俯仰运动。
[0008]所述曲柄摇杆机构包括安装在主动轴上的曲柄以及两端分别与所述曲柄以及相机罩铰接的连杆。
[0009]采用果园图像俯仰运动采集装置进行果园导航路径视觉俯仰运动搜索方法，包括以下步骤：
[0010]1)根据林果果园行间视觉导航作业需求，在移动平台上采用自设计支架安装好俯仰运动相机装置；
[0011]2)相机俯仰角范围为
±
60
°
，即水平线上下各60
°
，将相机处于水平线位置作为角度传感器的绝对零位；
[0012]3)相机设置触发模式采集果园行间图像，即相机接收上位机控制器拍摄信号便立
即采集一帧图像，每帧图像俯仰角采集间隔若干角度，则一个完整的拍摄周期以相机从
‑
60
°
开始到﹢60
°
结束，拍摄俯仰角范围共为120
°
；
[0013]4)将同周期内拍摄的若干帧图像分别进行图像处理，即将原始图像转换到HSV颜色空间，减少光照因素对环境造成的不利影响；
[0014]5)采用基于颜色阈值的图像分割系统，根据预定义阈值对图像进行场景分割，即将图像分割为天空、树冠、土壤三个场景，基于图像帧对应俯仰运动相机装置的俯仰角正负，判断当前相机是处于天空检测阶段还是树冠与土壤检测阶段；
[0015]6)若角度传感器检测当前俯仰角为正，则相机处于天空检测阶段，此时树冠和土壤算作一个场景，图像经中值滤波和形态学处理后将果园图像分割为天空、树冠土壤两个场景，采用连通域分割算法对天空场景和树冠土壤场景进行准确提取，并采用Canny算子对天空场景的边缘进行提取和滤波，然后对边缘分界线上的坐标进行离散选取，采用最小二乘拟合离散坐标点提取该帧图像的视觉导航参考路径；
[0016]将天空检测阶段若干帧图像导航路径信息依据俯仰角大小进行融合，提取天空检测阶段导航参考路径；
[0017]若角度传感器检测当前俯仰角为负，则相机处于树冠与土壤检测阶段，此时天空和树冠算作一个场景，将果园图像分割为天空树冠、土壤两个场景；采用连通域分割算法对天空树冠与土壤场景区域进行准确提取，并采用Canny算子对土壤场景的边缘进行提取和滤波，然后对边缘分界线上的坐标进行离散选取，采用最小二乘拟合离散坐标点提取该帧图像的视觉导航参考路径；
[0018]将土壤检测阶段若干帧图像导航路径信息依据俯仰角大小进行融合，提取天空检测阶段导航参考路径；
[0019]7)依据两阶段提取出的不同俯仰角图像导航路径线依据斜率构建偏差置信度，最终融合出该周期导航路径信息；
[0020]8)根据预先标定好的相机内外参获取移动平台的视觉导航路径信息。
[0021]步骤3)中的若干角度为15
°
；采用角度传感器实时检测相机俯仰角并反馈给上位机控制器进行控制。
[0022]步骤1)中，确保相机安装于移动平台中心线上。
[0023]步骤1)中，上位机控制器预存多俯仰角状态下相机的内外参数。
[0024]本专利技术的有益效果是：
[0025]1)根据林果果园环境复杂、地势崎岖、杂草众多的特点，设计一种俯仰运动采集果园图像的相机装置，解决因单一角度采集图像有效信息少、适用性低的问题，采用本专利技术可实现果园环境下短时间内获取足够多的视觉参照信息；
[0026]2)本专利技术可将同周期内多帧图像依据俯仰角正负划分为天空导航路径、土壤导航路径提取两个阶段，随之分别对各帧图像进行场景分割后提取视觉导航参考路径，依据参考线偏差置信度融合提取该周期内最终导航参考路径，提高果园视觉导航路径信息提取精度，提升数据综合利用率。
附图说明
[0027]图1是本专利技术中果园图像俯仰运动采集装置的立体结构示意图。
[0028]图2是本专利技术中俯仰运动图像采集装置位于“仰”状态示意图。
[0029]图3是本专利技术中俯仰运动图像采集装置位于“俯”状态示意图。
[0030]图4是本专利技术中果园导航路径俯仰运动搜索方法的流程图。
[0031]图5是本专利技术中果园导航路径俯仰运动搜索方法的流程图。
[0032]图6是本专利技术中果园导航路径天空检测阶段图像处理示意图。
[0033]图7是本专利技术中果园导航路径土壤检测阶段图像处理示意图。
[0034]图8是本专利技术中天空与土壤检测阶段融合最终导航路径示意图。
具体实施方式
[0035]本专利技术采用俯仰运动装置触发采集果园图像，将同周期内多帧图像分为天空和地面检测阶段，并基于各自检测阶段进行导航路径的融合提取，最后将两阶段导航路径信息基于偏差置信度进行融合，实现移动平台(本实施例为履带式林果收集机，也可采用其他种类的移动平台)在果园导航信息的准确获取。
[0036]以下结合附图所示实施例(实施地点在浙江省金华东方红林场油茶果园)，对本专利技术作进一步说明，但本专利技术并不局限于以下实施例。
[0037]本专利技术设计的果园图像俯仰运动的采集装置(如图1所示)，可通过自设计的支架安装于履带式林果收集机上；该装置包括本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种果园图像俯仰运动采集装置，包括上位机控制器；其特征在于：该装置还包括水平布置且可摆动地定位在机架上的转轴(11)、安装在转轴上以用于采集行间原始图像的相机(1)、通过曲柄摇杆机构驱动转轴从而使得相机作俯仰运动的电机(8)、与相机连接以实时检测相机俯仰角的角度传感器(2)；所述上位机控制器分别电连接相机、电机以及角度传感器；以接收相机采集的图像并控制电机的运动。2.根据权利要求1所述的果园图像俯仰运动采集装置，其特征在于：所述相机与角度传感器均安装在相机罩(13)上，该相机罩又固定在转轴上以作绕转轴的俯仰运动。3.根据权利要求2所述的果园图像俯仰运动采集装置，其特征在于：所述曲柄摇杆机构包括安装在主动轴上的曲柄(4)以及两端分别与所述曲柄以及相机罩铰接的连杆(3)。4.采用权利要求1所述的果园图像俯仰运动采集装置进行果园导航路径视觉俯仰运动搜索方法，包括以下步骤：1)根据林果果园行间视觉导航作业需求，在移动平台上采用自设计支架安装好俯仰运动相机装置；2)相机俯仰角范围为
±
60
°
，即水平线上下各60
°
，将相机处于水平线位置作为角度传感器的绝对零位；3)相机设置触发模式采集果园行间图像，即相机接收上位机控制器拍摄信号便立即采集一帧图像，每帧图像俯仰角采集间隔若干角度，则一个完整的拍摄周期以相机从
‑
60
°
开始到﹢60
°
结束，拍摄俯仰角范围共为120
°
；4)将同周期内拍摄的若干帧图像分别进行图像处理，即将原始图像转换到HSV颜色空间，减少光照因素对环境造成的不利影响；5)采用基于颜色阈值的图像分割系统，根据预定义阈值对图像进行场景分割，即将图像分割为天空、树冠、土壤三个场景，基于图像帧对应俯仰运动相机装置的俯仰角正负，判断当...

【专利技术属性】
技术研发人员：殷程，马锃宏，杜小强，俞高红，孙良，
申请(专利权)人：浙江理工大学，
类型：发明
国别省市：