一种果树冠层器官图像拼接方法技术

本发明专利技术公开了一种果树冠层器官图像拼接方法，包括如下步骤：A以PMD摄像机摄取果树不同生长期冠层器官的系列强度图像，同时以彩色摄像机获取果树冠层器官系列彩色图像；B分别将强度图像、彩色图像的相邻图像配准；C分别将强度图像、彩色图像的相邻图像重叠区域融合；D分别拼接得到强度图像拼接效果图和彩色图像拼接效果图；E以强度图像拼接效果图和彩色图像拼接效果图指导果树生产。本发明专利技术的方法适合于果树年生长期的冠层器官图像拼接，且算法的鲁棒性、实时性及拼接精度均能满足冠层三维重建工作的要求，对提升剪枝、疏花、测产、采摘等果园管理的信息化水平具有重要意义。

【技术实现步骤摘要】

本专利技术涉及农业信息化领域，具体涉及一种果树冠层器官图像拼接方法。
技术介绍
果树年生长期（annual grouth cycle）是指在一年内随着气候变化，果树表现出一定规律性的生命活动全过程。关键性阶段包括：休眠期、疏花期、成熟期等。如何构建年生长期中不同生长阶段的具有颜色特征的冠层三维形态一直是果树信息化的研究重点，其可视化研究对于提升剪枝、疏花、测产、采摘等关键环节的智能化管理具有重要意义。目前，国内外用于构建果树冠层三维形态的手段主要有三种：一是立体视觉技术，使用时易受室外非结构光的影响；二是激光扫描仪，虽然能够较大程度克服上述因素，但存在获取信息速度较慢，数据冗余的弊端；三是三维数字化仪，但该设备对外界环境条件要求苛刻，且无法获取冠层各个器官的颜色信息量。PMD(Photonic Mixer Device)摄像机是基于ToF（Time of Flight）技术的三维成像设备，以40fps的高速帧速获取被测物体的深度点云信息，但该设备分辨率较低（200像素×200像素），彩色摄像机能够获取被测物丰富的颜色信息，虽然受光照影响较大，但与PMD摄像机结合使用，可互为补充，且二者的结合使用在非结构光环境中的多源图像配准中得到了较好的应用，为果树冠层三维重建提供了可靠的工具。图像拼接是指将两组以上相互间包含有公共区域的图像构建成包含公共区域的较大视图，已在计算机视觉、医学、遥感等领域得到了广泛的应用，而针对果树年生长期关键性阶段的冠层器官图像未见研究报道。果树冠层拼接是冠层三维可视化的关键环节，因此采用PMD摄像机并结合彩色摄像机构建一个果树多源图像采集系统，开展果树年生长期（包括休眠期、疏花期、成熟期）的冠层器官图像拼接技术研究，旨在实现将来果树不同生长阶段的冠层图像三维重建，为剪枝、疏花、测产、采摘等果园信息化管理关键环节提供技术支持。因此，针对以上研究现状，本专利技术提供一种适合于果树不同生长期的冠层器官图像拼接方法。
技术实现思路
为了构建苹果树不同生长期的冠层三维全景形态，克服单一传感器获取图像信息的弊端，本专利技术提供一种果树冠层器官图像拼接方法。本专利技术提供的一种果树冠层器官图像拼接方法，包括如下步骤：A以PMD摄像机摄取果树不同生长期冠层器官的系列强度图像，同时以彩色摄像机获取果树冠层器官系列彩色图像，并分别选出强度图像、彩色图像的相邻图像；B分别将强度图像、彩色图像的相邻图像配准；C分别将强度图像、彩色图像的相邻图像重叠区域融合；D分别拼接得到强度图像拼接效果图和彩色图像拼接效果图；E以强度图像拼接效果图和彩色图像拼接效果图指导果树生产。其中，A所述生长期为休眠期、疏花期、成熟期中的一个或多个。其中，所述相邻图像为所示场景有30%（含）以上重叠区域的两幅图像。其中，B所述配准，包括如下步骤：B1将系列强度图像或系列彩色图像高斯滤波器G(λ)进行卷积运算，构建初始高斯金字塔，对高斯组进行1/2的降采样运算，重复此运算若干次，直至满足设定的阈值，以此获取高斯金字塔序列图像，建立尺度空间；B2利用DoG算子的主曲率特性描述特征点位置分布情况，得到原始图像每个点的Hessian矩阵；B3利用非极大值抑制找到图像中每个像素的3×3×3的立体邻域内的局部响应极值，以此作为待选特征点，采用双线性插值运算精确确定特征点位置；B4利用直方图统计法，用以特征点尺度作为方差的高斯函数加权特征采样点，获取图像各个像素点的梯度分布及关于特征方向的统计直方图，生成其图像特征描述采用KD_Tree特征结构的BBF算法实现待拼接图像对的特征点粗匹配；B5采用RANSAC算法对特征点对进行提纯，消除误匹配点对。其中，B5所述采用RANSAC算法对特征点对进行提纯，包括如下步骤：B5-1采样内点集合，随机选取4对特征点对，作为映射模型矩阵H的参数；B5-2遍历内点集合，将其应用于变换模型H，计算其误差ε，当ε小于预设阈值时，将该特征点对作为同名点对，记录其数量M；否则作为非同名点予以删除；B5-3利用数量为M的同名点对重新求解变换矩阵H，重新确定同名点数量M’，当时，M’>M时，返回上一步，否则继续执行；重复以上步骤，直到循环到预设次数T为止；B5-4选取M’值最大时对应的同名点对集合，求出变换矩阵H。其中，C所述融合，包括如下步骤：C1对待拼接的相邻图像进行高斯塔式分解，并对第k层Gk进行内插放大；C2对待拼接的相邻图像进行拉普拉斯金字塔分解，分层确定融合准则，高频分量选择基于3×3区域特征的融合方法，保证细节信息，低频分量采用加权平均融合处理；C3将Laplace金字塔按照从上到下的层次进行递推运算，可获得与其对应的高斯金字塔，重构冠层原图像，进而实现待拼接图像重叠区域的精确融合。其中，D所述拼接效果图为将C重叠区域融合后的两张相邻图像合并在空白图像中得到的效果图。其中，E所述指导果树生产为指导果树的剪枝、疏花、测产、采摘等中的一项或几项。本专利技术还提供所述一种果树冠层器官图像拼接方法在果树生产中的应用。其中，所述果树优选苹果树。本专利技术为重建果树年生长冠层器官三维形态，以休眠期、疏花期、成熟期果树冠层为研究对象，分别针对基于光合混合探测技术的PMD摄像机与彩色摄像机获取的强度图像与彩色图像开展冠层图像拼接技术研究。利用SIFT算法的尺度不变特征，并结合RANSAC算法精确确定图像映射模型，避免了果园非结构光及图像尺度变换的影响；以此为基础，应用Laplace金字塔分解与重构算法、分层确定融合规则，实现了不同生长期的冠层图像拼接，有效克服了传统融合算法反映细节信息能力差、拼接痕迹明显等缺点；拼接方法适合于果树年生长期的冠层器官图像拼接，且算法的鲁棒性、实时性及拼接精度均能满足冠层三维重建工作的要求，研究成果对提升剪枝、疏花、测产、采摘等果园管理的信息化水平具有重要意义。附图说明图1为实施例1冠层器官图像拼接流程图。图2为实施例1休眠期彩色图像与强度图像各自相邻图像配准及拼接效果图。图3为实施例1疏花期彩色图像与强度图像各自相邻图像配准及拼接效果图。图4为实施例1成熟期彩色图像与强度图像各自相邻图像配准及拼接效果图。其中，(a)为冠层相邻彩色图像、(b)为彩色图像本文档来自技高网...

【技术保护点】
一种果树冠层器官图像拼接方法，包括如下步骤：A以PMD摄像机摄取果树不同生长期冠层器官的系列强度图像，同时以彩色摄像机获取果树冠层器官系列彩色图像，并分别选出强度图像、彩色图像的相邻图像；B分别将强度图像、彩色图像的相邻图像配准；C分别将强度图像、彩色图像的相邻图像重叠区域融合；D分别拼接得到强度图像拼接效果图和彩色图像拼接效果图；E以强度图像拼接效果图和彩色图像拼接效果图指导果树生产。

【技术特征摘要】
1.一种果树冠层器官图像拼接方法，包括如下步骤：
A以PMD摄像机摄取果树不同生长期冠层器官的系列强度图
像，同时以彩色摄像机获取果树冠层器官系列彩色图像，并分别选出
强度图像、彩色图像的相邻图像；
B分别将强度图像、彩色图像的相邻图像配准；
C分别将强度图像、彩色图像的相邻图像重叠区域融合；
D分别拼接得到强度图像拼接效果图和彩色图像拼接效果图；
E以强度图像拼接效果图和彩色图像拼接效果图指导果树生产。
2.根据权利要求1所述的果树冠层器官图像拼接方法，其特征
在于，A所述生长期为果树休眠期、疏花期、成熟期中的一个或多个。
3.根据权利要求1所述的果树冠层器官图像拼接方法，其特征
在于，所述相邻图像为所示场景有30%（含）以上重叠区域的两幅图
像。
4.根据权利要求1所述的果树冠层器官图像拼接方法，其特征
在于，B所述配准，包括如下步骤：
B1将系列强度图像或系列彩色图像高斯滤波器G(λ)进行卷积
运算，构建初始高斯金字塔，对高斯组进行1/2的降采样运算，重复
此运算若干次，直至满足设定的阈值，以此获取高斯金字塔序列图像，
建立尺度空间；
B2利用DoG算子的主曲率特性描述特征点位置分布情况，得到
原始图像每个点的Hessian矩阵；
B3利用非极大值抑制找到图像中每个像素的3×3×3的立体邻
域内的局部响应极值，以此作为待选特征点，采用双线性插值运算精
确确定特征点位置；
B4利用直方图统计法，用以特征点尺度作为方差的高斯函数加
权特征采样点，获取图像各个像素点的梯度分布及关于特征方向的统

\t计直方图，生成其图像特征描述采用KD_Tree特征结构的BBF算法
实现待拼接图像对的特征点粗匹配；
B5采用RANSAC算法对特征点对进行提纯，消除误匹配点对。
5.根据...

【专利技术属性】
技术研发人员：刘刚，马晓丹，张丽娇，冯娟，周薇，
申请(专利权)人：中国农业大学，
类型：发明
国别省市：北京;11