基于图像的果树枝干三维模型重建方法技术

本发明专利技术公开了一种基于图像的果树枝干三维模型重建方法，通过采集装置采集当前视野下果树枝干图像的颜色信息值和对应的空间位置坐标值；对果树枝干图像进行细线化处理、剪枝处理和树枝的线段化处理；对处理的图像进行多线段拟合减少建模数据，将果树枝干形态分解成若干具有单一形态的模块；对各单一形态的模块进行组合完成建模。本发明专利技术减少了建模中的大部分冗余数据，缩短建模时间，减少错误的发生，可根据实际需要调整模块的精度和模块之间连接关系以达到随时控制和调整模型的精确度，满足采摘机器人避障要求。

【技术实现步骤摘要】

本专利技术涉及三维模型重建的方法，特指一种基于模块化、使用图像处理技术和图形学原理对果树枝干进行三维模型快速精确重建的方法。
技术介绍
农产品的采摘是一项劳动强度大、消耗时间长的作业，目前，已采用水果采摘机器 人避开果树枝干摘取果实。由于果树个体形态千差万别，对水果采摘机器人要求预知果实 和障碍物(主要为果树枝干)三维场景，建立障碍物三维信息库，实现真实到虚拟场景的映 射，这就需要对果树枝干三维模型进行快速重建，为满足避障要求，所建模型必须具有准确 的空间精度；为了能适应果园场景的不断变化，所建模型必须满足实时要求。 2009年8月熊壮等人的《动态三维树实时仿真设计与实现》基于SpeedTree几何 与图像混合绘制技术的动态三维树木的建模、渲染设计及与3D引擎衔接的方案，为树木实 时建模提供了全新的新的思路；但是该方法目的在于构建虚拟环境，而构造树木的依据并 不是真实场景的特定树木，不存在空间位置精确性描述的要求。 申请号为200810101400. 6，名称为"三维扫描仪及其三维模型重构方法"的专利， 采用的技术方法是设计一种光栅扫描设备，提出了多次采集数据进行拼接以得到三维模 型的方法。这种方法的缺陷是由于计算步骤复杂，无法实时生成目标场景，也不适合在自 然场景使用。 申请号为200610050797. 1，名称为"基于双相机的小型场景三维重建方法及其装 置"的专利，采用的技术方法是基于双相机的小型场景三维重建方法，这种方法的缺陷是 适合特殊场合，且无法提供快速、实时建模方法和手段。 从以上公知技术可知现有技术无法为水果采摘机器人提供既可以精确建模，又 可以实现实时映射的方法和手段，满足在自然场景下果实采摘实时避障要求。
技术实现思路
鉴于现有技术的不足，本专利技术旨在提供一种基于图像的果树枝干三维模型重建方 法，可在自然场景下实现对果树枝干的快速、精确和实时映射。 本专利技术采用的技术方案是先通过采集装置采集当前视野下果树枝干图像的颜色 信息值和对应的空间位置坐标值；再对果树枝干图像进行细线化处理、剪枝处理和树枝的 线段化处理；然后对处理的图像进行多线段拟合减少建模数据，将果树枝干形态分解成若 干具有单一形态的模块；最后对各单一形态的模块进行组合完成建模。 本专利技术根据非结构化自然场景中果树复杂形态的特点，将果树结构分段简化形成 基本模块，再进行拼接建模，这种模块化建模的最大优点就是减少建模中的大部分冗余数 据，縮短建模时间，减少错误的发生，同时可以根据实际需要调整模块的精度和模块之间连 接关系以达到随时控制和调整模型的精确度，满足采摘机器人避障要求。附图说明 图1为本专利技术建模总流程图。 图2为只保留枝干的果树实体样例图。 图3为细线化后果树枝干图。 图4为断枝、短枝剪除处理流程图。 图5为多线段拟合图。 图6为多线段拟合流程图。 图7为模块化建模流程图。 图8为空间坐标系中模块p' p〃经过绕x轴旋转小角、绕y轴旋转9角的变换 示意图。 图9为最终建模结果图。 具体实施例方式本专利技术主要由硬件装置和软件系统组成，硬件装置由双目相机组成立体视觉系统 作为采集装置，采集的果树枝干的图像信息包括当前视野下的颜色信息值(R，G，B)以及对 应的空间位置坐标值(x，y，z)。软件系统分为两部分一是图像处理部分，二是图形重建部 分。基于水果采摘机器人避障要求，场景图像为果树，先将树枝和交叉的枝干通过图像的细 线化处理、剪枝处理，再进行树枝的线段化处理，并进行线段多线段拟合减少建模数据，据 此将复杂的果树形态分解成若干可控的具有单一形态的模块；最后在完成基本模块的建模 后，对模块进行组合以完成建模。 在避障过程中树叶的柔软性不会损害机械手臂，一般不作为障碍物处理，因此采集数据信息后，可以根据树叶、树干的颜色差异将树叶去除，只保留如图2所示的枝干图像。流程如图l所示，提取枝干后的图像进行二值化处理，然后转化成距离图像，将距离图像数据和细线化后图像数据结合得到枝干中心线距离值，再与前期采集得到的空间位置坐标数据结合，得到中心线每一点空间坐标以及对应的枝干半径。为减少数据运算量，将枝干中心线剪除短枝去除赘点，得到可以表示树木拓扑结构的关键点坐标及对应半径。根据关键点坐标可以计算出圆柱体的高度以及空间变换矩阵，而半径信息可以得到圆柱体两端面圆的十二等分点坐标值，这两者结合可以得出模型顶点坐标值，对这些坐标值按照三维格式存储即可以得到完整树木枝干模型。 本专利技术具体步骤如下 对树枝图像进行处理的具体方法为 1)将由得到的图2图像进行二值化处理，背景设为O，枝干设为1 ; 2)将经二值化处理后的图像转化为距离图像，再进行细线化处理，处理结果如图 3所示。记录细线化处理保留下来的每一像素点在距离图像中的距离值d。并根据每一对 应的像素点坐标值求出单位像素所代表的实际距离m。设由采集装置得到的对应点的空间 坐标为(x， y， z)，可以得到该点所对应的枝干中心坐标值为(x， y， z-md)，该处的枝干半径 R = md ;即将距离图像中像素距离值d和比例系数m相乘，得到树枝实际半径。在模型纵向 精度方向确定树木的拓扑结构。纵向精度定义为建立的虚拟模型和树枝实际生长方式的 拟合程度。得到的树木图像具有严密的拓扑结构，如果完全按照这种拓扑结构进行建模，所建立的模型固然真实，但是其建模时间必然增加，不能达到实时建模的目的。因此本专利技术对 树木分枝连接的节点进行分离处理，使其成为若干互不相连的枝条。并通过设定阈值T1(T1 > 2， Tl的实际意义是树枝枝条长度与枝条半径的比值)，去除虚假短枝。Tl取值越大，被 剪的短枝越长，较长的短树枝就会被去掉，影响模型精度，本专利技术取T1 = 4。当计算出枝干 半径R后，设定Tl X R为评判虚假短枝的阈值，进行断枝、短枝剪除处理，将与半径长度类似 的短枝去除，具体方法如图4为 ①图像顺次扫描，找到细线化图的非0点，判断该点周围八邻域非0点个数n :n > 1继续扫描图像；11= l，则设该点为初始点，设坐标值及半径为Kx' ，y' ，z' )，R' }，扫 描得到的八邻域中的非O点设为终点，坐标值及半径为Kx〃 ，y〃 ，z〃 )，R〃 }，并且记录 这两点的图像位置及两点对应的半径(R' ，R〃 )最大值R; ②对终点进行八邻域扫描，并判断终点八邻域非0点个数nl :nl = 2，则设扫描得 到的新点为终点，记录该点的图像位置，并用该点对应的树干中心坐标及对应半径值更新 Kx" ，y〃 ，z〃 )，R" h重复进行上述步骤②; ③根据起始点和终点的坐标值求出起始点到终点距离d，若d < Tl X R，则将本次循环中记录的所有点置为0点，即执行剪枝处理；否则回到上述步骤①。 如图5，为保证建模精确性，建立评价函数，通过对已分段的各枝条进行多线段拟合，仅选择建模必要的空间点，将各枝条拆分成多个基本模块分别建模。模块化的处理使得建模具有通用性，可以大大提高建模速度。具体方法如图6所示为 ①图像顺次扫描，找到细线化图的非0点，判断8邻域中是否存在非0点如果存 在，记录8邻域中的非0点位置和个数，如果非0点个数大于2，则继续顺次扫描，如果非0 点个数小于等于2，则作为枝干的起本文档来自技高网...

【技术保护点】
一种基于图像的果树枝干三维模型重建方法，其特征是采用如下步骤：　　　　１）通过采集装置采集当前视野下果树枝干图像的颜色信息值和对应的空间位置坐标值；　　　　２）对果树枝干图像进行细线化处理、剪枝处理和树枝的线段化处理；　　　　３）对处理的图像进行多线段拟合减少建模数据，将果树枝干形态分解成若干具有单一形态的模块；　　　　４）对各单一形态的模块进行组合完成建模。

【技术特征摘要】

【专利技术属性】
技术研发人员：张文莉，蔡健荣，李永平，陈全胜，吕强，
申请(专利权)人：江苏大学，
类型：发明
国别省市：32[中国|江苏]