一种利用合成数据的植物叶片分割方法及系统技术方案

本发明专利技术公开了一种利用合成数据下的植物叶片分割方法及系统。该方法包括：基于叶片图像构建多个该叶片图像的不同姿态、不同颜色的叶片三维模型；将叶片三维模型投影到二维平面生成叶片二维图像数据，将叶片二维图形数据与不同背景图像进行融合，得到训练集；通过训练集对深度学习模型进行训练，获得叶片分割模型；将包含叶片的待分割图像输入叶片分割模型得到分割后的叶片图像。利用三维树叶模型来生成分割数据，通过一张植物叶片图像，重建得到不同形状、不同颜色的树叶模型，并和不同的背景融合，自动生成大量的训练图片和训练标签构成训练集，减小了人工标注图像的精力消耗，能够在自然背景条件下全自动对植物叶片图像进行分割，分割效果好。

A Method and System for Plant Leaf Segmentation Using Synthetic Data

【技术实现步骤摘要】
一种利用合成数据的植物叶片分割方法及系统
本专利技术涉及图像分割领域，特别是涉及一种利用合成数据的植物叶片分割方法及系统。
技术介绍
研究植物，植物叶片的识别、检测和分割是我们在植物的计算机视觉方面的重要任务。然而自然条件下的植物叶片一般所处的背景条件复杂，而且植物叶片本身种类行行色色，纹理复杂，所以对植物叶片的识别、检测、分割是一个很艰巨的任务。机器能有效地识别叶片，其基础在于能把植物叶片从自然背景中提取出来。只有把叶片从背景中提取出来，对植物的后续分析才能继续。比如通过分割的叶片判断植物是否生长健康，是否遭受了病虫害。而对叶片的分割算法，其实也是用的普通的图像分割方法，其本质是对图像上的区域进行划分。图像分割的原理是通过图像的特征信息的不同，将图像上分为多个部分，而相同部分的特征信息相同，特征信息可也是颜色、形状等信息。当今的图像分割算法大概包括，传统的图像分割方法，比如利用阂值进行区域划分、使用图像边缘检测的算法、根据区域的划分方法、使用图论相关知识的分割以及基于能量泛函的方法等。基于传统的图像分割方法，能在背景比较简单，或者是单片叶子的环境下取得不错的效果，但是在背景复杂的图像中，其分割效果就大打折扣。而且很多传统方法需要手动提取特征，设置参数，不能全自动分割，这显然不能满足实际需要。近几年，随着大数据以及云计算的相关基础设备、算法的完善使得深度学习飞速发展，大批专家学者利用深度学习的相关算法来解决图像分割问题，或者是叶片分割问题。目前也是深度学习的相关方法在公开数据集上取得了最好的效果。但是基于深度学习的方式，必须要有训练数据，目前世界上公开的数据集都是用人工手工来标注的，手工标注的数据意味着要消耗大量的人力财力，并且人工标注也很容易在边缘处标注错误。因此，数据的缺乏问题严重阻碍了深度学习方法在图像分割算法上的进步。并且到目前为止，还没有专门针对植物叶片的分割数据集。同时，数据的缺乏问题也阻碍着深度学习的发展。由上可知，使用传统的叶片分割方法，需要手动输入一些参数，不能完成全自动分割，或者分割效果较差。使用深度学习的分割方法则可以实现叶片的全自动分割，但是需要大量的训练数据。
技术实现思路
本专利技术旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种利用合成数据的植物叶片分割方法及系统。为了实现本专利技术的上述目的，根据本专利技术的第一个方面，本专利技术提供了一种利用合成数据的植物叶片分割方法，包括：步骤S1，基于叶片图像构建多个所述叶片图像的不同姿态、不同颜色的叶片三维模型；将叶片三维模型投影到二维平面生成叶片二维图像数据，将叶片二维图形数据与不同背景图像进行融合，得到训练集，所述训练集包含多个训练样本和与训练样本对应的样本标签；步骤S2，通过训练集对深度学习模型进行训练，获得叶片分割模型；步骤S3，将包含叶片的待分割图像输入叶片分割模型，叶片分割模型输出分割后的叶片图像。上述技术方案的有益效果为：针对深度学习下的植物叶片研究算法训练数据缺乏的问题，利用三维树叶模型来生成分割数据，通过一张植物叶片图像，重建得到不同形状、不同颜色的树叶模型，并和不同的背景融合，自动生成大量的训练图片和训练标签构成训练集；利用合成的叶片数据和标签来训练分割网络获得叶片分割模型，减小了人工标注图像时的精力消耗，解决了当前基于深度学习的分割方法训练数据不足的问题，并且该叶片分割模型能够在自然背景条件下全自动对植物叶片图像进行分割，且分割效果好。为了实现本专利技术的上述目的，根据本专利技术的第二个方面，本专利技术提供了一种植物叶片分割系统，包括处理器和图像提供单元，处理器从图像提供单元获得包含叶片的待分割图像，并按照本专利技术所述的利用合成数据的植物叶片分割方法从待分割图像中分割出叶片图像。上述技术方案的有益效果为：除具有本专利技术所述的利用合成数据下的植物叶片分割方法的有益效果外，还具有全自动和准确地从待分割图像中分割出叶片图像的有益效果。可以看出，使用传统的叶片分割方法，需要手动输入一些参数，不能完成全自动分割，或者分割效果较差。使用深度学习的分割方法则可以实现叶片的全自动分割，但是需要大量的训练数据。针对这一问题，本文提出通过使用利用合成数据来训练叶片分割网络。附图说明图1是本专利技术一具体实施方式中利用合成数据下的植物叶片分割方法的流程示意图；图2是本专利技术一具体实施方式中通过方格获取叶片轮廓线段的示意图；图3是本专利技术一具体实施方式中叶片轮廓压缩前后的叶片轮廓形状示意图；图4是本专利技术一具体实施方式中叶面部分网格化过程示意图，其中，图4(a)为叶片骨架和叶片轮廓上的采样点示意图；图4(b)为叶面部分初步网格化结果示意图；图4(c)为叶面部分进一步细分网格化结果示意图；图5是本专利技术一具体实施方式中操作点的移动过程；其中，图5(a)是操作点移动原理示意图；图5(b)是操作点移动过程示意图；图6是本专利技术一具体实施方式中叶片平面网格模型变形后的示意图；图7是本专利技术一具体实施方式中大小不同、视角不一致的二维图像数据示意图；图8是本专利技术一具体实施方式中样本和样本标签示意图；图9是本专利技术一具体实施方式中空洞空间金字塔池化的示意图；图10是本专利技术一具体实施方式中CRF-RNN的单次迭代过程。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利技术，而不能理解为对本专利技术的限制。在本专利技术的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。在本专利技术的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。本专利技术公开了一种利用合成数据的植物叶片分割方法，在一种优选实施方式中，该方法的流程图如图1所示，具体包括：步骤S1，基于叶片图像构建多个该叶片图像的不同姿态、不同颜色的叶片三维模型；将叶片三维模型投影到二维平面生成叶片二维图像数据，将叶片二维图形数据与不同背景图像进行融合，得到训练集，训练集包含多个训练样本和与训练样本对应的样本标签；步骤S2，通过训练集对深度学习模型进行训练，获得叶片分割模型；步骤S3，将包含叶片的待分割图像输入叶片分割模型，叶片分割模型输出分割后的叶片图像。在本实施方式中，叶片图像为一张包含需要分割的植物叶片的图片，优选的，在该图片中的植物叶片尽可能地平整、完整，背景也比较干净。叶片图像可通过相机采集，也可以通过扫描获得。在一种优选实施方式中，在步骤S1中，基于叶片图像构建该叶片图像的多个不同姿态、不同颜色的叶片三维模型的步骤具体包括：步骤S11，获取叶片图像中的叶片轮廓；优选的，步骤S11具体包括：步骤S111，本文档来自技高网...

【技术保护点】
1.一种利用合成数据的植物叶片分割方法，其特征在于，包括：步骤S1，基于叶片图像构建多个所述叶片图像的不同姿态、不同颜色的叶片三维模型；将叶片三维模型投影到二维平面生成叶片二维图像数据，将叶片二维图形数据与不同背景图像进行融合，得到训练集，所述训练集包含多个训练样本和与训练样本对应的样本标签；步骤S2，通过训练集对深度学习模型进行训练，获得叶片分割模型；步骤S3，将包含叶片的待分割图像输入叶片分割模型，叶片分割模型输出分割后的叶片图像。

【技术特征摘要】
1.一种利用合成数据的植物叶片分割方法，其特征在于，包括：步骤S1，基于叶片图像构建多个所述叶片图像的不同姿态、不同颜色的叶片三维模型；将叶片三维模型投影到二维平面生成叶片二维图像数据，将叶片二维图形数据与不同背景图像进行融合，得到训练集，所述训练集包含多个训练样本和与训练样本对应的样本标签；步骤S2，通过训练集对深度学习模型进行训练，获得叶片分割模型；步骤S3，将包含叶片的待分割图像输入叶片分割模型，叶片分割模型输出分割后的叶片图像。2.如权利要求1所述的利用合成数据的植物叶片分割方法，其特征在于，在所述步骤S1中，基于叶片图像构建所述叶片图像的多个不同姿态、不同颜色的叶片三维模型的步骤包括：步骤S11，获取叶片图像中的叶片轮廓；步骤S12，提取叶脉作为叶片骨架；所述叶片骨架包括二级和/或三极叶脉；步骤S13，叶片轮廓以及叶片骨架包围的区域组成了叶面部分，对叶面部分进行网格化，获得叶片平面网格模型；步骤S14，对叶片平面网格模型进行纹理映射处理，具体为：从叶片图像中提取叶片纹理，将叶片纹理贴到叶片平面网格模型上，对于叶片平面网格模型中网格上的任一顶点v＝{x,y,z}的纹理坐标{Xtexture,Ytexture,z}为：其中，Xmin＝min{x1,x2,...,xn}，Xmax＝max{x1,x2,...,xn}，Ymin＝min{y1,y2,...,yn}，Ymax＝max{y1,y2,...,yn}；{x,y,z}表示顶点v在叶片平面网格模型中的欧式坐标，x1,x2,...,xn分别表示叶片平面网格模型中网格上所有顶点的x轴坐标值，y1,y2,...,yn分别表示叶片平面网格模型中网格上所有顶点的y轴坐标值，n表示叶片平面网格模型中网格上的顶点个数；步骤S15，在纹理映射后的叶片平面网格模型的叶片轮廓和/或叶片骨架上选取至少一个操作点，对操作点进行不同的移动，使叶片轮廓和叶片骨架发生不同的形变，获取操作点形变前后的坐标位置，利用拉普拉斯形变算法对纹理映射后的叶片平面网格模型进行变形，获得多个不同姿态的叶片三维网格模型；步骤S16，对不同姿态的叶片三维网格模型进行着色处理获得多个不同姿态、不同颜色的叶片三维模型。3.如权利要求2所述的利用合成数据的植物叶片分割方法，其特征在于，所述步骤S11包括：步骤S111，根据如下公式对叶片图像中的每个像素点进行灰度处理，获得灰度图像；gray＝0.3*R+0.59*G+0.11*B,其中，gray为像素点的灰度值，R，G，B分别为像素点在叶片图像中的R通道值、G通道值和B通道值；步骤S112，设置灰度阈值，对灰度图像中的所有像素点进行如下判定获得二值图像：若像素点的灰度值大于灰度阈值，则认为该像素点为叶片像素点，若像素点的灰度值小于等于灰度阈值，则认为该像素点为背景像素点；步骤S113，从二值图像中提取出叶片轮廓，具体为：在二值图像上设置可移动的方格，方格顶点的颜色与顶点所在位置的像素点的二值化值对应，若像素点二值化值为1，顶点为黑色，若像素点二值化值为0，顶点为白色；从二值图像中叶片部分的最左侧开始沿叶片边沿逆时针方向移动，直到回到起点，连接每个方格中与一个或两个黑色顶点相邻的两个边的中点获得叶片轮廓线段，所有叶片轮廓线段构成了叶片轮廓，叶片轮廓线段的端点为叶片轮廓的顶点；当方格的黑色顶点为两个且分别位于方格的对角点时，通过改变方格大小或者忽略其中一个黑色顶点的方式来避免一个方格内生成两条叶片轮廓线段。4.如权利要求2所述的利用合成数据的植物叶片分割方法，其特征在于，所述步骤S13包括：步骤S131，压缩叶片轮廓的顶点；步骤S132，从叶片骨架和叶片轮廓上选取多个采样点，将叶片轮廓的采样点和叶片骨架的采样点顺序相连组成多个多边形；步骤S133，将所述多边形划分为至少2个三角形或四边形，对全部或部分三角形或四边形组成的网格做进一步细分，获得叶片平面网格模型。5.如权利要求4所述的利用合成数据的植物叶片分割方法，其特征在于，所述步骤S133包括：步骤S1331，通过Delaunay三角剖分算法将所述多边形划分为至少2个三角形；步骤S1332，将叶片轮廓和叶片骨架标记为边界；步骤S1333，对全部或部分三角形组成的网格做进一步细分处理，具体包括：步骤A：对于步骤S1331中的任一叶片三角形网格中的顶点v，设集合N为包含顶点v以及顶点v邻域内所有三角形顶点的集合，对集合N中的每个顶点进行细分，具体的：设顶点v0,v1为顶点集N中的两个顶点，v0≠v1，若边v0v1不是公共边，不插入新顶点；若边v0v1为公共边，获取以边v0v1为公共边的两个三角形所在平面的法线夹角，若所述夹角大于等于第一阈值，在边v0v1上不插入新顶点，若所述夹角小于第一阈值，在边v0v1上插入新顶点vnew，vnew的位置坐标计算公式如下：其中，vnew表示新顶点位置坐标；v2和v3分别表示以边v0v1为公共边的两个三角形中与边v0v1相对的顶点的位置坐标；所述第一阈值为预设值，取值范围为：15度到60度；步骤B：对于步骤S1331中的任一顶点v，设集合N为包含顶点v以及顶点v邻域内所有三角形顶点的集合，计算顶点v的平坦度Sv，若Sv＜λ，顶点v的位置坐标不需要调整，若Sv≥λ，通过以下公式调整顶点v的位置坐标：其中，v'表示顶点v调整后的位置坐标；vj表示顶点集N中第j个顶点；β为位置调整系数，k为顶点集N中的顶点个数；顶点v的平坦度顶点v的法向量Nj为顶点v邻域内k-...

【专利技术属性】
技术研发人员：刘骥，林艳，
申请(专利权)人：重庆大学，
类型：发明
国别省市：重庆,50