一种基于超像素特征提取实现柑橘分割方法技术

本发明专利技术公开了一种基于超像素特征提取实现柑橘分割方法，方法包括以下步骤：S1：获取柑橘图像；S2：对柑橘图像使用分割算法进行超像素分割；S3：提取柑橘图像的超像素颜色特征和超像素纹理特征，然后将柑橘图像的超像素颜色特征和超像素纹理特征进行特征融合；S4：训练超像素预测模型；S5：在对超像素进行分类后，提取预测为柑橘的超像素掩膜，并对得到的掩膜进行后处理。本发明专利技术提供一种在不同光照条件、柑橘互相遮挡的情况、不同成熟阶段柑橘颜色的差异以及在机器人工作过程中由于必然存在的位移形成的与光源相对位置改变的情况下，依然能够实现果实的准确识别的基于超像素特征提取实现柑橘分割方法。

【技术实现步骤摘要】
一种基于超像素特征提取实现柑橘分割方法
本专利技术涉及图像处理领域，尤其是涉及一种基于超像素特征提取实现柑橘分割方法。
技术介绍
目前柑橘是我国各地广泛种植的水果之一，也是世界贸易的主要农产品之一，仅次于小麦和玉米。柑橘产业作为我国重要的贸易农产品发展产业，在我国被广泛地种植，种植面积居世界第一，总产量占世界第三位。据统计，截止2016年，柑橘在我国的有效栽培面积为3835.05万亩，总产量己达3618.8万吨。在柑橘果实的生产作业中，果实的采摘环节是一个较为复杂的环节，在全部生产作业中比重较大。正是由于采摘作业的复杂性，使其自动化程度较低，柑橘果实的采摘往往都是通过人工进行，不仅劳动强度大，同时也产生了大量的人工成本。据统计，柑橘果实的采摘成本占到其全部生产成本的33％～50％。使用采摘机器人代替人工进行果实采摘，不仅可以降低劳动强度，节省有限的劳动力资源，同时也能够节省人工成本，提高劳动生产率。机器人采摘成熟柑橘前，必须先识别柑橘、提取相关特征并定位，但在非结构化的自然场景中，想要把柑橘从复杂的背景中分割出来是存在难度的，比如光照的变化远远大于果实和叶子的色差，因此色差分割法很难达到理想的效果。此外，在强光照射下，水果部分区域可能会饱和，从而使分割的图像存在大面积的孔洞。自然环境中存在的不同光照条件、柑橘互相遮挡的情况、不同成熟阶段柑橘颜色的差异以及在机器人工作过程中由于必然存在的位移形成的与光源相对位置改变等问题，会严重影响果实的准确识别、采摘点的精确定位和采摘行为的执行，从而降低采摘工作的效率，甚至于硬性障碍物发生碰撞从而造成机器的损坏。利用机器视觉进行图像识别是农业机械化综合管理能否精准有序作业的关键，是后续工作的基础。中国专利公开号CN109711317A，公开日2019年05月03日，专利技术创造的名称为基于区域特征的成熟柑橘果实及枝叶的分割识别方法，该申请案包括以彩色图像的颜色特征生成特征向量，并使用特征映射表对颜色特征进行特征降维，以减少特征向量的维度；然后通过采摘机器人工作空间、双目摄像机视场大小以及柑橘果实大小，来确定目标物的ROI大小，将R、B通道中目标范围像素点数量占比大小作为选出ROI的依据；最终对得到的多个初选ROI中重合度较大的ROI进行分数排序，选择最大分数的ROI作为最佳分割识别区域。在该申请案中没有对超像素进行筛选，不能减少训练的时间和难度，也没有披露分割数量的最佳范围，不能根据超像素的最佳分割数量的范围来确定分割数量。
技术实现思路
本专利技术是为了克服现有技术的在不同光照条件、柑橘互相遮挡的情况、不同成熟阶段柑橘颜色的差异以及在机器人工作过程中由于必然存在的位移形成的与光源相对位置改变而严重影响果实的准确识别的问题，提供一种在不同光照条件、柑橘互相遮挡的情况、不同成熟阶段柑橘颜色的差异以及在机器人工作过程中由于必然存在的位移形成的与光源相对位置改变的情况下，依然能够实现果实的准确识别的基于超像素特征提取实现柑橘分割方法。为了实现上述目的，本专利技术采用以下技术方案：本专利技术解决其技术问题所采用的技术方案是：一种基于超像素特征提取实现柑橘分割方法，方法包括以下步骤：S1：获取柑橘图像；S2：对柑橘图像使用分割算法进行超像素分割；S3：提取柑橘图像的超像素颜色特征和超像素纹理特征，然后将柑橘图像的超像素颜色特征和超像素纹理特征进行特征融合；S4：训练超像素预测模型；S5：在对超像素进行分类后，提取预测为柑橘的超像素掩膜，并对得到的掩膜进行后处理。本专利技术使用超像素分割及特征提取，训练超像素特征模型，超像素预分割，超像素分类，生成二值化掩膜并进行后处理，最终通过掩膜提取分割后的柑橘图像，这样就可以通过对柑橘图像进行识别，进而从图片中识别出属于柑橘的部分，配合拍摄的位置和角度就能计算得知柑橘相较于拍摄位置的位置，为柑橘的机械化采收打下基础。作为优选，所述步骤S1中获取柑橘图像是通过摄像头拍摄柑橘树来获取柑橘图像。作为优选，所述步骤S2包括以下步骤：S21：选用了欠分割率UE来选取超像素的分割数量K；S22：使用分割算法将柑橘图像分割成K个超像素单元。因为本专利技术最终目的是获得自然光照条件下柑橘的完整分割图像，因此衡量的标准是超像素分割算法是否把所有的柑橘图像独立得分割出来，故本专利技术选用了欠分割率UE来选取超像素的分割数量K。作为优选，所述S21具体过程为：欠分割率UE计算公式为：式中，Gi表示标记出来的其中一块柑橘区域，i＝1,2,3,…,n，n为某图像标记出的柑橘区域数量，Sk表示分割得到的超像素，k＝1,2,3,…,K；选取若干个柑橘图像，标记出其中的柑橘部分，然后用标记后的柑橘图像生成的掩膜图像，使用不同的分割数量K将各个柑橘图像分割成K个超像素单元，计算各个柑橘图像分割后的欠分割率均值Mean和标准差Standarddeviation，式中，Pi为各个柑橘图片超像素的欠分割率，n为各个柑橘图片的超像素分割数量；根据分割数量K和欠分割率均值Mean和标准差Standarddeviation变化关系，将选取在分割数量K取为350-450。在分割数量K取为350-450时，UE的均值处于局部最小值，并且随着K值得继续增大，其减小趋势不再显著，在分割数量K取为350-450时UE标准差也不再以显著的趋势下降，这说明在在分割数量K取为350-450，超像素分割已有可观的效果。而若将K增加至800或更高，这将来耗费更多的超像素分割时间，不利于实现实时分割，故而将分割数量K取为350-450。作为优选，所述步骤S3具体步骤为：使用若干颜色空间来提取超像素的颜色特征，计算每个颜色空间每个通道的均值和标准差，组成V维颜色空间特征向量；使用原图像超像素的掩膜去提取对应的LBP超像素，对提取得到的LBP超像素进行直方图统计，量化直方图等级为M级，即最后获得一个M维的纹理特征向量；将颜色特征和纹理特征融合成一个V+M维的特征向量，即完成了对超像素的特征提取。对于光照条件不可控且背景复杂的自然环境图像而言，单一的颜色空间不足以实现较为理想的分割，所以采用若干个颜色空间来实现分割，可以取得好的分割效果。作为优选，所述步骤S4过程如下：根据经验公式求隐藏层维度s，公式如下：式中：m是输入层的维度，n是输出层的维度；对一定数量的从自然光照条件下拍摄获得的柑橘图片进行标注其中的柑橘部分并按照步骤S3中过程进行特征提取后，用BPNN进行训练并保存模型。作为优选，所述先对分割后的图像超像素进行筛选，然后再进行步骤S4，对分割后的图像超像素进行筛选的过程为：设置超像素阈值T，在超像素阈值T内的为背景超像素，在超像素阈值T外的为柑橘超像素，在对图像超像素进行筛选后，用训练好的BPNN模型对筛选后的感兴趣超像素SOI进行预测并得到其置信度，若SOI的置信度大于0.5，则归类为柑橘超像素，若SOI的置信本文档来自技高网...

【技术保护点】
1.一种基于超像素特征提取实现柑橘分割方法，其特征是方法包括以下步骤：/nS1：获取柑橘图像；/nS2：对柑橘图像使用分割算法进行超像素分割；/nS3：提取柑橘图像的超像素颜色特征和超像素纹理特征，然后将柑橘图像的超像素颜色特征和超像素纹理特征进行特征融合；/nS4：训练超像素预测模型；/nS5：在对超像素进行分类后，提取预测为柑橘的超像素掩膜，并对得到的掩膜进行后处理。/n

【技术特征摘要】
1.一种基于超像素特征提取实现柑橘分割方法，其特征是方法包括以下步骤：
S1：获取柑橘图像；
S2：对柑橘图像使用分割算法进行超像素分割；
S3：提取柑橘图像的超像素颜色特征和超像素纹理特征，然后将柑橘图像的超像素颜色特征和超像素纹理特征进行特征融合；
S4：训练超像素预测模型；
S5：在对超像素进行分类后，提取预测为柑橘的超像素掩膜，并对得到的掩膜进行后处理。


2.根据权利要求1所述的一种基于超像素特征提取实现柑橘分割方法，其特征是步骤S1中获取柑橘图像是通过摄像头拍摄柑橘树来获取柑橘图像。


3.根据权利要求1所述的一种基于超像素特征提取实现柑橘分割方法，其特征是步骤S2包括以下步骤：
S21：选用了欠分割率UE来选取超像素的分割数量K；
S22：使用分割算法将柑橘图像分割成K个超像素单元。


4.根据权利要求3所述的一种基于超像素特征提取实现柑橘分割方法，其特征是S21具体过程为：欠分割率UE计算公式为：



式中，Gi表示标记出来的其中一块柑橘区域，i＝1,2,3,…,n，n为某图像标记出的柑橘区域数量，Sk表示分割得到的超像素，k＝1,2,3,…,K；
选取若干个柑橘图像，标记出其中的柑橘部分，然后用标记后的柑橘图像生成的掩膜图像，使用不同的分割数量K将各个柑橘图像分割成K个超像素单元，计算各个柑橘图像分割后的欠分割率均值Mean和标准差Standarddeviation，






式中，Pi为各个柑橘图片超像素的欠分割率，n为各个柑橘图片的超像素分割数量；
根据分割数量K和欠分割率均值Mean和标准差Standarddeviation变化关系，将选取...

【专利技术属性】
技术研发人员：杨庆华，陈一钦，鲍官军，荀一，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：浙江;33