【技术实现步骤摘要】
本专利技术涉及图像识别，特别涉及一种基于自监督学习的葡萄去重叠遮挡识别方法、设备及介质。
技术介绍
1、近年来，随着社会经济的快速发展及人们生活水平的提高，人们对葡萄的需求量日渐增加。葡萄种植面积的扩大以及劳动力成本的增加，对以人工采摘为主导方式的葡萄产业造成了巨大冲击，因此利用智能机器人收获葡萄的精细化农业为当下葡萄采摘的主流方式。智能机器人通过图像识别，获取葡萄计数和尺寸，这些数据还能够用于用指导精细化的农业生产和自动化采摘。然而，由于葡萄串之间相互的重叠遮挡以及重叠位置的多样性，现有机器人设备中采用的传统随机遮挡算法在合成葡萄遮挡图像时会导致数据失真，易使葡萄遮挡预测失效。
2、现有的果实去遮挡预测主要采用两种主要方式，一是基于先验知识果实重构，如基于类圆形状先验，最小二乘椭圆拟合法对柑橘、柚子等果实的被遮挡区域的轮廓进行估计；但这种方法只适用于重构低遮挡率、类圆果实的轮廓，无法胜任葡萄等具有复杂形状果实的遮挡预测。另一种是基于生成网络的果实重构，其主要利用构建的卷积网络来学习遮挡样本至完整样本的映射关系；但在实际中，与遮挡相对应的真实完整样本往往难以被直接收集到。因此，如何人工合成完整样本对应的遮挡样本来拟合真实遮挡数据的分布是该类方法的关键。
3、目前一般通过选择随机遮挡的方式来分别合成葡萄、番茄与柑橘的叶子遮挡图像，然而，该种方式还存在以下缺陷：
4、1、由于不同于叶子与实例间尺寸差异相当，获取到的图像中葡萄实例间的尺寸存在较大差异，葡萄重叠位置还存在多样性，会因遮挡与被遮挡实例间
5、2、不同于叶子遮挡只会屏蔽实例的小部分区域，葡萄重叠可能会导致较大的实例区域被屏蔽，由于遮挡面积较大，截取的区域小于该实例的完整区域，而重构网络无法重构遮挡率较大的物体，不能关注图像外的内容，这会使得重构结果的正确与否取决于实例分割算法识别并截取的区域能否包含完整实例的所在区域。
6、3、传统去遮挡方法会使得重构网络总是趋向于增加预测样本的实例内容，这使得以该方法训练的网络在预测完整样本时也会选择扩充实例内容，解决这一问题则需要在实例分割阶段就区分葡萄实例的完整性，而这会极大地增加工作量，且增加了误识别的概率，无法规避因误识别导致的后续影响。
技术实现思路
1、为解决上述问题，本专利技术提供了一种基于自监督学习的葡萄去重叠遮挡识别方法，具体技术方案如下：
2、s1：采集葡萄图像进行实例分割标注，获取扣取实例标注的图像，并划分为训练集和验证集；
3、s2：基于扣取实例标注的图像，获取用于遮挡重构的合成图像集合；
4、s3：根据合成图像集合，进行筛选并二值化，获取掩码图像训练掩码重构网络模型和语义填充网络模型；
5、s4：将扣取实例标注的图像，输入到训练好的掩码重构网络模型和语义填充网络模型中，获取葡萄实例识别结果。
6、进一步的，所述实例分割标注，具体如下：
7、首先进行人工标注，对所述葡萄图像中前景葡萄架上的所有葡萄实例进行标注，对背景中非该葡萄架上的葡萄不予标注；
8、通过实例分割算法模型中对人工标注后的葡萄图像进行实例扣取分割，获取扣取实例标注的图像。
9、进一步的，所述掩码图像获取过程如下：
10、遍历合成图像集合，将当前第一图像实例作为被遮挡样本；
11、遍历合成图像集合，获取不同于所述被遮挡样本的完整实例作为遮挡掩码；
12、设置遮挡超参数，包括遮挡比例b以及反转输出参数g；
13、基于所述遮挡比例，创建空白模板用于填充图像，其大小为两种重叠后图像的最小外接矩形，同时创建与图像实例相同尺寸的空白掩码图；
14、随机选取填充纵坐标，分别填充完整葡萄实例和掩码实例；
15、基于填充后的掩码实例，进行二值化输出，并根据所述反转输出参数，将输出结果反转置换。
16、进一步的，在遍历合成图像集合，获取不同于所述被遮挡样本的完整实例作为遮挡掩码时，还包括：
17、设置预选参数，基于预选机制控制选取的遮挡图像与被遮挡图像的尺寸差异范围。
18、进一步的，所述预选参数为图像高度，所述预选机制为所述遮挡掩码对应样本的高度大于被遮挡样本。
19、进一步的，训练所述掩码重构网络模型的掩码重构损失函数表示如下：
20、lm＝l1lin_occder+l2lout_occder
21、其中，lin_occder和lout_occder分别表示遮挡区域内损失与遮挡区域外损失，l1和l2为超参数，用于调节区域内外损失在总体中所占权重。
22、进一步的，所述遮挡区域内损失lin_occder定义为重构图像与合成完整图像在遮挡者区域的二元交叉熵损失；
23、所述遮挡区域外损失lout_occder定义为重构图像与合成完整图像在遮挡者外区域的二元交叉熵损失。
24、进一步的，训练所述语义填充网络模型的语义填充损失函数表示如下：
25、
26、其中，lssim表示构相似度误差，lmse表示均方误差，表示网络模型的输出，表示完整的实例图像。
27、本专利技术还公开了一种基于自监督学习的葡萄去重叠遮挡识别设备，所述葡萄去重叠遮挡识别设备包括：存储器、处理器及存储在所述存储器上，并可在所述处理器上运行的葡萄去重叠遮挡识别程序，所述葡萄去重叠遮挡识别被所述处理器执行时实现上述所述的葡萄去重叠遮挡识别方法的步骤。
28、本专利技术还公开了一种计算机存储介质，所述存储介质上存储有葡萄去重叠遮挡识别程序，所述葡萄去重叠遮挡识别程序被处理器执行时实现上述所述的葡萄去重叠遮挡识别方法的步骤。
29、本专利技术的有益效果如下：
30、本专利技术在进行遮挡重构之前对葡萄图像进行实例分割来准确区分葡萄个体，以手动实例分割标注为基准从葡萄图像中获取葡萄完整实例集合，再通过遮挡合成算法获取合成图像，保证合成的葡萄遮挡图像不失真，并将其用以重构网络的训练并用于预测实例分割算法获取到的葡萄实例来补全葡萄被遮挡区域，利用合成数据集，分别训练用以遮挡实例掩码预测的网络以及语义填充网络；在遮挡图像合成阶段还设置反转输出参数，控制部分合成数据的反转输出，从而抑制重构网络增加完整葡萄实例的趋势，避免了在重构遮挡实例前需要对实例是否被遮挡进行识别，极大地减少了工作量，同时提高了葡萄识别的准确性。
本文档来自技高网...【技术保护点】
1.一种基于自监督学习的葡萄去重叠遮挡识别方法，其特征在于，包括：
2.根据权利要求1所述的葡萄去重叠遮挡识别方法，其特征在于，所述实例分割标注，具体如下：
3.根据权利要求1所述的葡萄去重叠遮挡识别方法，其特征在于，所述掩码图像获取过程如下：
4.根据权利要求3所述的葡萄去重叠遮挡识别方法，其特征在于，在遍历合成图像集合，获取不同于所述被遮挡样本的完整实例作为遮挡掩码时，还包括：
5.根据权利要求4所述的葡萄去重叠遮挡识别方法，其特征在于，所述预选参数为图像高度，所述预选机制为所述遮挡掩码对应样本的高度大于被遮挡样本。
6.根据权利要求1所述的葡萄去重叠遮挡识别方法，其特征在于，训练所述掩码重构网络模型的掩码重构损失函数表示如下：
7.根据权利要求6所述的葡萄去重叠遮挡识别方法，其特征在于，所述遮挡区域内损失Lin_occder定义为重构图像与合成完整图像在遮挡者区域的二元交叉熵损失；
8.根据权利要求1所述的葡萄去重叠遮挡识别方法，其特征在于，训练所述语义填充网络模型的语义填充损失函数表示如下
9.一种基于自监督学习的葡萄去重叠遮挡识别设备，其特征在于，所述葡萄去重叠遮挡识别设备包括：存储器、处理器及存储在所述存储器上，并可在所述处理器上运行的葡萄去重叠遮挡识别程序，所述葡萄去重叠遮挡识别被所述处理器执行时实现权利要求1-8任一所述的葡萄去重叠遮挡识别方法的步骤。
10.一种计算机存储介质，其特征在于，所述存储介质上存储有葡萄去重叠遮挡识别程序，所述葡萄去重叠遮挡识别程序被处理器执行时实现权利要求1-8任一所述的葡萄去重叠遮挡识别方法的步骤。
...【技术特征摘要】
1.一种基于自监督学习的葡萄去重叠遮挡识别方法，其特征在于，包括：
2.根据权利要求1所述的葡萄去重叠遮挡识别方法，其特征在于，所述实例分割标注，具体如下：
3.根据权利要求1所述的葡萄去重叠遮挡识别方法，其特征在于，所述掩码图像获取过程如下：
4.根据权利要求3所述的葡萄去重叠遮挡识别方法，其特征在于，在遍历合成图像集合，获取不同于所述被遮挡样本的完整实例作为遮挡掩码时，还包括：
5.根据权利要求4所述的葡萄去重叠遮挡识别方法，其特征在于，所述预选参数为图像高度，所述预选机制为所述遮挡掩码对应样本的高度大于被遮挡样本。
6.根据权利要求1所述的葡萄去重叠遮挡识别方法，其特征在于，训练所述掩码重构网络模型的掩码重构损失函数表示如下：
7.根据权利要求6所述的葡...
【专利技术属性】
技术研发人员：刘雪垠，曾湄，王逸涵，雷志伟，曾梦玮，
申请(专利权)人：四川省机械研究设计院集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。