果蔬检测方法、装置、电子设备以及计算机可读介质制造方法及图纸

本发明专利技术提供了一种果蔬检测方法、装置、电子设备以及计算机可读介质。所述方法包括：数据集生成步骤，根据果蔬的品质，采集果蔬的图像，以生成基于果蔬品质的数据集；模型训练步骤，基于所生成的所述数据集，对深度学习模型进行训练；以及检测步骤，基于已训练的所述深度学习模型，对待检测的果蔬图像进行检测，以识别所述待检测的果蔬图像中的果蔬的品质。本发明专利技术的上述方法能够对果蔬的品质进行有效且准确的检测。

【技术实现步骤摘要】
果蔬检测方法、装置、电子设备以及计算机可读介质
本专利技术涉及一种果蔬检测方法、装置、电子设备以及计算机可读介质。
技术介绍
随着农业种植水平的发展，市场上不同果蔬的品质参差不齐，通常品质优秀的果蔬(精品)价格更高，而品质相对较差的则价格会相对较低。也正是由于价格的差异，对于市场果蔬的品质检测与分类显得尤为重要，从而避免以次充好或者品质不达标的现象发生。如今，对于果蔬的品质检测的方法主要有人工检验与分拣方法，通常因不够智能化与自动化而效率较低，同时也引入人的主观判断，标准因人而异。或者是借助一些机械设备如传送带与不同大小尺寸的“漏洞”，使得不同果径大小的果蔬经过不同尺寸的“漏洞”掉入对应的品质区域。果蔬的品质通常涉及多方面影响因素，如果径大小、色泽、表皮纹理、表面损伤等，此类机械设备目前并做不到同时包含所有影响因素的综合评估，从而影响检测效果。例如，已知一种基于RGB的水果分类的现有技术。首先在固定灯光光照条件下通过RGB颜色识别传感器检测水果表面的RGB成分，检测水果表面着色度，获取图像色彩值，用合适的色相值累计着色面积百分比进行颜色分级。对于水果的大小，该方法通过摄像头采集图像，经过预处理包括对图像进行灰度处理、取合适阈值分割、形态学处理、边缘检测，再通过提取图像区域点，计算图像面积、重心、周长特征参数。依据此计算水果相对于水果放置平台的位置，从而对水果目标精确定位。另外，基于品质识别结果，利用设计的机械设备实现对不同品质水果的分拣。然而，上述现有技术借助边缘检测实现，对边缘内部图像提取RGB信息。对边缘切割依赖太高，增加技术难度的同时也增加了针对不同形状物体检测的不确定性。此外，通过RGB颜色信息反映水果品质的方法只能作为品质检测的参考依据之一，而影响品质好坏的因素还有很多，如果形、色泽、表面损伤、表皮纹理等。因而它可能只对部分水果有效，使得该方法应用场景单一。当切换到不同品类或者说应用到多个品类时，需要重新手动设定不同的判别阈值来实现按品质分离，可迁移性与可扩展性不强。此外，该技术方法是基于分类的思想，人为设定的品质分类阈值与结果有着决定性关系。而不同季节不同环境如光照环境下该阈值是有差别的，该方法就是在人为设定的特定光照环境下实现的，从另一个角度说明可扩展性不强。
技术实现思路
针对以上问题，本专利技术提供一种果蔬检测方法、装置、电子设备以及计算机可读介质，其能够对果蔬的品质进行有效且准确的检测。根据本专利技术的一方面，提供一种果蔬检测方法，包括：数据集生成步骤，根据果蔬的品质，采集果蔬的图像，以生成基于果蔬品质的数据集；模型训练步骤，基于所生成的所述数据集，对深度学习模型进行训练；以及检测步骤，基于已训练的所述深度学习模型，对待检测的果蔬图像进行检测，以识别所述待检测的果蔬图像中的果蔬的品质。优选地，果蔬检测方法还包括图像对生成步骤，将在所述数据集生成步骤中生成的所述数据集中的果蔬的图像两两组合，以形成用于模型训练的图像对。优选地，在所述模型训练步骤中，将所述图像对生成步骤中生成的所述图像对输入至所述深度学习模型中，以对所述深度学习模型进行训练，并且在所述检测步骤中，将所述待检测的果蔬图像与标准图像组成待检测图像对，并输入至所述已训练的深度学习模型中进行检测。优选地，所述深度学习模型的损失函数为对比损失函数(Contrastiveloss)，基于该损失函数，对所述深度学习模型进行训练。优选地，在所述模型训练步骤中，将所述图像对生成步骤中生成的所述图像对根据通道(channel)维度进行连接操作，并将连接后的图像数据输入所述深度学习模型中，以对所述深度学习模型进行训练，并且在所述检测步骤中，将所述待检测的果蔬图像与标准图像根据通道维度进行连接操作，将连接后的待检测的图像数据输入至所述深度学习模型中进行检测。优选地，所述深度学习模型的损失函数为Pytorch深度学习框架中torch.nn.BCEWithLogitsLoss，基于该损失函数，对所述深度学习模型进行训练。优选地，在所述图像对生成步骤中，将所形成的图像对中的具有相同品质的果蔬的图像标记为第一值，将所形成的图像对中的具有不同品质的果蔬的图像标记为第二值，并且在所述检测步骤中，对所述深度学习模型输出的检测结果进行处理，以映射到所述第一值至所述第二值的范围内，从而判断所述待检测的果蔬图像与标准图像的相似度。优选地，在所述数据集生成步骤中，根据果蔬的种类和品质，采集果蔬的图像，并生成基于果蔬的种类和品质的数据集，并且在所述检测步骤中，识别所述待检测的果蔬图像中的果蔬的种类和品质。优选地，所述果蔬的品质包括果蔬的果径大小、形状、色泽、表皮纹理、表面着锈、以及表面损伤情况中的至少一者。优选地，在所述数据集生成步骤中，所采集的果蔬的图像是具有单个果蔬的图像。根据本专利技术的另一方面，提供一种果蔬检测装置，包括：数据集生成单元，根据果蔬的品质，采集果蔬的图像，以生成基于果蔬品质的数据集；模型训练单元，基于所生成的所述数据集，对深度学习模型进行训练；以及检测单元，基于已训练的所述深度学习模型，对待检测的果蔬图像进行检测，以识别所述待检测的果蔬图像中的果蔬的品质。根据本专利技术的另一方面，提供一种检测果蔬的电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如以上方面所述的果蔬检测方法。根据本专利技术的另一方面，提供一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如以上方面所述的果蔬检测方法。专利技术的有益效果根据本专利技术的果蔬检测方法和装置，实现了对果蔬品质的综合评估，包含纹理、虫蛀、色泽、果形等影响因素，不再需要显式地检测每一项指标。而检测一个单独品类的所有影响指标是一件极其困难的事情。本专利技术的果蔬检测方法和装置可以在真实环境背景下实现，可解决复杂的环境情况。此外，与基于分类任务的数万量级样本相比，本专利技术提供了一种基于小样本的果蔬品类检测方法，能够在小样本数量基础上完成品质检测，并能够达到更好的效果，从而减少成本并提高效率。另外，本专利技术的果蔬检测方法和装置基于相似度实现。当需要识别新的品类时，当前模型可作为预训练模型，在提供新品类不同品质的标准样本下可根据当前模型做出检测。在训练模型时，如果包含的品类足够多，则相当于人的学习经验更丰富，对于新品类不再需要重新训练模型，具有很好的迁移性。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本专利技术的一部分，但其说明仅用于解释本专利技术，并不构成对本专利技术的不当限定。图1示出根据本专利技术的一优选实施例的果蔬检测方法。图2示出根据本专利技术的另一优选实施例的果蔬检测方法。图3示出本专利技术的果蔬检测方法的一优选的具体操作实例的流程图。图4示出根据本专利技术的一优本文档来自技高网...

【技术保护点】
1.一种果蔬检测方法，包括：/n数据集生成步骤，根据果蔬的品质，采集果蔬的图像，以生成基于果蔬品质的数据集；/n模型训练步骤，基于所生成的所述数据集，对深度学习模型进行训练；以及/n检测步骤，基于已训练的所述深度学习模型，对待检测的果蔬图像进行检测，以识别所述待检测的果蔬图像中的果蔬的品质。/n

【技术特征摘要】
1.一种果蔬检测方法，包括：
数据集生成步骤，根据果蔬的品质，采集果蔬的图像，以生成基于果蔬品质的数据集；
模型训练步骤，基于所生成的所述数据集，对深度学习模型进行训练；以及
检测步骤，基于已训练的所述深度学习模型，对待检测的果蔬图像进行检测，以识别所述待检测的果蔬图像中的果蔬的品质。


2.根据权利要求1所述的果蔬检测方法，还包括：
图像对生成步骤，将在所述数据集生成步骤中生成的所述数据集中的果蔬的图像两两组合，以形成用于模型训练的图像对。


3.根据权利要求2所述的果蔬检测方法，其中，
在所述模型训练步骤中，将所述图像对生成步骤中生成的所述图像对输入至所述深度学习模型中，以对所述深度学习模型进行训练，并且
在所述检测步骤中，将所述待检测的果蔬图像与标准图像组成待检测图像对，并输入至所述已训练的深度学习模型中进行检测。


4.根据权利要求3所述的果蔬检测方法，其中，
所述深度学习模型的损失函数为对比损失函数，基于该损失函数，对所述深度学习模型进行训练。


5.根据权利要求2所述的果蔬检测方法，其中，
在所述模型训练步骤中，将所述图像对生成步骤中生成的所述图像对根据通道维度进行连接操作，并将连接后的图像数据输入所述深度学习模型中，以对所述深度学习模型进行训练，并且
在所述检测步骤中，将所述待检测的果蔬图像与标准图像根据通道维度进行连接操作，将连接后的待检测图像数据输入至所述深度学习模型中进行检测。


6.根据权利要求5所述的果蔬检测方法，其中，
所述深度学习模型的损失函数为Pytorch深度学习框架中torch.nn.BCEWithLogitsLoss，基于该损失函数，对所述深度学习模型进行训练。


7.根据权利要求3-6的任一项所述的果蔬检测方法...

【专利技术属性】
技术研发人员：孙建成，王勃，王云吉，于忠京，王鑫，
申请(专利权)人：北京豆牛网络科技有限公司，
类型：发明
国别省市：北京;11