基于视觉显著性的虫粮等级判定方法和装置制造方法及图纸

本发明专利技术提供了一种基于视觉显著性的虫粮等级判定方法和装置。所述方法包括：获取当前待检测图像；将所述当前待检测图像输入到预先训练的粮食害虫显著性检测和数量估计模型中，输出所述当前待检测图像的视觉显著图和害虫数量，其中，所述粮食害虫显著性检测和数量估计模型包含两个分支，显著性检测分支包括颜色空间增强、骨干网络、级联空洞卷积和特征聚合模块，数量估计分支在骨干网络后增加自适应平均池化层和全连接层；将害虫数量折算成标准害虫密度，确定所述当前待检测图像的虫粮等级。以此方式，提高了粮食害虫等小目标的显著性检测和数量估计精度，能快速确定粮食中有无害虫以及害虫数量，进而能够判定待检测粮食的虫粮等级。

【技术实现步骤摘要】
基于视觉显著性的虫粮等级判定方法和装置
本专利技术涉及图像处理
，并且更具体地，涉及基于视觉显著性的虫粮等级判定方法和装置。
技术介绍
粮食是人类和大多数家畜的主要食物来源，每年因储粮害虫啃食、排泄、繁殖等活动造成的粮食产后损失约占粮食总产量的10％左右。为了采取适当的措施降低粮食储藏损失，在粮食存储和生产加工过程中需要及早发现粮食中的害虫，并进行粮食害虫密度检测和虫粮等级判定。国家标准“粮油储藏技术规范”指出，粮食中的主要害虫包括玉米象、米象、谷蠹、大谷盗、麦蛾、印度谷蛾等十种。根据粮食中的主要害虫密度可将粮食划分为“基本无虫粮”、“一般虫粮”和“严重虫粮”。其中，基本无虫粮的主要害虫密度≤2(头/kg)，一般虫粮的主要害虫密度为3～10(头/kg)、严重虫粮的主要害虫密度>10(头/kg)。由此可知，快速准确地获得检测样本中的害虫数量对虫粮等级判定非常重要。目前粮食害虫检测需要在粮仓的多个位置进行扦样，对每个扦样点的样品进行筛检，然后清点害虫数量，进而确定粮食害虫密度和虫粮等级。这种检测方法需要花费大量时间和人工，难以适应现代化的储粮需求。随着光学传感、电磁感应、图像处理、计算机视觉和机器学习等新兴技术的发展，使得基于视觉的方法在粮食害虫检测和识别中也得到了应用。现有的粮虫检测和识别方法，有的注重图像颜色、边缘、纹理等特征提取，然后进行粮虫定位和检测；有的通过区域增长、阈值分割等方法获得粮虫区域的分割；还有的利用多种粮虫图像特征训练神经网络、支持向量机以获得粮虫的类别识别。但是，由于粮虫种类多、体形小、形态结构复杂，再加上储粮因品种、等级、杂质、残缺等影响，使得现有方法多是在特定实验环境下针对某种确定的粮虫设计的，很难推广到环境复杂的粮库实际应用中，因此需要提高粮虫视觉检测方法的鲁棒性和适应性。由于储粮害虫目标较小，粮食图像背景复杂多样，现有的方法对小尺度目标的检测精度都偏低，不利于从粮食图像中识别出害虫。
技术实现思路
根据本专利技术的实施例，提供了一种基于视觉显著性的虫粮等级判定方法，能够提高粮食害虫显著性检测精度，同时还能够识别图像中害虫的数量，进而根据害虫密度确定虫粮等级。在本专利技术的第一方面，提供了一种基于视觉显著性的虫粮等级判定方法，包括：基于视觉显著性的虫粮等级判定方法，其特征在于，包括：获取当前待检测图像；将所述当前待检测图像输入到预先训练的粮食害虫显著性检测和数量估计模型中，输出所述当前待检测图像的视觉显著图和害虫数量，其中，所述粮食害虫显著性检测和数量估计模型包含两个分支，显著性检测分支包括颜色空间增强层、骨干网络层、级联空洞卷积层和反向特征聚合层，数量估计分支在骨干网络层后增加自适应平均池化层和全连接层；将害虫数量折算成标准害虫密度，确定所述当前待检测图像的虫粮等级。在一些实施例中，所述粮食害虫显著性检测和数量估计模型通过以下方式训练得到：将标注好的训练样本输入到预先建立的神经网络模型中，模型经两个分支进行视觉显著特征提取和害虫数量分类，输出视觉显著图和害虫数量；采用二元交叉熵衡量视觉显著图与基准图之间的误差，采用多分类交叉熵衡量害虫目标的计数误差，将上述两个分支的交叉熵损失之和作为模型整体误差，根据误差反向传播机制对所述神经网络模型的参数进行调整；重复上述过程，直到达到预定的训练轮数，或者当模型在验证集上性能开始下降时，完成对所述粮食害虫显著性检测和数量估计模型的训练。在一些实施例中，所述颜色空间增强层用于将原始图像转换为RGB、HSV、Lab或YUV颜色空间。在一些实施例中，所述级联空洞卷积层由三个空洞卷积层串联，每一层设置不同的空洞率参数，用于获取目标的多尺度信息，其中所述空洞率参数采用三元质数组。在一些实施例中，所述反向特征聚合层用于通过特征增强和/或特征聚合方法将骨干网络层的高层语义特征与低层结构特征融合，高层语义特征通过上采样和卷积组合操作向与低层结构特征进行映射，上采样和卷积组合操作的次数与层级之间的距离成正比。在一些实施例中，所述虫粮等级根据粮食害虫密度划分为基本无虫粮、一般虫粮和严重虫粮。在本专利技术的第二方面，提供了一种基于视觉显著性的虫粮等级判定装置，包括：图像获取模块，用于获取当前待检测图像；图像识别模块，用于将所述当前待检测图像输入到预先训练的粮食害虫显著性检测和数量估计模型中，输出所述当前待检测图像的视觉显著图和害虫数量，其中，所述粮食害虫显著性检测和数量估计模型包含两个分支，显著性检测分支包括颜色空间增强层、骨干网络层、级联空洞卷积层和反向特征聚合层，数量估计分支在骨干网络层后增加自适应平均池化层和全连接层；虫粮等级确定模块，用于将害虫数量折算成标准害虫密度，确定所述当前待检测图像的虫粮等级。在本专利技术的第三方面，提供了一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如以上所述的方法。在本专利技术的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如以上所述的方法。应当理解，
技术实现思路
部分中所描述的内容并非旨在限定本专利技术的实施例的关键或重要特征，亦非用于限制本专利技术的范围。本专利技术的其它特征将通过以下的描述变得容易理解。通过本专利技术的基于视觉显著性的虫粮等级判定方法，能够提高粮食害虫等小目标的显著性检测精度，从而快速确定粮食中有无害虫以及害虫的数量，进而能够判定待检测粮食的虫粮等级。附图说明结合附图并参考以下详细说明，本专利技术各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：图1示出了本专利技术实施例一的基于视觉显著性的虫粮等级判定方法的流程图；图2示出了本专利技术实施例二的粮食害虫显著性检测和数量估计模型的结构示意图；图3示出了本专利技术实施例三的粮食害虫视觉显著性检测和数量估计模型的级联空洞卷积模块的结构示意图；图4示出了本专利技术实施例四的基于视觉显著性的虫粮等级判定装置的结构示意图；图5示出了本专利技术实施例五的基于视觉显著性的虫粮等级判定方法电子设备的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的全部其他实施例，都属于本专利技术保护的范围。另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。本专利技术实施例的方法，用于对粮食背景图像中的害虫进行监测，快速识别图像中本文档来自技高网...

【技术保护点】
1.一种基于视觉显著性的虫粮等级判定方法，其特征在于，包括：/n获取当前待检测图像；/n将所述当前待检测图像输入到预先训练的粮食害虫显著性检测和数量估计模型中，输出所述当前待检测图像的视觉显著图和害虫数量，其中，所述粮食害虫显著性检测和数量估计模型包含两个分支，显著性检测分支包括颜色空间增强层、骨干网络层、级联空洞卷积层和反向特征聚合层，数量估计分支在骨干网络层后增加自适应平均池化层和全连接层；/n将害虫数量折算成标准害虫密度，确定所述当前待检测图像的虫粮等级。/n

【技术特征摘要】
1.一种基于视觉显著性的虫粮等级判定方法，其特征在于，包括：
获取当前待检测图像；
将所述当前待检测图像输入到预先训练的粮食害虫显著性检测和数量估计模型中，输出所述当前待检测图像的视觉显著图和害虫数量，其中，所述粮食害虫显著性检测和数量估计模型包含两个分支，显著性检测分支包括颜色空间增强层、骨干网络层、级联空洞卷积层和反向特征聚合层，数量估计分支在骨干网络层后增加自适应平均池化层和全连接层；
将害虫数量折算成标准害虫密度，确定所述当前待检测图像的虫粮等级。


2.根据权利要求1所述的基于视觉显著性的虫粮等级判定方法，其特征在于，所述粮食害虫显著性检测和数量估计模型通过以下方式训练得到：
将标注好的训练样本输入到预先建立的神经网络模型中，模型经两个分支进行视觉显著特征提取和害虫数量分类，输出视觉显著图和害虫数量；
采用二元交叉熵衡量视觉显著图与基准图之间的误差，采用多分类交叉熵衡量害虫目标的计数误差，将上述两个分支的交叉熵损失之和作为模型整体误差，根据误差反向传播机制对所述神经网络模型的参数进行调整；
重复上述过程，直到达到预定的训练轮数，或者当模型在验证集上性能开始下降时，完成对所述粮食害虫显著性检测和数量估计模型的训练。


3.根据权利要求1所述的基于视觉显著性的虫粮等级判定方法，其特征在于，所述颜色空间增强层用于将原始图像转换为RGB、HSV、Lab或YUV颜色空间。


4.根据权利要求3所述的基于视觉显著性的虫粮等级判定方法，其特征在于，所述级联空洞卷积层由三个空洞卷积层串联，每一层设置不同...

【专利技术属性】
技术研发人员：于俊伟，赵晨阳，闫秋玲，史卫亚，王贵财，张自豪，金军委，任笑真，杨铁军，
申请(专利权)人：河南工业大学，
类型：发明
国别省市：河南;41