一种基于球形摄像机建立储粮害虫图像数据集的方法技术

本发明专利技术涉及粮仓储粮害虫检测技术领域，公开了一种基于球形摄像机建立储粮害虫图像数据集的方法，旨在解决现有储粮害虫图像数据集存在规模小以及图像多样性差的问题，包括：通过球形摄像机获取储粮害虫的视频数据，视频数据包括自然发生害虫的第一视频数据和人工投放目标害虫的第二视频数据；生成视频数据对应的图像数据，并筛选出图像数据中只包含书虱或者包含鞘翅目害虫的图像数据；根据书虱数量对只包含书虱的图像数据进行标记，根据鞘翅目害虫的位置和类别对包含鞘翅目害虫的图像数据进行标记；建立储粮害虫图像数据集。本发明专利技术提升了储粮害虫图像数据集中图片数据的数量和规模，适用于针对球形摄像机的粮仓储粮害虫智能识别算法的训练及优化。能识别算法的训练及优化。能识别算法的训练及优化。

【技术实现步骤摘要】
一种基于球形摄像机建立储粮害虫图像数据集的方法


[0001]本专利技术涉及粮仓储粮害虫检测
，具体涉及一种基于球形摄像机建立储粮害虫图像数据集的方法。

技术介绍

[0002]粮食储藏是关系到国计民生的重大事件，做好粮食保质保量的安全储藏具有重大的意义。但是，储粮害虫的存在是导致储粮损失的主要原因之一，因此，储粮害虫的有效检测是十分重要的一项监管工作。
[0003]储粮害虫多爆发于储粮粮堆的上层，因此粮堆表面的害虫检测是粮库日常管理的重要工作内容。对于粮堆表面的害虫，主要采取人工观察和图像处理检测方法进行害虫发生情况的监管。人工观察主要通过在粮堆表面的关键位置点放置粘虫板对害虫进行诱捕和观察。图像处理方法主要是基于高清摄像机对粮堆进行图像采集，通过人工观察图像来判断粮堆表面的害虫发生情况。目前越来越多的储粮仓内安装了高清球形摄像机，在作为出入库和人员操作的安全监测设备的同时，也用于粮堆表面害虫的检测。因此，如何基于球形摄像机对储粮害虫进行智能识别是储粮领域重要的研究任务之一。
[0004]基于球形摄像机的图像，要实现对粮面害虫的自动检测，采用深度学习的图像识别技术是主要技术路线。由于深度学习是一种以数据为驱动力的机器学习方法，因此图像数据的规模、内容和质量会直接影响识别算法的性能。在机器视觉领域，为满足不同视觉任务算法的研究与发展，业界内逐渐有各种基准数据集被推出，用于算法的开发和性能评估。但是，对于储粮害虫智能识别或更广泛的农业害虫识别任务，害虫图像数据获取的难度和标记工作的高成本导致了害虫图像数据集的稀缺性，这也直接阻碍了害虫智能识别的深入发展。
[0005]针对于储粮害虫数据集的建设，现有技术通常是基于害虫标本的图像或者储粮害虫的显微和特写图像进行的，这些数据集的图像中只包含一头害虫，且在收集害虫图像的过程中并没有考虑害虫姿态、拍摄角度和图像背景的多样性。还有一些研究者基于其使用的害虫检测设备分别建立了不同背景的储粮害虫图像数据集。但是这些数据集都仅针对单一的图像采集设备和害虫检测场景而建立的，且图像采集主要在实验室环境中进行的，这使得这些数据集存在规模小、害虫种类少、图像背景、拍摄角度和拍摄视野大小单一等问题，导致基于其研究的害虫图像识别算法很难应用于实际的害虫检测场景中。

技术实现思路

[0006]本专利技术旨在解决现有储粮害虫图像数据集存在规模小以及图像多样性差的问题，提出一种基于球形摄像机建立储粮害虫图像数据集的方法。
[0007]本专利技术解决上述技术问题所采用的技术方案是：一种基于球形摄像机建立储粮害虫图像数据集的方法，所述方法包括：步骤1、通过球形摄像机获取储粮害虫的视频数据，所述视频数据包括自然发生害
虫的第一视频数据以及人工投放目标害虫的第二视频数据；步骤2、根据视频帧率生成所述视频数据对应的图像数据，并筛选出所述图像数据中只包含书虱或者包含鞘翅目害虫的图像数据；步骤3、针对筛选出的图像数据，根据图像中的书虱数量对只包含书虱的图像数据进行标记，根据图像中鞘翅目害虫的位置和类别对包含鞘翅目害虫的图像数据进行标记；步骤4、根据标记后的图像数据建立储粮害虫图像数据集。
[0008]进一步地，步骤1中，所述第一视频数据的获取方法包括：从粮仓管理系统中调取粮仓安装的球形摄像机拍摄的自然发生害虫的第一视频数据。
[0009]进一步地，步骤1中，所述第二视频数据的获取方法包括：步骤101、在粮仓安装的球形摄像机的可视范围内，将多个托盘铺设在粮堆表面分布设置的采样点，并在各托盘中放置与粮仓储存的粮食粮种一致的粮食，使放置的粮食覆盖托盘表面；步骤102、根据各托盘中粮食的重量确定对应托盘投放害虫的数量，并根据确定的数量在托盘均匀地投放目标害虫；步骤103、开启球形摄像机的自动巡航模式，通过球形摄像机拍摄各采样点人工投放目标害虫的第二视频数据。
[0010]进一步地，步骤1中，所述第二视频数据的获取方法还包括：在实验室中模拟粮仓环境，采用与步骤101至步骤103相同的方式，通过不同型号的球形摄像机拍摄模拟的粮仓环境中各采样点人工投放目标害虫的第二视频数据。
[0011]进一步地，所述步骤2还包括：剔除所述图像数据中图像模糊、目标害虫模糊以及目标害虫小于预设尺寸的图像。
[0012]进一步地，步骤3中，所述根据图像中的书虱数量对只包含书虱的图像数据进行标记，具体包括：将图像划分为多个像素单元，分别对各像素单元内的书虱个数进行统计，再估算获得整张图像中的书虱数量；根据所述书虱数量所处的范围对图像数据进行标记。
[0013]进一步地，步骤3中，所述根据图像中的书虱数量对只包含书虱的图像数据进行标记，具体还包括：步骤301、基于已建立的书虱图像数据集训练用于识别书虱数量所处范围的第一检测模型；步骤302、通过所述第一检测模型对只包含书虱的图像数据进行识别，并根据识别结果对相应的图像数据进行自动辅助标记；步骤303、对自动辅助标记结果进行检查，将检查通过的图像数据加入储粮害虫图像数据集中，并重新进入步骤301。
[0014]进一步地，步骤3中，所述根据图像中鞘翅目害虫的位置和类别对包含鞘翅目害虫的图像数据进行标记，具体包括：在图像中分别确定包含各鞘翅目害虫的最小矩形框，并根据每个最小矩形框的左
上角和右下角的坐标值对图像数据进行标记；确定鞘翅目害虫的种类，并根据鞘翅目害虫拉丁学名的单词首字母对图像数据进行标记，所述鞘翅目害虫的种类为：种、属或科。
[0015]进一步地，步骤3中，所述根据图像中鞘翅目害虫的位置和类别对包含鞘翅目害虫的图像数据进行标记，具体还包括：步骤311、基于已建立的鞘翅目害虫图像数据集训练用于识别鞘翅目害虫的位置和类别的第二检测模型；步骤312、通过所述第二检测模型对包含鞘翅目害虫的图像数据进行识别，并根据识别结果对相应的图像数据进行自动辅助标记；步骤313、对自动辅助标记结果进行检查，将检查通过的图像数据加入鞘翅目害虫图像数据集中，并重新进入步骤311。
[0016]进一步地，所述方法还包括：将所述第一视频数据对应的图像数据中不包含鞘翅目害虫但存在与鞘翅目害虫相似图像块的图像作为困难负样本，所述鞘翅目害虫相似图像块与鞘翅目害虫的相似度大于相似度阈值；对已标记的包含鞘翅目害虫的图像进行裁剪得到单头鞘翅目害虫的图像，将单头鞘翅目害虫的图像拼接至困难负样本的图像中，对拼接后的图像进行标记后加入鞘翅目害虫图像数据集中。
[0017]本专利技术的有益效果是：本专利技术所述的基于球形摄像机建立储粮害虫图像数据集的方法，通过球形摄像机拍摄的自然发生害虫的视频数据以及人工投放目标害虫的视频数据来建立储粮害虫图像数据集，使得储粮害虫图像数据集能够包含多姿态、多角度以及多空间分辨率的目标害虫对应的图像数据，同时缓解了由于实际粮仓的储粮害虫发生情况差异导致的害虫类别分布不平衡的问题，提升了储粮害虫图像数据集中图片数据的数量和规模。由于在实际粮仓管理流程中，主要监管的储粮害虫为近十种鞘翅目储粮害虫和啮虫目虱啮科的书虱，本专利技术通过构本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于球形摄像机建立储粮害虫图像数据集的方法，其特征在于，所述方法包括：步骤1、通过球形摄像机获取储粮害虫的视频数据，所述视频数据包括自然发生害虫的第一视频数据以及人工投放目标害虫的第二视频数据；步骤2、根据视频帧率生成所述视频数据对应的图像数据，并筛选出所述图像数据中只包含书虱或者包含鞘翅目害虫的图像数据；步骤3、针对筛选出的图像数据，根据图像中的书虱数量对只包含书虱的图像数据进行标记，根据图像中鞘翅目害虫的位置和类别对包含鞘翅目害虫的图像数据进行标记；步骤4、根据标记后的图像数据建立储粮害虫图像数据集。2.如权利要求1所述的基于球形摄像机建立储粮害虫图像数据集的方法，其特征在于，步骤1中，所述第一视频数据的获取方法包括：从粮仓管理系统中调取粮仓安装的球形摄像机拍摄的自然发生害虫的第一视频数据。3.如权利要求1所述的基于球形摄像机建立储粮害虫图像数据集的方法，其特征在于，步骤1中，所述第二视频数据的获取方法包括：步骤101、在粮仓安装的球形摄像机的可视范围内，将多个托盘铺设在粮堆表面分布设置的采样点，并在各托盘中放置与粮仓储存的粮食粮种一致的粮食，使放置的粮食覆盖托盘表面；步骤102、根据各托盘中粮食的重量确定对应托盘投放害虫的数量，并根据确定的数量在托盘均匀地投放目标害虫；步骤103、开启球形摄像机的自动巡航模式，通过球形摄像机拍摄各采样点人工投放目标害虫的第二视频数据。4.如权利要求3所述的基于球形摄像机建立储粮害虫图像数据集的方法，其特征在于，步骤1中，所述第二视频数据的获取方法还包括：在实验室中模拟粮仓环境，采用与步骤101至步骤103相同的方式，通过不同型号的球形摄像机拍摄模拟的粮仓环境中各采样点人工投放目标害虫的第二视频数据。5.如权利要求1所述的基于球形摄像机建立储粮害虫图像数据集的方法，其特征在于，所述步骤2还包括：剔除所述图像数据中图像模糊、目标害虫模糊以及目标害虫小于预设尺寸的图像。6.如权利要求1所述的基于球形摄像机建立储粮害虫图像数据集的方法，其特征在于，步骤3中，所述根据图像中的书虱数量对只包含书虱的图像数据进行标记，具体包括：将图像划分为多个像素单元，分别对各像素单元内的书虱个数进行统计，再估算...

【专利技术属性】
技术研发人员：李丹丹，范运乾，刘靖椿，李月，严晓平，马一铭，周庆，李江涛，周慧玲，
申请(专利权)人：中储粮成都储藏研究院有限公司，
类型：发明
国别省市：