一种基于音视协同的飞虫追踪识别方法与装置制造方法及图纸

本发明专利技术公开了一种基于音视协同的飞虫追踪识别方法与装置，涉及飞虫识别追踪技术领域，旨在解决中，有害飞虫的防治一直是一项棘手的挑战，尤其是对于大棚、温室种植来说，如果棚中进入少量零星的害虫，不及时驱离捕捉，害虫的繁殖能力会使得少量害虫快速变成虫灾，进而给养殖户带来巨大的损失；发明专利技术设计的TCN网络能够有效地提取时间序列数据的特征，相比于人工选取特征或者传统的机器学习方法具有更好的鲁棒性和识别率；与传统的非机器学习类方法相比，本发明专利技术方法通过训练数据驱动TCN网络进行特征学习，避免了人工特征筛选过程造成的数据信息利用不无完全。数据信息利用不无完全。数据信息利用不无完全。

【技术实现步骤摘要】
一种基于音视协同的飞虫追踪识别方法与装置


[0001]本专利技术涉及飞虫识别追踪
，具体为一种基于音视协同的飞虫追踪识别方法与装置。

技术介绍

[0002]随着农业生产技术的不断进步，越来越多的智能技术应用于农业种植、养殖等诸多环节，其中，有害飞虫的防治一直是一项棘手的挑战，尤其是对于大棚、温室种植来说，如果棚中进入少量零星的害虫，不及时驱离捕捉，害虫的繁殖能力会使得少量害虫快速变成虫灾，进而给养殖户带来巨大的损失。因此，如何尽早有效发现零星的有害飞虫成为一个重要的课题。目前该问题的主要解决方法就是靠种植户的经验以及及时的观察等，这样效率是非常低的。
[0003]现有采用深度神经网络的目标识别通常是采用信号的时频图作为网络输入数据，而时频图是一种通用算法，并非完全由数据驱动形成特征，也会造成信息损失，本专利技术提出的方法是针对声音时间序列直接进行特征提取。
[0004]将图像识别和声音识别进行协同，由图像识别初判，根据初判结果再决定是否启动声音识别二次判决，从而可以得到更准确的监测判决结果。
[0005]将基于图像的目标物体定位与基于声音的目标物体定位进行加权融合，从而得到更准确的定位追踪结果。

技术实现思路

[0006]鉴于现有技术中所存在的问题，本专利技术公开了一种基于音视协同的飞虫追踪识别装置，采用的技术方案是，包括高清摄像头、麦克风阵列，所述高清摄像头和所述麦克风阵列内分别设置有数据预处理模块、CNN识别网络、TCN分类网络、轨迹融合计算。
[0007]作为本专利技术的一种优选技术方案，所述数据预处理模块包括图像数据的预处理和声音数据预处理模块。
[0008]作为本专利技术的一种优选技术方案，所述图像数据的预处理包括卷积层、全连接网络。
[0009]作为本专利技术的一种优选技术方案，所述卷积层有多层。
[0010]作为本专利技术的还公开了利用上述基于音视协同的飞虫追踪识别装置的方法，采用的技术是，包括以下步骤：步骤1，图像数据的预处理通过所述高清摄像头拾取的图像数据进行预处理，根据图像的色度分量判断是否出现整体接近白色或者黑色，进行相应的处理使用，如果是，则认为图像无法正常识别，则对图像济宁增强后再使用，如果否，则认为图像可以直接使用；步骤2，CNN网络基于图像数据进行异物检测采用CNN网络，以实现较为准确的异物识别，CNN网络的输出有2中状态，分别为正常、有异物；然后对目标区域进行判断检测，对所检测的目标方
向区域拍摄的图像进行模型识别，当模型输出的状态为非正常状态时，则认为当前视野内存在异物；CNN网络故障判断包括依次串联的若干层卷积层、全连接网络，当时频分布图输入至第一层卷积层后，第一层卷积层进行特征提取，提取的特征输入下一层卷积层进行池化，依次经过若干层卷积层池化降低维度；最后一个卷积层进行池化后，将最终输出的多组二维提取特征拆分拼接成向量，并输入至全连接网络；经过全连接网络处理输出所需要的结果；且2种输出状态对应于全连接网络输出的2个节点；当输出状态为有异物时，再根据异物在图像中的位置，即可得到异物的坐标，再根据时间就可以得到异物的运动轨迹；步骤3，声音数据预处理模块用24KHz采样率对声音信号进行采样，将输入的音频数据流截取出N个采样点作为单帧输入数据；N取值较大，通常需要数秒以上的数据；N个采样点所用的采样时间记为T，为一帧数据的录制时间；统计这N个数据的均值和方差，将数据帧进行标准化处理如下：其中，s为输入的时间序列，m为均值，σ为序列的标准差；步骤4，TCN网络声音信号输入即为TCN模块的输出，转数数据的采样率只需要满足时间T内的采样点数与TCN模块2自网络输出的特征序列长度一致即可；TCN模块1
‑
3具有相同的结构，其中空洞卷积采用两侧层因果卷积叠加而成，卷积核大小为2，BN层、ReLU层和Dropout层分别是常规的批量归一化层、ReLU激活函数层和丢弃层；1x1卷积层由输入直接连接到模块输出的ReLU激活函数层，形成残差连接，可以避免网络退化；特征融合：TCN模块2输出与异物大小序列交叉组合形成新的特征序列作为特征融合的输出，交叉方式为由TCN模块2输入的序列为输出序列的奇数序列，异物大小数据序列为输出序列的偶数序列；首先将采样率为24KHz,长度为N点的带标签数据集进行归一化处理，然后对本专利技术中设计的TCN网络进行训练；将待识别的声音信号输入本专利技术所设计的TCN网络中即可输出飞虫的坐标，进而形成飞虫的飞行轨迹；步骤5，轨迹融合通过CNN网络图像识别和TCN网络声音识别两种方法分别得到异物的运动轨迹后，再进行加权，权值分别为0.5，即可得到最终的异物运动轨迹。
[0011]本专利技术的有益效果：1、专利技术设计的TCN网络能够有效地提取时间序列数据的特征，相比于人工选取特征或者传统的机器学习方法具有更好的鲁棒性和识别率；与传统的非机器学习类方法相比，本专利技术方法通过训练数据驱动TCN网络进行特征学习，避免了人工特征筛选过程造成的数据信息利用不无完全。
[0012]2、在TCN网络设计中加入了目标异物的大小数据序列和声音信号中间抽象特征的融合，对融合信息进行进一步的特征提取；这样的设计充分考虑了目标异物的大小与其飞行声音信号之间的关联，更利于目标特征的挖掘，能够提高识别效率。
[0013]3、通过CNN网络以图像识别的方式计算出目标物体的运动轨迹，通过TCN网络以声音识别的方式计算出目标物体的运动轨迹，两种运动轨迹的估算值进行加权融合，可以获
得更准确的运动轨迹。
附图说明
[0014]为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，各元件或部分并不一定按照实际的比例绘制。
[0015]图1为本专利技术步骤和原理示意图；
[0016]图2为本专利技术CNN网络结构示意图；
[0017]图3为本专利技术TCN网络整体结构示意图；
[0018]图4为本专利技术卷积层结构示意图；
[0019]图5为本专利技术输出和输入结构示意图；
[0020]图6为本专利技术特征融合结构示意图。
具体实施方式
[0021]下面将结合附图对本专利技术的技术方案进行清楚、完整地描述。在本专利技术的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相正对地重要性。
[0022]在本专利技术的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于音视协同的飞虫追踪识别装置，其特征在于：包括高清摄像头、麦克风阵列，所述高清摄像头和所述麦克风阵列内分别设置有数据预处理模块、CNN识别网络、TCN分类网络、轨迹融合计算。2.根据权利要求1所述的一种基于音视协同的飞虫追踪识别装置，其特征在于：所述数据预处理模块包括图像数据的预处理和声音数据预处理模块。3.根据权利要求2所述的一种基于音视协同的飞虫追踪识别装置，其特征在于：所述图像数据的预处理包括卷积层、全连接网络。4.根据权利要求3所述的一种基于音视协同的飞虫追踪识别方法与装置，其特征在于：所述卷积层有多层。5.根据权利要求1所述的一种基于音视协同的飞虫追踪识别方法，其特征在于：包括以下步骤：步骤1，图像数据的预处理通过所述高清摄像头拾取的图像数据进行预处理，根据图像的色度分量判断是否出现整体接近白色或者黑色，进行相应的处理使用；步骤2，CCN网络基于图像数据进行异物检测采用CNN网络，以实现较为准确的异物识别，CNN网络的输出有2中状态，分别为正常、有异物；然后对目标区域进行判断检测；步骤3，声音数据预处理模块用24K...

【专利技术属性】
技术研发人员：胡凯，杨猛，刘广威，
申请(专利权)人：大连赛听科技有限公司，
类型：发明
国别省市：