【技术实现步骤摘要】
本专利技术属于农业信息化领域，尤其涉及一种融合行为与视觉特征的家蚕脓病早期智能诊断方法。
技术介绍
1、家蚕是一种重要的经济昆虫，在我国各地均有饲养。同时，家蚕十分容易感染病害，其中家蚕脓病是滋生频率高、传染性强的主要病害，其每年的发生频率占据所有病害的60％以上，严重威胁我国蚕业生产安全。
2、在真实环境下及早筛查出染病家蚕，有利于精准防治和减少损失，而现有基于人工智能和计算机视觉的家蚕病害识别方法仅仅局限于家蚕病变后的视觉特征，即使用病蚕图像和健康蚕图像作为数据集，再使用卷积神经网络搭建识别或定位模型。然而，视觉特征容易受到家蚕品种、采集环境和采集设备的影响，识别的可靠性非常低，且只有在出现明显的病变特征时才能够奏效。
3、本专利技术根据家蚕在染病会表现出异常的行为特征，即狂躁爬行，在染病中晚期会出现环节肿胀和脓液流出，使用深度学习技术分别提取这两种特征，而后开展识别，方法可以不受品种、环境、设备等因素的干扰，能够提供一种准确可靠的脓病早期智能诊断方法。
技术实现思路
1、本专利技术的目的在于解决上述现有技术存在的缺陷，提供一种融合行为与视觉特征的家蚕脓病早期智能诊断方法，旨在实现养殖环境中的脓病早期智能诊断。
2、为了实现上述目的，本专利技术的一种融合行为与视觉特征的家蚕脓病早期智能诊断方法，关键在于：包括以下步骤：
3、s1.通过个体检测模型对视频图像中的家蚕检测，提取行为特征；
4、s2.通过个体身份重识别模型对
5、s3.将提取的视觉特征和行为特征融合后输入，使用混合cnn和visiontransformer的识别模型，预测每只家蚕是否感染脓病。由于家蚕感染脓病早期，会表现出狂躁爬行的行为特征，以及会出现环节肿胀、脓液流出等视觉特征，本专利技术利用人工智能中的深度学习和计算机视觉技术，分别提取家蚕的视觉特征和行为特征，而后将两者融合，进一步利用融合cnn与vision transformer的识别模型诊断家蚕是否感染脓病。
6、进一步地，执行该方法时，首先使用摄像头获取对从正上方对家蚕进行摄像，拍摄的家蚕数量不限，也可以预先拍摄一段家蚕的视频进行使用方法进行诊断；
7、对于拍摄的任意帧(张)图像作为第一帧图像，使用预训练的目标检测模型对家蚕进行定位，用每只家蚕在图像中外接矩形的4个顶点表示其在图像中的位置，将每只家蚕的位置信息存储到链表中；
8、对于第一帧图像中的每只家蚕，根据其每只信息将其从图像中裁剪出来，并使用预训练的个体身份重识别模型提取每只家蚕的深度卷积特征，并将结果保存到链表中；
9、使用卡尔曼滤波器预测第一帧图像中每只家蚕在第二帧图像中的位置信息，将预测结果用链表存储；
10、使用预训练的目标检测模型在第二帧图像中定位家蚕个体，并将定位结果存储到链表中。并使用卡尔曼滤波预测其在第三帧图像中可能出现的位置；
11、计算第二帧中每个家蚕的外接矩形与第一帧的预测的每只家蚕的位置信息的交并比，将交并比≥0.5的匹配为同一只家蚕，并分配一个身份编号；
12、对于在第二帧中未能匹配到的检测结果和第一帧的预测结果，使用预训练的个体身份重识别模型计算其深度卷积特征的余弦相似度，将结果≥0.5的视为同一只家蚕，分配一个身份标签；
13、在后续每帧图像上重复执行个体检测，位置预测，身份匹配等，直至最后一帧图像或者停止拍摄视频；
14、最后根据匹配的身份标签输出每只家蚕在视频帧的行为轨迹，作为其行为特征；
15、每间隔100帧图像输出一次家蚕的行为轨迹，并将每只家蚕的行为轨迹单独绘制在一帧图像上；
16、使用图神经网络从每只家蚕的行为轨迹中提取出深度特征，再从这100帧图像中随机选择3帧，使用其个体身份重识别获取的特征作为家蚕的深度特征；
17、将提取的深度特征和行为特征并联，使用预训练的cnn和vision transformer模型预测每只家蚕是否感染脓病，并将预测结果标注到原始帧图像上。
18、进一步地，该方法需要预先训练家蚕个体检测模型，检测目标为家蚕头部而非整只家蚕。
19、进一步地，构建个体检测模型时，需要在真实环境下采集家蚕图像，图像数量≥10000张，图像尺寸≥640×640，而后使用标注工具标注出每只家蚕头部在图像中的位置，用头部的外接矩形框表示其位置。检测器是在yolo v8的基础上，在特征提取网络后添加通道校正模块，在主干网络和特征融合网络之间添加空间增强模块，并将其残差连接到检测头上，以增强其对小目标的检测能力，训练时通过改进优化方式、采用数据增强等方式使其检测精度≥97％以上，方能形成较强的检测能力。
20、进一步地，该方法需要预先训练家蚕个体身份重识别模型。构建个体身份重识别模型时，需要预先制作数据集，数据集中包含家蚕个体数量为5000个以上，每个家蚕包含不同角度、姿态、和龄期的图像100张以上。识别器模型使用了金字塔结构的卷积核，以增强网络的感受野和特征表达能力，还添加了通道注意力机制以增强网络的辨别能力。训练时，并使用旋转、添加噪声等方式增强图像，使其识别精度≥95％以上，方能形成较强的辨别能力。
21、进一步地，该方法是在视频数据中进行工作的，可以是提前拍摄保存在计算机中的视频文件，也可以通过摄像头实时采集视频，同步进行检测-匹配-诊断；根据家蚕在视频中的位置不会发生突变，可每间隔5～10帧图像进行诊断以提升方法效率，诊断结果实时标注在视频上。
22、进一步地，对于每只家蚕的行为特征，是在视频数据上获取了家蚕的行为轨迹，并将每只家蚕的行为轨迹单独绘制在一帧图像上，应当包含时间序列上100帧图像上的轨迹信息，而后使用图神经网络对轨迹图像进行深度特征提取；对于每只家蚕的视觉特征，则是从行为特征抽取的帧图像中，随机选了3张用个体身份重识别模型提取的深度特征。将行为特征与深度特征并联后进行识别。
23、进一步地，融合后的行为与视觉特征是输入到融合了cnn与vision transformer架构的分类器中判断家蚕是否感染脓病。
24、进一步地，该方法在具体应用前需要进行训练，可全部使用健康蚕进行训练，生成分类器权重；也可以人工标记健康蚕和病蚕进行模型训练。在后续应用时，可以根据分类器输出结果诊断，即超过阈值则判定为染病蚕
25、有益效果：本专利技术提供的一种融合行为与视觉特征的家蚕脓病早期智能诊断方法，根据家蚕感染脓病早期，会表现出狂躁爬行的行为特征，以及会出现环节肿胀、脓液流出等视觉特征,利用人工智能中的深度学习和计算机视觉技术，分别提取家蚕的视觉特征和行为特征，而后将两者融合，进一步识别模型诊断家蚕是否感染脓病，结果也更加客观准确。本专利技术能够实现对家蚕脓病的早期检测，进一步开发出应用软件后能够应用到智能养殖设备上，具有非常好的应用前景。
本文档来自技高网...【技术保护点】
1.一种融合行为与视觉特征的家蚕脓病早期智能诊断方法，其特征在于包括以下步骤：
2.根据权利要求1所述的一种融合行为与视觉特征的家蚕脓病早期智能诊断方法，其特征在于：所述视频图像可以是提前拍摄保存在计算机中的视频文件，也可以是摄像头实时采集的视频，同步进行检测-匹配-诊断。
3.根据权利要求1所述的一种融合行为与视觉特征的家蚕脓病早期智能诊断方法，其特征在于：所述S1中的个体检测模型是以YOLO v8为基础构架，在特征提取网络后添加通道校正模块，在主干网络和特征融合网络之间添加空间增强模块，通过通道校正网络实现通道校正，经训练的个体检测模型，检测精度≥97％。
4.根据权利要求1所述的一种融合行为与视觉特征的家蚕脓病早期智能诊断方法，其特征在于：所述个体检测模型构建时，需在真实环境下采集家蚕图像，图像数量≥10000张，图像尺寸≥640×640，而后使用标注工具标注出每只家蚕头部在图像中的位置，用头部的外接矩形框表示其位置。
5.根据权利要求1所述的一种融合行为与视觉特征的家蚕脓病早期智能诊断方法，其特征在于：所述个体身份重识别模型
6.根据权利要求1所述的一种融合行为与视觉特征的家蚕脓病早期智能诊断方法，其特征在于：所述家蚕个体身份重识别模型构建时，需要预先制作数据集，数据集中包含家蚕个体数量为5000个以上，每个家蚕包含不同角度、姿态和龄期的图像100张以上。
7.根据权利要求1所述的一种融合行为与视觉特征的家蚕脓病早期智能诊断方法，其特征在于：所述S3中的识别模型中Transformer用于获取全局特征，Transformer的特征提取采用滑动窗口自注意力机制方法，CNN用于获取局部特征。
8.根据权利要求1所述的一种融合行为与视觉特征的家蚕脓病早期智能诊断方法，其特征在于：所述S3中识别模型需要使用监督学习方法进行训练，即先全部使用健康家蚕作为输出，建立判别标准的阈值，后期是分类器学习到准确的参数，可直接部署到养殖环境下。
9.根据权利要求1所述的一种融合行为与视觉特征的家蚕脓病早期智能诊断方法，其特征在于所述S1具体为：
10.根据权利要求1所述的一种融合行为与视觉特征的家蚕脓病早期智能诊断方法，其特征在于所述S2具体为：
...【技术特征摘要】
1.一种融合行为与视觉特征的家蚕脓病早期智能诊断方法，其特征在于包括以下步骤：
2.根据权利要求1所述的一种融合行为与视觉特征的家蚕脓病早期智能诊断方法，其特征在于：所述视频图像可以是提前拍摄保存在计算机中的视频文件，也可以是摄像头实时采集的视频，同步进行检测-匹配-诊断。
3.根据权利要求1所述的一种融合行为与视觉特征的家蚕脓病早期智能诊断方法，其特征在于：所述s1中的个体检测模型是以yolo v8为基础构架，在特征提取网络后添加通道校正模块，在主干网络和特征融合网络之间添加空间增强模块，通过通道校正网络实现通道校正，经训练的个体检测模型，检测精度≥97％。
4.根据权利要求1所述的一种融合行为与视觉特征的家蚕脓病早期智能诊断方法，其特征在于：所述个体检测模型构建时，需在真实环境下采集家蚕图像，图像数量≥10000张，图像尺寸≥640×640，而后使用标注工具标注出每只家蚕头部在图像中的位置，用头部的外接矩形框表示其位置。
5.根据权利要求1所述的一种融合行为与视觉特征的家蚕脓病早期智能诊断方法，其特征在于：所述个体身份重识别模型是基于金字塔结构的卷积核，添加了通道注意力机制提升关键信息...
【专利技术属性】
技术研发人员：石洪康，祝诗平，李林波，黄华，胡光荣，田丁伊，张剑飞，
申请(专利权)人：宜宾西南大学研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。