【技术实现步骤摘要】
本专利技术涉及图像处理技术、深度学习技术等领域，具体涉及一种基于域迁移的夜间红外图像动物识别方法及系统。
技术介绍
1、红外相机被广泛应用于野生动物的监测与保护，通过热触发来记录其前方出现的动物图像，基于这些图像可识别特定时间和地点出现的物种。相机技术的发展使得图像获取的成本降低，随着时间的发展，野外部署的红外相机增多，积累了海量的野生动物图像数据，需要耗费大量的时间进行数据筛选与挖掘。随着信息技术的发展，深度学习模型被用于红外相机图像的野生动物自动识别，提升了海量动物图像数据挖掘的速度。
2、红外相机夜间捕获照片时由补光灯产生特定频率的红外光，所拍摄图片为灰度图，相较于白天拍摄的彩色可见光图像，其对比度差，视觉效果模糊，使得研究人员难以辨认并标注；语义信息少，使得深度学习模型提取有用特征的难度较高。例如一种基于远域迁移学习的图像识别方法（公开号：cn114783072a），也采用了一种域迁移的方式，其为远域迁移学习（ddtl），可以提高差别较大的源域和目标域的迁移准确性，但是只适合在相关性较差的环境中使用，其本身稳定性较差，容易出现负迁移现象。
3、由于包含的语义信息较少，使得深度学习模型在提取有用特征方面面临一定的挑战。为了解决这一问题，本专利技术提出了使用循环生成对抗网络将红外图像迁移到可见光图像的方法，通过优化域迁移模型的性能，能够丰富图像特征，增强图像的轮廓表现力，从而显著提高红外场景下动物识别的准确率和稳定性。
技术实现思路
1、针对现有技术中存
2、本专利技术技术方案及说明如下：
3、一种基于域迁移的夜间红外图像动物识别方法，包括以下步骤：获取可见光图像数据和红外图像数据，并划分为训练集和测试集；建立用于域迁移的循环生成对抗网络模型；基于所述训练集对所述循环生成对抗网络模型进行训练，并得到域迁移网络；基于所述训练集对目标检测模型进行训练，并得到图像识别网络；将所述测试集中的红外图像数据输入所述域迁移网络，并得到迁移可见光图像数据，再将所述迁移可见光图像数据输入图像识别网络，最终获得识别结果。
4、进一步的，所述目标检测模型采用yolov5架构的目标检测模型，yolov5在模型部署等方面非常有优势。
5、进一步的，所述的一种基于域迁移的夜间红外图像动物识别方法，还包括：
6、所述可见光图像数据和红外图像数据的内容为同种动物的图像数据；
7、所述训练集和测试集中包括有图像对，所述图像对为相对应的一组或多组可见光图像数据和红外图像数据；
8、所述循环生成对抗网络模型根据所述图像对进行训练，所述目标检测模型根据所述训练集中的可见光图像数据进行训练。
9、进一步的，所述循环生成对抗网络模型包括：生成器、判别器，其中，
10、所述生成器用于转换和生成图像；
11、所述判别器用于对所述图像进行判断，并反馈；
12、所述图像包括可见光图像数据和红外图像数据。
13、进一步的，所述循环生成对抗网络模型至少包括两个生成器和两个判别器，共四部分构成，形成两次前向传递并形成循环结构。将动物红外灰度图像作为域a，可见光图像作为域b，通过生成器和判别器的博弈训练使得域a和域b互相学习各自的分布特征，从而实现域a和域b的特征迁移。
14、再进一步地，所述生成器由编码模块、转换模块和解码模块三部分构成；编码模块通过各层卷积实现特征提取与压缩，转换模块将一个域的特征向量转换为另一个域的特征向量，解码模块将特征向量恢复为域迁移后的图像；
15、所述编码模块中，采用了跨精度卷积块来提取被输入图像的多尺度特征，跨精度卷积可动态处理输入数据在不同尺度或精度上的信息。在跨精度卷积中，卷积核的大小和步幅会自适应地根据输入图像的精度级别而变化，以便更好地捕捉不同尺度或精度下的特征。所述跨精度卷积块由4个不同尺度的卷积核并联、自适应注意力模块串联构成，实现多尺度特征动态提取；
16、进一步地，自适应注意力模块输出如式(1)所示：
17、 (1)
18、 式(1)中 为输入图像，为全局平均池化， 为尺度为1的卷积核，代表激活函数。
19、进一步地，跨精度卷积块动态输出融合后的多尺度特征如式(2)所示：
20、 (2)
21、式（2）中为输入图像； 为多尺度卷积核，m为并联多尺度卷积核的数量，n为每个尺度卷积核的数量；为对应的自适应注意力权重系数。
22、所述转换模块中，由堆叠的瓶颈残差块进行深层特征提取，以及将源域图像域特征转换为目的域图像特征。
23、所述解码模块由两个反卷积块和一个卷积块构成。
24、进一步的，所述循环生成对抗网络模型的训练过程中根据损失函数更新模型参数，所述损失函数包括公式（3）、（4）、（5）、（6）：
25、 （3）
26、 （4）
27、 （5）
28、 （6）
29、其中，公式（3）中代表判别器的对抗损失，公式（4）中代表判别器的对抗损失，代表图像b域中生成样本 b的损失，代表图像a域中生成样本 a的损失， d a是判别生成图像是否属于a域的判别器； d b是判别生成图像是否属于b域的判别器； p data(a)和 p data(b)分别表示图像域a样本 a的概率分布和图像域b样本 b的概率分布；表示a域迁移到b域的生成器；表示b域迁移到a域的生成器；公式（5）表示原图像和经过两个生成器后得到的重构图像的平均误差损失；公式（6）为a域红外图像和a域重构图像在颜色和纹理结构上保持一致的约束损失，其中， a为样本图像。
30、总的损失函数如式（7）所示：
31、 （7）
32、公式（7）中，表示原图像和经过两个生成器后得到的重构图像的平均误差损失； α和 β为可调节的参数，表示平均误差损失和约束损失在总体损失中的权重。
33、进一步的，所述循环生成对抗网络模型中包括所述域迁移网络，该域迁移网络中包括迁移可见光图像数据的生成器，用于将所述红外图像数据转本文档来自技高网...
【技术保护点】
1.一种基于域迁移的夜间红外图像动物识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于域迁移的夜间红外图像动物识别方法，其特征在于，
3.根据权利要求1所述的一种基于域迁移的夜间红外图像动物识别方法，其特征在于，所述循环生成对抗网络模型包括：生成器、判别器，其中，
4.根据权利要求3所述的一种基于域迁移的夜间红外图像动物识别方法，其特征在于，所述循环生成对抗网络模型至少包括两个生成器和两个判别器，通过所述两个生成器和两个判别器构成两次前向传递并形成循环结构，所述两个生成器分别用于可见光图像数据和红外图像数据的相互转换，并获得可见光转换图像数据和红外转换图像数据，所述两个判别器分别用于对转换后的所述可见光转换图像数据和红外转换图像数据进行判断，获得判断结果并反馈。
5.根据权利要求3或权利要求4所述的一种基于域迁移的夜间红外图像动物识别方法，其特征在于，所述生成器包括：
6.根据权利要求5所述的一种基于域迁移的夜间红外图像动物识别方法，其特征在于，所述自适应注意力模块的输出为 ，其公式（1）如下：>
7.根据权利要求5所述的一种基于域迁移的夜间红外图像动物识别方法，其特征在于，所述跨精度卷积块的动态输出融合后的多尺度特征公式（2）如下：
8.根据权利要求5所述的一种基于域迁移的夜间红外图像动物识别方法，其特征在于，所述循环生成对抗网络模型的训练过程中根据损失函数更新模型参数，所述损失函数包括：
9.根据权利要求1所述的一种基于域迁移的夜间红外图像动物识别方法，其特征在于，所述循环生成对抗网络模型中包括所述域迁移网络，该域迁移网络中包括迁移可见光图像数据的生成器，用于将所述红外图像数据转换为迁移可见光图像数据。
10.一种基于域迁移的夜间红外图像动物识别系统，其特征在于，基于权利要求1-9任意一项所述的识别方法，该系统包括采集模块、迁移模块、识别模块，其中：
...【技术特征摘要】
1.一种基于域迁移的夜间红外图像动物识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于域迁移的夜间红外图像动物识别方法，其特征在于，
3.根据权利要求1所述的一种基于域迁移的夜间红外图像动物识别方法，其特征在于，所述循环生成对抗网络模型包括：生成器、判别器，其中，
4.根据权利要求3所述的一种基于域迁移的夜间红外图像动物识别方法，其特征在于，所述循环生成对抗网络模型至少包括两个生成器和两个判别器，通过所述两个生成器和两个判别器构成两次前向传递并形成循环结构，所述两个生成器分别用于可见光图像数据和红外图像数据的相互转换，并获得可见光转换图像数据和红外转换图像数据，所述两个判别器分别用于对转换后的所述可见光转换图像数据和红外转换图像数据进行判断，获得判断结果并反馈。
5.根据权利要求3或权利要求4所述的一种基于域迁移的夜间红外图像动物识别方法，其特征在于，所述生成器包括：
...【专利技术属性】
技术研发人员：廖志武，陈鹏，苏枚芳，侯蓉，胡绍湘，何梦楠，吴鹏程，闵清悦，
申请(专利权)人：四川师范大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。