【技术实现步骤摘要】
本专利技术属于海南长臂猿个体识别，具体是一种基于多视角特征融合的海南长臂猿个体识别方法。
技术介绍
1、野生动物的种群监测和规模估计通常需要获取个体层面的信息，通过提取和分析个体水平有区分性的特征，得出不同个体的标记信息，从而对动物个体间的行为差异理解、濒危动物自动化跟踪、跨空间建模种群密度和动物的社会关系探索等研究意义重大。尤其是对极度濒危野生动物的保护，一种可靠的非侵入性个体识别方法可以长期有效的监测种群动态和种群数量，例如监测世界上最稀有的灵长类动物海南长臂猿。
2、长臂猿的个体识别方法一般包括遗传标记分析和声纹识别。由于长臂猿个体之间的遗传标记存在差异，可以利用分子生物学技术识别不同的长臂猿，但在样本量不足时，可能会导致遗传标记分析错误，从而影响个体识别的准确性。声纹识别能够根据长臂猿鸣叫的声音特征区分不同的个体，但是长臂猿一般在清晨鸣叫，在不发声的时间段内，声纹识别便失去了检测的意义。除此之外，环境因素在一定程度上反映了长臂猿个体与栖息地之间的关系依赖，由于长臂猿具有很强的领地性，在其栖息地范围内进行活动，栖息地的环境特征对长臂猿家庭群的分类和个体识别很重要，这一点也被先前的研究者所忽视。
3、因此现有的长臂猿个体识别方法在野生长臂猿的持续性监测和保护任务上具有一定的局限性，随着计算机视觉技术的发展，基于图像的分类识别任务在很多领域都取得了令人满意的效果。所以，急需从计算机视觉图像分析的角度去解决这一问题。
技术实现思路
1、本专利技术为了解决现有
2、为了实现上述目的，本专利技术的技术方案为：提供一种基于多视角特征融合的海南长臂猿个体识别方法，包括以下步骤：
3、步骤s1海南长臂猿数据集收集
4、(s1-1)清晨对长臂猿群体进行追踪和拍摄，对海南长臂猿的个体活动照片进行采集；具体为：首先对海南长臂猿的个体活动照片进行采集，在中国海南霸王岭地区开展海南长臂猿数据集的采集工作；长臂猿个体一般在清晨进行鸣叫，监测人员会提前到达观测点，当听到长臂猿的叫声之后，监测人员会根据声音所在的方向对长臂猿群体进行追踪和拍摄；
5、(s1-2)对收集到影像进行筛选，排除对于婴猿个体的识别，未采用影像数目过少的成熟个体；具体为：由于长臂猿的移动速度很快，追踪拍摄的难度较大，因此收集到的图片有部分存在暗光、伪影等情况，需要对收集到影像进行筛选。在筛选过程中一方面考虑到婴猿的面部特征和身体毛色会随着年龄的增长发生较大的变化，从而排除了对于婴猿个体的识别。另一方面有部分长臂猿个体可以观测到的频率较低，因此采集到的有效影像数目较少，为了避免数据分布出现严重的长尾问题，未采用影像数目过少的成熟个体。
6、(s1-3)经过筛选和统计，收集成熟长臂猿个体的有效影像，得到长臂猿个体的面部、身体和所处的环境信息；具体为：经过筛选和统计，在2023年3月到2024年2月共收集到1697张成熟长臂猿个体的有效影像，一共包含25只野生长臂猿，这些影像完整的记录了长臂猿个体的面部、身体和所处的环境信息。
7、步骤s2数据预处理
8、(s2-1)对1697张海南长臂猿数据集按照8：2的比例划分训练集和测试集；
9、(s2-2)标记长臂猿的面部图像和身体图像，得到原始图像、身体图像和面部图像；
10、(s2-3)使用图像增强方式，使得长臂猿原始图像、身体图像和面部图像分别扩充到了原来的6倍，增加图像的多样性；
11、步骤s3个体识别模型搭建
12、(s3-1)搭建海南长臂猿个体识别模型，包括面部特征提取模块、身体特征提取模块和环境特征提取模块；
13、(s3-2)采用面部特征提取器、身体特征提取器、环境特征提取器进行对应模块提取，分别得到局部特征信息和全局特征信息；
14、(s3-3)局部特征信息和全局特征信息进行特征融合，得到融合后的输出个体预测结果；
15、优选地，步骤(s2-2)中，为了能够准确的标记长臂猿的面部图像和身体图像，使用labelimg软件对原始图像中猿脸和猿身的位置进行标记，并使用python脚本对标记区域进行拦截和裁剪，得到原始图像对应的面部和身体照片。
16、优选地，步骤(s2-3)中，所述图像增强方式包括水平翻转、垂直翻转、随机旋转、调整图像对比度和饱和度；为了避免模型在训练过程中产生过拟合现象，我们使用水平翻转、垂直翻转、随机旋转、调整图像对比度和饱和度等图像增强方式，使得长臂猿原始图像、身体图像和面部图像分别扩充到了原来的6倍，增加图像的多样性。
17、优选地，步骤(s3-1)中，所述面部特征提取模块和身体特征提取模块是基于卷积神经网络来对长臂猿个体的局部特征进行编码，环境特征提取模块是基于visiontransformer架构对长臂猿个体与背景环境之间的远距离特征进行建模，对图像的全局特征进行编码。
18、优选地，步骤(s3-3)中，特征融合公式为output＝m(ff，fb)·(normalize(fa)+1)，output是融合后的输出结果，fa是提取的全局特征信息，ff是提取的面部特征信息，fb是提取的身体特征信息，m(ff，fb)是对面部和身体的局部特征进行整理，经过normalize归一化之后和全局的信息进行高效的信息融合，输出个体的预测。
19、优选地，步骤(s3-2)中，所述面部特征提取模块和身体特征提取模块分别由两个相同结构的efficientnet-b0搭建，图像在输入到特征提取器时会经过一个卷积核大小为3×3的卷积层，然后输入到mbconv block结构中；mbconv block层的结构由1×1卷积层和深度可分离卷积构成，并加载有senet注意力机制。
20、优选地，步骤(s3-3)中，所述面部特征提取器和身体特征提取器分别输出形状为[1280，7，7]的特征图，包括1280个通道，尺寸为7×7的面部特征图和身体特征图，通过对特征图的通道维度进行拼接，输出图像的局部特征编码，编码维度为[2560，7，7]；再利用全局均值池化层和全连接层对拼接的局部特征进行信息整合，从而获取更加完整的局部特征信息，输出特征为256维的特征编码。
21、优选地，步骤(s3-1)中，所述环境特征提取模块包括patches embedding、transformer encoder和mlp模块，经过这些模块之后，可以输出具有256维特征编码的全局信息。
22、优选地，所述patches embedding模块的输入是图像序列，对图像进行切分成不同的图像块，然后对图像块其进行编码，并增加一个可以学习的向量patch0用来本文档来自技高网...
【技术保护点】
1.一种基于多视角特征融合的海南长臂猿个体识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于多视角特征融合的海南长臂猿个体识别方法，其特征在于：步骤(S2-2)中，使用labelImg软件对原始图像中猿脸和猿身的位置进行标记，并使用Python脚本对标记区域进行拦截和裁剪，得到原始图像对应的面部和身体照片。
3.根据权利要求1所述的基于多视角特征融合的海南长臂猿个体识别方法，其特征在于：步骤(S2-3)中，所述图像增强方式包括水平翻转、垂直翻转、随机旋转、调整图像对比度和饱和度。
4.根据权利要求1所述的基于多视角特征融合的海南长臂猿个体识别方法，其特征在于：步骤(S3-1)中，所述面部特征提取模块和身体特征提取模块是基于卷积神经网络来对长臂猿个体的局部特征进行编码，环境特征提取模块是基于VisionTransformer架构对长臂猿个体与背景环境之间的远距离特征进行建模，对图像的全局特征进行编码。
5.根据权利要求1所述的基于多视角特征融合的海南长臂猿个体识别方法，其特征在于：步骤(S3-3)中，特征融合公式为Ou
6.根据权利要求1所述的基于多视角特征融合的海南长臂猿个体识别方法，其特征在于：步骤(S3-2)中，所述面部特征提取模块和身体特征提取模块分别由两个相同结构的EfficientNet-B0搭建，图像在输入到特征提取器时会经过一个卷积核大小为3×3的卷积层，然后输入到MBConvBlock结构中；MBConv Block层的结构由1×1卷积层和深度可分离卷积构成，并加载有SENet注意力机制。
7.根据权利要求1所述的基于多视角特征融合的海南长臂猿个体识别方法，其特征在于：步骤(S3-3)中，所述面部特征提取器和身体特征提取器分别输出形状为[1280，7，7]的特征图，包括1280个通道，尺寸为7×7的面部特征图和身体特征图，通过对特征图的通道维度进行拼接，输出图像的局部特征编码，编码维度为[2560，7，7]；再利用全局均值池化层和全连接层对拼接的局部特征进行信息整合，从而获取更加完整的局部特征信息，输出特征为256维的特征编码。
8.根据权利要求1所述的基于多视角特征融合的海南长臂猿个体识别方法，其特征在于：步骤(S3-1)中，所述环境特征提取模块包括Patches Embedding、Transformer Encoder和MLP模块，经过这些模块之后，可以输出具有256维特征编码的全局信息。
9.根据权利要求8所述的基于多视角特征融合的海南长臂猿个体识别方法，其特征在于：所述Patches Embedding模块的输入是图像序列，对图像进行切分成不同的图像块，然后对图像块其进行编码，并增加一个可以学习的向量patch0用来对全局的信息进行整合。
10.根据权利要求9所述的基于多视角特征融合的海南长臂猿个体识别方法，其特征在于：所述Transformer Encoder模块包括Multi_Head Attention，Multi_HeadAttention是进行了多次的Self-Attention，Self-Attention计算公式为(Q，K，V)是输入矩阵的三个变形，分别代表Query矩阵，Key矩阵，Value矩阵,dk是向量的维度，可以使得训练过程更加稳定，Multi_HeadAttention可以给注意力的计算提供多种可能性，让注意力可以注意到不同的地方。
...【技术特征摘要】
1.一种基于多视角特征融合的海南长臂猿个体识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于多视角特征融合的海南长臂猿个体识别方法，其特征在于：步骤(s2-2)中，使用labelimg软件对原始图像中猿脸和猿身的位置进行标记，并使用python脚本对标记区域进行拦截和裁剪，得到原始图像对应的面部和身体照片。
3.根据权利要求1所述的基于多视角特征融合的海南长臂猿个体识别方法，其特征在于：步骤(s2-3)中，所述图像增强方式包括水平翻转、垂直翻转、随机旋转、调整图像对比度和饱和度。
4.根据权利要求1所述的基于多视角特征融合的海南长臂猿个体识别方法，其特征在于：步骤(s3-1)中，所述面部特征提取模块和身体特征提取模块是基于卷积神经网络来对长臂猿个体的局部特征进行编码，环境特征提取模块是基于visiontransformer架构对长臂猿个体与背景环境之间的远距离特征进行建模，对图像的全局特征进行编码。
5.根据权利要求1所述的基于多视角特征融合的海南长臂猿个体识别方法，其特征在于：步骤(s3-3)中，特征融合公式为output＝m(ff，fb)·(normalize(fa)+1)，output是融合后的输出结果，fa是提取的全局特征信息，ff是提取的面部特征信息，fb是提取的身体特征信息，m(ff，fb)是对面部和身体的局部特征进行整理，经过normalize归一化之后和全局的信息进行高效的信息融合，输出个体的预测。
6.根据权利要求1所述的基于多视角特征融合的海南长臂猿个体识别方法，其特征在于：步骤(s3-2)中，所述面部特征提取模块和身体特征提取模块分别由两个相同结构的efficientnet-b0搭建，图像在输入到特征提取器时会经过一个卷积核大小为3×3的卷积层，然后输入到mbconvblock结构中；mbconv block...
【专利技术属性】
技术研发人员：王磊，龙文兴，王冠军，齐旭明，谢治，
申请(专利权)人：海南大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。