一种细粒度生物识别方法、系统技术方案

本发明专利技术涉及生物识别人工智能技术领域，具体涉及一种细粒度生物识别方法、系统。本申请的方案，首先通过对采集的生物的图像数据集进行训练，得到图像特征提取骨干网络来提取图像数据集中的图像特征；然后再创建指令模板后将其输入多模态大模型中以生成图像文本描述数据集，并提取其中的文本描述特征，将文本描述特征与图像特征进行一次融合，得到多模态融合特征；之后提取多模态融合特征中的生物区域融合特征，并将生物区域融合特征与文本描述特征在进行一次融合，得到生物的细粒度融合特征以实现对生物的细粒度分类。采用本申请的方案，解决了模型依赖大量的标注数据来生成文本描述特征的问题，通过进行两次特征融合，提高了生物细粒度识别精度。

【技术实现步骤摘要】

本专利技术涉及生物识别人工智能，具体涉及一种细粒度生物识别方法、系统。

技术介绍

1、细粒度生物识别是指通过计算机视觉技术和人工智能算法，对生物进行识别和分类，将生物进一步细分为更具体的类别。一般主要针对动植物的细粒度识别。

2、当前细粒度生物识别主流解决方案主要有两种。一类是基于生物图像特征库的图像特征比对的方法，该方法速度快，但前期需要做大量的特征提取和清洗操作，这种方法在生物类别较多、生物粒度精细的场景下精度低、泛化能力差。另一类是基于深度学习的方法，集中在语义分割、物体检测以及图像识别这几种算法结合方向，相比于第一类方法，能取得更好的效果；但是此类方法依赖于大量的标注数据，且仅仅依靠网络提取的高维图像特征难以区分生物的细粒度特征。此外，还有一部分基于多模态的生物识别方法，虽然利用了多模态的特征，但这类方法仅是将文本特征作为后处理补充，在实际应用中对细粒度识别精度的提升非常有限。

技术实现思路

1、本申请实施例提供的一种细粒度生物识别方法、系统，有效解决了现有技术中生物细粒度识别方法计算量大本文档来自技高网...

【技术保护点】

1.一种细粒度生物识别方法,其特征在于，包括：

2.如权利要求1所述的细粒度生物识别方法，其特征在于，所述对所述生物图像数据集进行训练，得到图像特征提取骨干网络，所述图像特征提取骨干网络提取生物图像数据集的图像特征，包括：

3.如权利要求1所述的细粒度生物识别方法，其特征在于，所述提取所述图像文本描述数据集中的文本描述特征，包括：

4.如权利要求1所述的细粒度生物识别方法，其特征在于，所述将所述文本描述特征和所述图像特征进行第一次特征融合，以得到多模态融合特征，包括：

5.如权利要求1所述的细粒度生物识别方法，其特征在于，所述获取所述多模态...

【技术特征摘要】

1.一种细粒度生物识别方法,其特征在于，包括：

2.如权利要求1所述的细粒度生物识别方法，其特征在于，所述对所述生物图像数据集进行训练，得到图像特征提取骨干网络，所述图像特征提取骨干网络提取生物图像数据集的图像特征，包括：

3.如权利要求1所述的细粒度生物识别方法，其特征在于，所述提取所述图像文本描述数据集中的文本描述特征，包括：

4.如权利要求1所述的细粒度生物识别方法，其特征在于，所述将所述文本描述特征和所述图像特征进行第一次特征融合，以得到多模态融合特征，包括：

5.如权利要求1所述的细粒度生物识别方法，其特征在于，所述获取所述多模态融合特征中的生物区域融合特征，包括：

6.如权利要求5所述的细粒度生物识别...

【专利技术属性】
技术研发人员：罗林锋，叶广明，
申请(专利权)人：深圳市斯远电子技术有限公司，
类型：发明
国别省市：