细粒度图像的识别方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术公开了细粒度图像的识别方法、装置、计算机设备及存储介质，涉及人工智能技术领域，应用于金融或医疗服务相关的细粒度图像的识别场景中，包括：将目标细粒度图像划分成多个图像块，并将多个图像块输入视觉Transformer编码器中，生成目标细粒度图像的第一特征表示；基于目标细粒度图像对应的目标知识图谱，提取与目标细粒度图像相关的实体和关系，并将实体和关系输入图神经网络编码器中，生成目标细粒度图像的第二特征表示；基于交叉注意力机制，对第一特征表示与第二特征表示执行交叉注意力操作，生成目标细粒度图像的融合特征表示；基于融合特征表示，利用多层感知器生成目标细粒度图像的图像识别结果。本发明专利技术可有效提高细粒度图像识别的准确性。

【技术实现步骤摘要】

本专利技术涉及人工智能，应用于金融或医疗服务相关的细粒度图像的识别场景中，具体涉及一种细粒度图像的识别方法、装置、计算机设备以及非易失性计算机可读存储介质。

技术介绍

1、目前，随着计算机视觉技术的快速发展，细粒度图像识别(fine-grained imagerecognition，fgir)已成为该领域内的一个关键研究方向。fgir专注于对同一类别下不同子类别的图像进行准确分类，这些子类别在外观上可能极为相似，但在细节上存在细微的差别。例如，在鸟类识别中区分不同品种的鸟类，在汽车识别中区分不同型号的汽车等。

2、fgir的应用领域广泛，涵盖了医疗健康、生物多样性监测、气候变化评估、智能零售和交通系统等多个重要领域。在医疗健康领域，fgir可以帮助自动识别和分类不同的细胞类型，从而辅助疾病的诊断和治疗。在生物多样性监测中，fgir能够辅助科学家对不同物种进行分类和研究。此外，在智能零售和交通系统中，fgir技术的应用可以提高商品识别的准确性和交通管理的智能化水平。

3、尽管深度学习技术，尤其是卷积神经网络(cnn)已经在fgir领域本文档来自技高网...

【技术保护点】

1.一种细粒度图像的识别方法，其特征在于，包括：

2.根据权利要求1所述的细粒度图像的识别方法，其特征在于，所述将目标细粒度图像划分成多个图像块，并将所述多个图像块输入视觉Transformer编码器中，生成所述目标细粒度图像的第一特征表示，包括：

3.根据权利要求2所述的细粒度图像的识别方法，其特征在于，所述基于所述目标细粒度图像对应的目标知识图谱，提取与所述目标细粒度图像相关的实体和关系，并将所述实体和关系输入图神经网络编码器中，生成所述目标细粒度图像的第二特征表示，包括：

4.根据权利要求3所述的细粒度图像的识别方法，其特征在于，所述第一特征表示...

【技术特征摘要】

1.一种细粒度图像的识别方法，其特征在于，包括：

2.根据权利要求1所述的细粒度图像的识别方法，其特征在于，所述将目标细粒度图像划分成多个图像块，并将所述多个图像块输入视觉transformer编码器中，生成所述目标细粒度图像的第一特征表示，包括：

3.根据权利要求2所述的细粒度图像的识别方法，其特征在于，所述基于所述目标细粒度图像对应的目标知识图谱，提取与所述目标细粒度图像相关的实体和关系，并将所述实体和关系输入图神经网络编码器中，生成所述目标细粒度图像的第二特征表示，包括：

4.根据权利要求3所述的细粒度图像的识别方法，其特征在于，所述第一特征表示包括视觉特征；

5.根据权利要求3或4所述的细粒度图像的识别方法，其特征在于，所述基于交叉注意力机制，对所述第一特征表示与所述第二特征...

【专利技术属性】
技术研发人员：唐小初，冉俊豪，舒畅，陈又新，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：