一种图像描述方法及相关装置制造方法及图纸

本申请提供了一种图像描述方法及相关装置，涉及图像处理领域。采用主干网络对待处理图像进行特征提取时，加强各个通道间特征信息的融合，使得提取的特征的准确性更高，进而提高后续图像描述的准确性和拟人化程度。另外，在进行图像描述时，使用联合学习模型进行图像描述，联合学习模型包括目标检测网络以及图像描述网络，目标检测网络以及图像描述网络的损失信息互补，通过互补损失信息来达到不损失准确率的同时提升模型性能的目的。在生成联合学习模型时，基于训练样本训练后，利用拟人化优化样本采用正向反馈以及强化学习结合的方式进行优化训练得到，以实现更拟人化的图像描述语句输出。

【技术实现步骤摘要】

本申请涉及图像处理领域，更具体的说，涉及一种图像描述方法及相关装置。

技术介绍

1、图像描述技术是以图像为输入，通过模型和计算使计算机输出对应图像内容的自然语言描述文字的跨模态语义理解融合技术，在通用人工智能大模型被广泛运用的今天，该技术作为大模型对于输入图像理解的基础能力，能够提升大模型对于图像上下文、前后景的理解，被广泛应用在智能检索、智能生成、智能推荐以及智能问答等领域。

2、目前，在进行图像描述时，仅侧重于图像描述的准确度，并未关注图像描述的拟人化。因此，如何实现图像描述的拟人化，是本领域技术人员亟需解决的技术问题。

技术实现思路

1、有鉴于此，本申请提供一种图像描述方法及相关装置，以解决亟需实现图像描述的拟人化的问题。

2、为解决上述技术问题，本申请采用了如下技术方案：

3、一种图像描述方法，包括：

4、获取待处理图像；

5、利用主干网络确定所述待处理图像的特征图；所述主干网络包括多个基本模块，首个所述基本模块之前配置有嵌入层；所述基本模块本文档来自技高网...

【技术保护点】

1.一种图像描述方法，其特征在于，包括：

2.根据权利要求1所述的图像描述方法，其特征在于，所述联合学习模型的训练过程包括：

3.根据权利要求2所述的图像描述方法，其特征在于，将所述第一图像描述语句转换为第一标记序列，包括：

4.根据权利要求2所述的图像描述方法，其特征在于，利用优化样本，采用正向反馈以及强化学习结合的方式对所述初始模型进行优化训练，得到联合学习模型，包括：

5.根据权利要求4所述的图像描述方法，其特征在于，获取优化样本，包括：

6.根据权利要求4所述的图像描述方法，其特征在于，所述强化学习损失函数为：

<...

【技术特征摘要】

1.一种图像描述方法，其特征在于，包括：

2.根据权利要求1所述的图像描述方法，其特征在于，所述联合学习模型的训练过程包括：

3.根据权利要求2所述的图像描述方法，其特征在于，将所述第一图像描述语句转换为第一标记序列，包括：

4.根据权利要求2所述的图像描述方法，其特征在于，利用优化样本，采用正向反馈以及强化学习结合的方式对所述初始模型进行优化训练，得到联合学习模型，包括：

5.根据权利要求4所述的图像描述方法，其特征在于，获取优化样本，包括：

6.根...

【专利技术属性】
技术研发人员：刘晨阳，
申请(专利权)人：中国农业银行股份有限公司，
类型：发明
国别省市：