图像文本处理方法、装置、可读介质和电子设备制造方法及图纸

本公开涉及一种图像文本处理方法、装置、可读介质和电子设备，涉及电子信息处理技术领域，该方法包括：获取目标图像和目标图像对应的问题文本，对目标图像进行特征提取，得到图像特征，根据图像特征对问题文本进行特征提取，得到视觉文本特征，根据视觉文本特征，确定问题文本对应的答案文本，答案文本用于描述目标图像中的目标对象，根据视觉文本特征和图像特征，确定标识信息，标识信息用于标识目标图像中目标对象所在区域。本公开利用图像特征辅助对问题文本的特征提取，能够有效挖掘问题文本中的关键信息，并利用视觉文本特征辅助对图像特征的识别，能够准确识别出目标图像中的目标对象，实现了高准确率、高效率的视觉语言问答落地。答落地。答落地。

【技术实现步骤摘要】
图像文本处理方法、装置、可读介质和电子设备


[0001]本公开涉及电子信息处理
，具体地，涉及一种图像文本处理方法、装置、可读介质和电子设备。

技术介绍

[0002]随着人工智能相关技术的不断发展，图像识别技术和自然语言处理技术得到了广泛的应用，有效改善了人们的生活质量。例如，视觉语言问答(英文：Visual Question Answering，缩写：VQA)能够有效帮助视力障碍者理解视觉信息。用户可以通过终端设备捕获视觉内容，再通过语言对终端设备中的视觉内容发起提问，终端设备通过对视觉内容的识别，以自然语言的方式做出回答。然而，仅仅以自然语言的方式给出答案，所能提供的辅助非常有限，没有视觉线索作为指导，导致用户不能对视觉线索进行放大查看细节，也不能基于视觉线索判断答案是否可靠，限制了视觉语言问答的应用。

技术实现思路

[0003]提供该
技术实现思路
部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该
技术实现思路
部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像文本处理方法，其特征在于，所述方法包括：获取目标图像和所述目标图像对应的问题文本；对所述目标图像进行特征提取，得到图像特征；根据所述图像特征对所述问题文本进行特征提取，得到视觉文本特征；根据所述视觉文本特征，确定所述问题文本对应的答案文本，所述答案文本用于描述所述目标图像中的目标对象；根据所述视觉文本特征和所述图像特征，确定标识信息，所述标识信息用于标识所述目标图像中所述目标对象所在区域。2.根据权利要求1所述的方法，其特征在于，所述对所述目标图像进行特征提取，得到图像特征，包括：将所述目标图像输入视觉编码器进行编码，得到所述图像特征；所述根据所述图像特征对所述问题文本进行特征提取，得到视觉文本特征，包括：将所述图像特征和所述问题文本输入视觉文本编码器进行编码，得到所述视觉文本特征；所述根据所述视觉文本特征，确定所述问题文本对应的答案文本，包括：将所述视觉文本特征输入文本解码器进行解码，得到所述答案文本；所述根据所述视觉文本特征和所述图像特征，确定标识信息，包括：将所述视觉文本特征和所述图像特征输入文本视觉解码器进行解码，得到所述标识信息。3.根据权利要求2所述的方法，其特征在于，所述将所述图像特征和所述问题文本输入视觉文本编码器进行编码，得到所述视觉文本特征，包括：将所述问题文本输入所述视觉文本编码器中的自注意力层，利用自注意力机制对所述问题文本进行编码，得到文本特征；将所述文本特征和所述图像特征输入视觉文本编码器中的交叉注意力层，利用交叉注意力机制，对所述文本特征和所述图像特征进行编码，得到所述视觉文本特征。4.根据权利要求3所述的方法，其特征在于，所述利用交叉注意力机制，对所述文本特征和所述图像特征进行编码，得到所述视觉文本特征，包括：将所述文本特征作为交叉注意力机制的查询向量，将所述图像特征作为交叉注意力机制的键向量和值向量，以利用交叉注意力机制得到所述视觉文本特征。5.根据权利要求2所述的方法，其特征在于，所述将所述视觉文本特征和所述图像特征输入文本视觉解码器进行解码，得到所述标识信息，包括：将所述视觉文本特征和所述图像特征输入所述文本视觉解码器的交叉注意力层，以所述图像特征作为交叉注意力机制的查询向量，所述视觉文本特征作为交叉注意力机制的键向量和值向量，利用交叉注意力机制得到所述标识信息。6.根据权利要求2
‑
5中任一项所述的方法，其特征在于，所述视觉编码器、所述视觉文本编码器、所述文本解码器和所述文本视觉解码器是通过以下方式训练得到的：获取样本输入集和所述样本输出集，所述样...

【专利技术属性】
技术研发人员：潘俊文，边成，张志诚，李永会，
申请(专利权)人：抖音视界有限公司，
类型：发明
国别省市：