文本生成方法、装置、电子设备、存储介质及程序产品制造方法及图纸

技术编号:46584230 阅读:0 留言:0更新日期:2025-10-10 21:21
本申请提供了一种文本生成方法、装置、电子设备、存储介质及程序产品;方法包括:在第1层级,基于第一图像的第一图像特征,对第一文本的第一文本特征进行解码,得到第二文本特征;在第n层级,对第n‑1层级的图像特征进行压缩处理,得到第n层级的图像特征,其中,n为依次递增的正整数,1<n≤N,N为大于1的正整数,第1层级的图像特征为第一图像特征;基于第n层级的图像特征,对第n‑1层级的文本特征进行解码,得到第n层级的文本特征,其中,第1层级的文本特征为第二文本特征;对第N层级的文本特征进行映射,得到第二文本。通过本申请,能够提高文本生成的准确性和效率。

【技术实现步骤摘要】

本申请涉及人工智能技术,尤其涉及一种文本生成方法、装置、电子设备、存储介质及程序产品


技术介绍

1、近年来,随着深度学习和计算机视觉技术的迅猛发展,图像与文本之间的跨模态生成任务逐渐成为研究领域的热点。尤其是在多模态大模型(multi-modal largelanguage models,mllms)的推动下,诸如视觉问答(visual question answering,vqa)、图文生成以及跨模态推理等任务取得了显著进展。


技术实现思路

1、本申请实施例提供一种文本生成方法、装置、电子设备、存储介质及程序产品,能够提高文本生成的准确性和效率。

2、本申请实施例的技术方案是这样实现的:

3、本申请实施例提供一种文本生成方法,所述方法包括:

4、在第1层级,基于第一图像的第一图像特征,对第一文本的第一文本特征进行解码,得到第二文本特征;

5、在第n层级,对第n-1层级的图像特征进行压缩处理,得到第n层级的图像特征,其中,n为依次递增的正整数,1<n≤n,n为本文档来自技高网...

【技术保护点】

1.一种文本生成方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述第一图像包括多个图像块,每个层级的图像特征包括全局特征和多个局部特征,每个局部特征与所述图像块一一对应,所述对第n-1层级的图像特征进行压缩处理,得到第n层级的图像特征,包括:

3.根据权利要求2所述的方法,其特征在于,所述基于第n层级的压缩比例压缩第n-1层级的图像特征中的局部特征之前,所述方法还包括:

4.根据权利要求3所述的方法,其特征在于,所述基于所述第一图像块确定所述局部特征的权重,包括:

5.根据权利要求3所述的方法,其特征在于,所述...

【技术特征摘要】

1.一种文本生成方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述第一图像包括多个图像块,每个层级的图像特征包括全局特征和多个局部特征,每个局部特征与所述图像块一一对应,所述对第n-1层级的图像特征进行压缩处理,得到第n层级的图像特征,包括:

3.根据权利要求2所述的方法,其特征在于,所述基于第n层级的压缩比例压缩第n-1层级的图像特征中的局部特征之前,所述方法还包括:

4.根据权利要求3所述的方法,其特征在于,所述基于所述第一图像块确定所述局部特征的权重,包括:

5.根据权利要求3所述的方法,其特征在于,所述基于第n层级的压缩比例压缩第n-1层级的图像特征中的局部特征,得到压缩后的局部特征,包括:

6.根据权利要求2所述的方法,其特征在于,所述基于第n层级的压缩比例压缩第n-1层级的图像特征中的局部特征,得到压缩后的...

【专利技术属性】
技术研发人员:袁彤彤邓伟洪
申请(专利权)人:马上消费金融股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1