一种带有多模态锚点的自适应文本摘要方法技术

本发明专利技术公开了一种带有多模态锚点的自适应文本摘要方法，将文本积极句子样本输入解码器，获得文本积极特征，将文本消极句子样本输入解码器，获得文本消极特征；通过文字摘要门控机制模型，计算文本积极特征与文本消极特征的核心文本摘要概率分布，选择核心文本摘要概率分布最大的词汇作为文本摘要；将图像积极目标样本输入解码器，获得图像积极特征，将图像消极目标样本输入解码器，获得图像消极特征；通过图像摘要门控机制模型，计算图像积极特征与图像消极特征的核心图像摘要概率分布，选择核心图像摘要概率分布中概率最大的图片作为图片摘要。本发明专利技术以多种媒体形式呈现信息，丰富了摘要的表达方式，使得用户可以更全面地了解和理解原始内容。

【技术实现步骤摘要】

本专利技术涉及一种带有多模态锚点的自适应文本摘要方法，属于智能化摘要。

技术介绍

1、多模态摘要旨在利用来源于多种不同的媒体数据(如图像、音频、文本等)进行凝练和压缩，通过不同的表现手法来生成摘要或概括。多模态摘要使自然语言处理与计算机图像领域的交叉方向，旨在结合多种媒体数据来生成更全面、准确和可读性更强的摘要内容。

2、现有的多模态摘要方法面临着以下挑战：

3、1)、不同模态存在于不同的语义空间中，在更加相似的语义表示空间中表达各种模态信息至关重要。

4、2)、对于文本摘要的结果，必须考虑如何学习各种模态之间的异同，从而减少冗余，提高文本摘要的质量。

5、为了克服上述挑战，对多种不同的媒体数据进行文本摘要是本领域技术人员急需要解决的技术问题。

技术实现思路

1、目的：为了克服现有技术中存在的不足，本专利技术提供一种带有多模态锚点的自适应文本摘要方法，以新闻内容中的源文本、源图像和图像文本标题作为输入，并将生成的文本摘要和生成的图像摘要作为输出。

2本文档来自技高网...

【技术保护点】

1.一种带有多模态锚点的自适应文本摘要方法，其特征在于：包括如下步骤：

2.根据权利要求1所述的一种带有多模态锚点的自适应文本摘要方法，其特征在于：还包括：

3.根据权利要求1或2所述的一种带有多模态锚点的自适应文本摘要方法，其特征在于：所述源文本句子特征hi,图像目标特征vj获取方法，具体包括：

4.根据权利要求1或2所述的一种带有多模态锚点的自适应文本摘要方法，其特征在于：所述多模态交叉注意力模块由k层Cross-transformers串联组成；其中，第k层的Cross-transformers实现过程：将k-1层Cross-transforme...

【技术特征摘要】

1.一种带有多模态锚点的自适应文本摘要方法，其特征在于：包括如下步骤：

2.根据权利要求1所述的一种带有多模态锚点的自适应文本摘要方法，其特征在于：还包括：

3.根据权利要求1或2所述的一种带有多模态锚点的自适应文本摘要方法，其特征在于：所述源文本句子特征hi,图像目标特征vj获取方法，具体包括：

4.根据权利要求1或2所述的一种带有多模态锚点的自适应文本摘要方法，其特征在于：所述多模态交叉注意力模块由k层cross-transformers串联组成；其中，第k层的cross-transformers实现过程：将k-1层cross-transformers输出的作为将输入selfattl→l模块，得到自注意源文本句子特征将输入selfattr→r模块，得到自注意图像目标特征再将输入c...

【专利技术属性】
技术研发人员：陆振宇，陈中峰，荣欢，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：