【技术实现步骤摘要】
本专利技术涉及一种新闻摘要生成方法及相关装置，属于自然语言处理、计算机视觉、多模态信息处理和深度学习领域。
技术介绍
1、近年来，随着大数据时代的到来，社交媒体和在线平台上的信息呈爆发性增长，呈现出多模态信息的复杂多样性。随着新闻报道的数字化和多媒体化，用户在获取新闻信息时不仅能够接触到大量的文本信息，还能够浏览大量的图像和视频内容，这使得多模态数据（包括文本、图像和视频）的处理和概括变得至关重要。
2、在这一背景下，图文多模态摘要生成技术应运而生，多模态一词指的是结合多个感知模式，而在智能新闻摘要中，主要涉及到文本、图像和视频等多种信息形式，这一技术的目标是通过整合新闻文本、图像和视频，生成一份既有核心语义又丰富多彩的摘要，以更有效地传递新闻信息。
3、在传统的多模态摘要方法中，通常仅对文本信息或图像信息进行单一模态的处理，这使得难以充分挖掘新闻文本、图像和视频之间的深层次关联，例如，在报道一场重大新闻事件时，仅通过文本信息无法完全还原事件的紧急感和现场感，而图像和视频能够更好地传达这些方面的信息。因此传统的多...
【技术保护点】
1.一种新闻摘要生成方法，其特征在于，包括：
2.根据权利要求1所述的新闻摘要生成方法，其特征在于，根据新闻文本，获得新闻文本的单词编码特征，包括：
3.根据权利要求1所述的新闻摘要生成方法，其特征在于，多模态编码采用多层Cross-transformers，每层Cross-transformers的输出通过前馈子层输入下一层Cross-transformers；第k层Cross-transformers的公式为：
4.根据权利要求1所述的新闻摘要生成方法，其特征在于，采用对抗学习构建多模态动态图，包括：
5.根据权利要...
【技术特征摘要】
1.一种新闻摘要生成方法，其特征在于，包括：
2.根据权利要求1所述的新闻摘要生成方法，其特征在于，根据新闻文本，获得新闻文本的单词编码特征，包括：
3.根据权利要求1所述的新闻摘要生成方法，其特征在于，多模态编码采用多层cross-transformers，每层cross-transformers的输出通过前馈子层输入下一层cross-transformers；第k层cross-transformers的公式为：
4.根据权利要求1所述的新闻摘要生成方法，其特征在于，采用对抗学习构建多模态动态图，包...
【专利技术属性】
技术研发人员：龚智恒，荣欢，马廷淮，陈中峰，杨毅，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。