多模态下的文本生成方法、系统、设备及存储介质技术方案

本发明专利技术提供了一种多模态下的文本生成方法、系统、设备及存储介质，该文本生成方法包括以下步骤：获取输入信息，所述输入信息包括文本信息、图片信息和视频信息中的一种或多种；从所述输入信息提取至少一个关键词；根据提取的所述关键词生成关键词列表；根据所述关键词列表生成文本。本发明专利技术的目的在于，针对目前的文本生成方法仅考虑文本信息或者图片信息，本发明专利技术的多模态下的文本生成方法可同时利用文本、图片和/或视频信息等方式增加了输入信息量，在运用多模态融合算法更好的理解所要表达的信息的基础上生成更契合心意的文本；同时还解决了目前文本生成结果可能不含有关键词对生成文本产生负面影响的问题。

Text generation method, system, device and storage medium in multimode

【技术实现步骤摘要】
多模态下的文本生成方法、系统、设备及存储介质
本专利技术涉及计算机及人工智能领域，具体地说，涉及一种多模态下的文本生成方法、系统、设备及存储介质。
技术介绍
近年来，随着神经语言程序学(Neuro-LinguisticProgramming)技术的发展，机器自动写诗写歌成为热点话题。在机器自动生成歌词诗词的过程中，用户只需要输入少量关键词，神经语言程序学技术通过对关键词的训练学习，就能够生成完整歌词或者诗词。目前解决文本生成问题的思路是：首先，用户通过文本或者图片给出关键词信息，然后要进行关键词扩展，获取主题信息，接下来，通过采用了Attention(注意力)机制的Seq2Seq(端到端)模型或者循环神经网络去生成内容，最后对内容进行规则过滤处理，或者在模型训练中加入规则损失，让生成的内容有一定的语法规则。这种解决问题的思路存在以下几方面的问题：首先，用户只能输入文本或者图片，这样输入信息资源太过单一，忽略了实际生活中其他模态信息；其次，采用了Attention机制的Seq2Seq模型或者循环神经网络都可以以一定概率将主题关键词较自然的本文档来自技高网...

【技术保护点】
1.一种多模态下的文本生成方法，其特征在于，包括以下步骤：/n获取输入信息，所述输入信息包括文本信息、图片信息和视频信息中的一种或多种；/n从所述输入信息提取至少一个关键词；/n根据提取的所述关键词生成关键词列表；/n根据所述关键词列表生成文本。/n

【技术特征摘要】
1.一种多模态下的文本生成方法，其特征在于，包括以下步骤：
获取输入信息，所述输入信息包括文本信息、图片信息和视频信息中的一种或多种；
从所述输入信息提取至少一个关键词；
根据提取的所述关键词生成关键词列表；
根据所述关键词列表生成文本。


2.根据权利要求1所述的多模态下的文本生成方法，其特征在于，所述根据提取的所述关键词生成关键词列表包括如下步骤：
将提取的所述关键词输入训练好的词向量模型，获得各个所述关键词的多个相关词的以及与各个相关词的相似度；
将相似度大于第一阈值的各个相关词输出生成所述关键词列表。


3.根据权利要求2所述的多模态下的文本生成方法，其特征在于，所述将提取的所述关键词输入训练好的词向量模型步骤之前，还包括如下步骤：
判断从所述输入信息提取的关键词的数量是否大于等于第二阈值；
如是，则对提取的所述关键词进行筛选后执行所述根据提取的所述关键词生成关键词列表步骤；
如否，则直接执行所述根据提取的所述关键词生成关键词列表步骤。


4.根据权利要求3所述的多模态下的文本生成方法，其特征在于，所述关键词包括第一关键词、第二关键词和第三关键词的一种或多种；
所述第一关键词包括所述输入信息为文本信息时提取的至少一个关键词；
所述第二关键词包括所述输入信息为图片信息时提取的至少一个关键词；
所述第三关键词包括所述输入信息为视频信息时提取的至少一个关键词。


5.根据权利要求4所述的多模态下的文本生成方法，其特征在于，所述对提取的所述关键词进行筛选包括如下步骤：
分别设置所述第一关键词、所述第二关键词和所述第三关键词的权重；
根据提取的所述关键词的权重筛选关键词。


6.根据权利要求5所述的多模态下的文本生成方法，其特征在于，所述根据提取的所述关键词的权重筛选关键词包括如下步骤：
对提取的所述关键词进行语义识别，对于语义相冲突的两个关键词，删除其中权重低的关键词。


7.根据权利要求1所述的多模态...

【专利技术属性】
技术研发人员：王国锋，张坤雷，赵江杰，
申请(专利权)人：爱驰汽车有限公司，
类型：发明
国别省市：江西;36