本发明公开一种基于句法感知的文本匹配方法。本发明通过采用双向LSTM得到两个句子的上下文表示词向量，采用多通道图卷积网络对上下文表示词向量进行处理得到两个句子的句法信息感知词向量，利用门控函数对上下文表示词向量和句法信息感知表示词向量进...

本发明公开一种图文跨媒体检索方法。本发明通过提取输入图像的图像特征V，对输入句子进行编码得到词级别表示S

本发明属于自然语言理解技术领域，公开了一种跨媒体检索困难样本的方法。所述方法包括：计算表征文本图像对中的文本与图像的文本描述之间的相关性大小的细粒度标签，基于细粒度度标签计算文本图像对的相似度，实现了困难样本的跨媒体检索。本发明充分利用...

本发明公开一种基于自然语言描述的视频检索方法。所述方法包括：从输入视频文件中按帧提取图片，将图片设置成固定尺寸，以每个图片的帧序号命名并保存图片；提取每个图片的文本描述，针对每个图片，以视频文件路径、图片的帧序号及对应的文本描述为字段，...

本发明公开一种高质量困难样本生成方法。所述方法包括：将输入文本和包含多样化信息的指定标签输入至条件变分自编码器，得到指定标签类别的生成样本；以输入文本和生成样本为训练样本，训练真伪判别器和相似判别器，真伪判别器判断生成样本是真实样本还是...

本发明公开一种引入外部知识的视觉问答方法。所述方法包括：构造视觉图；构造事实知识图；利用注意力机制对视觉图和事实知识图的节点、边相对问题进行运算，突出与问题相关的节点和边，然后使用图神经网络更新节点；在问题的引导下从视觉图中提取相对每个...

本发明公开一种基于预训练模型的自然语言理解方法。所述方法包括：建立基于双向深度Transformer的预训练模型；对待理解语句进行分词处理，并在待理解语句的开始和结尾分别加入特殊标签，得到待理解语句的文本向量；以所述待理解语句的文本向量...