基于时空注意力的视频引导机器翻译方法技术

本发明专利技术涉及时空注意力的视频引导机器翻译方法，属于自然语言处理领域。本发明专利技术包括：构建中越可比语料数据集；使用预训练语言模型分别获得源语言句子特征和视频的全局特征以及局部特征，然后利用soft

【技术实现步骤摘要】
基于时空注意力的视频引导机器翻译方法


[0001]本专利技术涉及时空注意力的视频引导机器翻译方法，属于自然语言处理领域。

技术介绍

[0002]视频引导机器翻译是一种多模态机器翻译任务，其目标是通过视频和文本的结合产生高质量的文本翻译。但是之前的工作中，只基于视频中的时间结构选择相关片段引导机器翻译，所选片段中仍然存在大量与目标语言无关的信息。因此，在翻译过程中，视频中的时空结构依然没有得到充分利用，从而无法有效缓解机器翻译中细节缺失或翻译错误的问题。
[0003]利用时空注意力的模型来充分利用视频中的时空信息引导机器翻译。提出的注意力模型不但能选择与目标语言最相关的时空片段，而且能进一步聚焦片段中最相关的实体信息。所关注的实体信息能有效增强源语言和目标语言的语义对齐，从而使得源语言中的细节信息得到准确翻译。

技术实现思路

[0004]本专利技术从细节缺失的角度对视频引导机器翻译中存在的问题进行了深入的研究。在机器翻译中将视频作为引导是多模态机器翻译中的一种重要的翻译方法，任务根据识别每一帧上具有空间结构和连续帧上的时间本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时空注意力的视频引导机器翻译方法，其特征在于：所述方法的具体步骤如下：Step1、构建汉越数据集，数据集包括视频以及与视频对应的平行句对，利用负采样获得非平行数据，通过人工对数据集进行标注得到汉越可比语料数据集；Step2、获取到视频的全局特征，进行目标检测并获取到视频的局部特征，从源语言句子中选择出关键词，利用提出的时空注意力模型从视频特征中选择出关键时空特征，最后将关键词和关键时空特征二者输入到目标语言解码器中。2.根据权利要求1所述的基于时空注意力的视频引导机器翻译方法，其特征在于：所述步骤Step1的具体步骤为：Step1.1、通过网络爬虫技术获取视频以及中越平行数据；Step1.2、对爬取的数据进行过滤筛选，过滤筛选的方式如下所示：(1)、去除文本内容中的多余符号、超链接和特殊字符；(2)、去除与视频无关的话语；(3)、去除汉越不平行的句对；Step1.3、采用人工标注，获得汉越可比语料数据集；对同一个视频的5局不同的中文描述打上5局越南语描述的标签，人工对视频与视频描述不符的数据集进行筛选。3.根据权利要求1所述的基于时空注意力的视频引导机器翻译方法，其特征在于：所述步骤Step2的具体步骤如下：Step2.1、通过Faster R
‑
CNN对视频进行目标检测，然后利用空间注意力机制对前top
‑
n个局部特征f
li
＝{f
li1
，...，f
lin
}得到的每个帧，将每一帧转化为局部特征ψ(VL)＝{ψ1(VL)，ψ2(VL)，...，ψ
k
(VL)}，ψ
i
(VL)通过空间注意机制对n个局部特征进行动态加权求和：其中，vl
ij
表示t时刻第i帧第j个局部特征变量，为t时刻的空间注意力得权重，空间注意力权重它反映了输入视频中第j个局部特征的相关性；因此，设计一个函数，以LSTM解码器的前一个隐状态和第j个局部特征作为输入，并返回相关性分数码器的前一个隐状态和第j个局部特征作为输入，并返回相关性分数其中W
e
，U
e

【专利技术属性】
技术研发人员：余正涛，姜舟，相艳，
申请(专利权)人：昆明理工大学，
类型：发明
国别省市：