基于零代词补齐的汉越数据增强方法技术

本发明专利技术涉及基于零代词补齐的汉越数据增强方法，属于自然语言处理技术领域。本发明专利技术包括步骤：构建带零代词标签的汉语、越南语单语篇章数据集；使用Transformer共享编码端融合正文和上下文，再将隐状态输入CRF模型中得到代词缺失位置标记；利用代词缺失位置收集词汇、句法、上下文特征集，再将零代词特征集作为外部知识辅助零代词预测分类任务。最后得到补齐代词的汉语、越南语单语数据。本发明专利技术所提汉越数据增强方法，通过补齐省略的代词，补齐句法成分，有效提升汉越平行数据集的质量。此外，借助增强的语料，汉越机器翻译性能得到了一定的改善。的改善。的改善。

【技术实现步骤摘要】
基于零代词补齐的汉越数据增强方法


[0001]本专利技术涉及基于零代词补齐的汉越数据增强方法，属于自然语言处理


技术介绍

[0002]神经机器翻译是典型的数据驱动模型，平行语料库的规模和质量对机器翻译的性能会产生重要的影响。然而现阶段汉语
‑
越南语公开数据集极少，往往只能通过网络爬取的方式获取，并且还需要专业人士的专业知识对其进行筛选、标注等预处理工作。其规模提升所需要的成本很高。因此研究针对汉越平行语料库的汉越数据增强方法具有很高的价值。
[0003]汉语和越南语都属于代词脱落语言，这种语言的特性就是当代词的身份可以从上下文中推断出来时，它会省略这些代词，以使句子紧凑而易于理解。我们把这些省略的代词称为零代词。这些省略对人类而言不是问题，因为我们可以很容易的从全局的角度来推测省略的主语。但是对于机器翻译而言，这种代词的缺失，会使得句法成分不完整，给NMT机器翻译带来很大的问题，甚至会造成一些错误的学习训练。
[0004]针对训练数据含有非正式用语的汉越平行语料，常出现省略代词的现象。因此可以通过对低质量语句的缺失代词进行补齐操作，得到一些高质量的汉越双语平行语料。前人在零代词补齐问题上已经做了一些相关的研究。或是通过手动标注，将缺失代词补齐，又或是尝试使用规则的方法恢复省略的代词。还有利用平行语料库的对齐信息自动标注出省略代词。虽然Transformer可以利用多头注意力机制来捕获更多的语义信息，然后对于省略了的代词，也往往只能翻译出简单的部分内容。对于复杂句子中的省略代词翻译往往不如人意。

技术实现思路

[0005]本专利技术提供了基于零代词补齐的汉越数据增强方法，将零代词的补齐工作主要分为零代词位置预测和零代词预测。第一步先确实零代词位置信息，第二步再预测缺失的是哪个代词。零代词位置预测任务使用Transformer+CRF的模型结构来标注出缺失位置。零代词预测任务使用Transformer的编码端来表征输入，同时融合语法、句法和上下文信息来提升代词信息表征，增强零代词预测准确率。
[0006]本专利技术的技术方案是：基于零代词补齐的汉越数据增强方法，所述方法的具体步骤如下：
[0007]Step1、数据收集处理：通过网络爬虫技术爬取收集并构建英汉、英越双语平行数据，利用矩阵对齐方法找出汉语、越南语中缺失的代词，并利用英语平行语料中的对应代词，将汉语、越南语中缺失的代词标注补齐，得到零代词信息标注的汉语、越南语单语数据集；缺失的代词即为零代词；
[0008]Step2、进行零代词补齐，零代词补齐包括零代词位置预测、零代词特征集生成和零代词预测，把预测出的零代词放入源句子进行零代词补齐从而对汉越数据进行增强：
[0009]零代词位置预测通过词嵌入和位置嵌入分别对正文和上下文进行特征编码，利用
Transformer编码器提取特征，其中正文和上下文共享编码端以减少参数；利用上下文注意力机制对正文表征约束，将Transformer编码器得到隐状态输入CRF模型中进行标注，得到零代词位置信息；
[0010]零代词特征集生成是利用零代词位置信息生成与零代词相关的词汇、句法、上下文特征集合；
[0011]零代词预测是重新利用Transformer编码端对正文进行编码，同时与零代词特征集做注意力计算，以提升零代词信息表征，最后将注意力计算后的输入表征通过一个多分类器模块，经过线性变换和归一个处理得到分类结果，即零代词预测结果。
[0012]作为本专利技术的进一步方案，所述Step1的具体步骤为：
[0013]Step1.1、通过网络爬虫技术爬取英汉、英越双语字幕文件，解析字幕文件，对语料初步预处理，构建英汉、英越双语平行数据；
[0014]Step1.2、利用英语不省略代词的特性，采用有监督的代词补齐方法；通过词矩阵对齐找出汉语、越南语中缺失的代词，并利用英语平行语料中的对应代词，将汉语、越南语中缺失的代词补齐；
[0015]Step1.3、采用人工标注的方法，对补齐了代词的汉语、越南语打上标签；单词的标签一共只有两种L＝{D,N}，分别表示缺失代词和没有缺失代词，将代词缺失的后一个单词位置标注为D，其他单词都标注为N。
[0016]作为本专利技术的进一步方案，所述Step2中，零代词位置预测包括：
[0017]Step2.1、零代词位置预测的任务是找到句子中是否缺失代词，并将代词缺失位置标注出来；
[0018]设X＝x
(1)
,..,x
(k)
,..,x
(K)
表示K个源句子组成的源语言文档，表示K个源句子组成的源语言文档，表示第k个源句子包含I个词；使用transformer编码模块对正文的特征嵌入进行编码；为了能够利用序列的顺序，在编码模块中将位置编码添加到词嵌入表征中，位置编码与词嵌入表征具有相同的维数，编码模块核心是自注意力机制，多头注意力模块计算时需要将输入表征分别处理成Q、K、V，具体如下：
[0019]E＝E(x1,x2,...,x
I
)
ꢀꢀꢀ
(1)
[0020]E＝Q＝K＝V
ꢀꢀꢀ
(2)
[0021][0022]其中，E为正文中当前句的词嵌入表征，d表示正文中当前句的词向量维度，Q,K,V∈R
I
×
d
分别为查询向量、键向量、值向量，为缩放因子；
[0023]多头注意力通过不同的线性投影将Q、K、V进行h次线性投影，然后h次投影并行执行缩放点积注意，最后将这些注意结果串联起来再次获得新的表示；
[0024]head
i
＝Attention(QW
iQ
,KW
iK
,VW
iV
)
ꢀꢀꢀ
(4)
[0025]H＝MultiHead(Q,K,V)＝Concat(head1,head2,
…
,head
h
)W
O
ꢀꢀꢀ
(5)
[0026]其中，H∈R
I
×
d
为正文编码后的输出；W
O
∈R
d
×
d
为训练的参数，d
k
∈d/h；
[0027]利用上下文编码模块进行上下文特征编码：
[0028]与标准的Transformer编码器不同的是，上下文编码模块多了一个多头上下文注意力子层来融合上下文信息；为了减少计算成本，采用共享编码器的结构；编码器先编码当前句上下文，上下文注意力子层不参与此过程，第二步编码当前句时，当前句自注意力子层和上下文注意力子层同时参与计算利用上下文信息约束正文中当前句的表征，上下文注意力子层的输入K
Con
，V
Con
来自于上下文的编码输出，Q来自于当前句的注意力子层的输本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于零代词补齐的汉越数据增强方法，其特征在于：所述方法的具体步骤如下：Step1、数据收集处理：通过网络爬虫技术爬取收集并构建英汉、英越双语平行数据，利用矩阵对齐方法找出汉语、越南语中缺失的代词，并利用英语平行语料中的对应代词，将汉语、越南语中缺失的代词标注补齐，得到零代词信息标注的汉语、越南语单语数据集；缺失的代词即为零代词；Step2、进行零代词补齐，零代词补齐包括零代词位置预测、零代词特征集生成和零代词预测，把预测出的零代词放入源句子进行零代词补齐从而对汉越数据进行增强：零代词位置预测通过词嵌入和位置嵌入分别对正文和上下文进行特征编码，利用Transformer编码器提取特征，其中正文和上下文共享编码端以减少参数；利用上下文注意力机制对正文表征约束，将Transformer编码器得到隐状态输入CRF模型中进行标注，得到零代词位置信息；零代词特征集生成是利用零代词位置信息生成与零代词相关的词汇、句法、上下文特征集合；零代词预测是重新利用Transformer编码端对正文进行编码，同时与零代词特征集做注意力计算，以提升零代词信息表征，最后将注意力计算后的输入表征通过一个多分类器模块，经过线性变换和归一个处理得到分类结果，即零代词预测结果。2.根据权利要求1所述的基于零代词补齐的汉越数据增强方法，其特征在于：所述Step1的具体步骤为：Step1.1、通过网络爬虫技术爬取英汉、英越双语字幕文件，解析字幕文件，对语料初步预处理，构建英汉、英越双语平行数据；Step1.2、利用英语不省略代词的特性，采用有监督的代词补齐方法；通过词矩阵对齐找出汉语、越南语中缺失的代词，并利用英语平行语料中的对应代词，将汉语、越南语中缺失的代词补齐；Step1.3、采用人工标注的方法，对补齐了代词的汉语、越南语打上标签；单词的标签一共只有两种L＝{D,N}，分别表示缺失代词和没有缺失代词，将代词缺失的后一个单词位置标注为D，其他单词都标注为N。3.根据权利要求1所述的基于零代词补齐的汉越数据增强方法，其特征在于：所述Step2中，零代词位置预测包括：Step2.1、零代词位置预测的任务是找到句子中是否缺失代词，并将代词缺失位置标注出来；设X＝x
(1)
,..,x
(k)
,..,x
(K)
表示K个源句子组成的源语言文档，表示K个源句子组成的源语言文档，表示第k个源句子包含I个词；使用transformer编码模块对正文的特征嵌入进行编码；为了能够利用序列的顺序，在编码模块中将位置编码添加到词嵌入表征中，位置编码与词嵌入表征具有相同的维数，编码模块核心是自注意力机制，多头注意力模块计算时需要将输入表征分别处理成Q、K、V，具体如下：E＝E(x1,x2,...,x
I
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)E＝Q＝K＝V
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
其中，E为正文中当前句的词嵌入表征，d表示正文中当前句的词向量维度，Q,K,V∈R
I
×
d
分别为查询向量、键向量、值向量，为缩放因子；多头注意力通过不同的线性投影将Q、K、V进行h次线性投影，然后h次投影并行执行缩放点积注意，最后将这些注意结果串联起来再次获得新的表示；head
i
＝Attention(QW
iQ
,KW
iK
,VW
iV
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)H＝MultiHead(Q,K,V)＝Concat(head1,head2,
…
,head
h
)W
O (5)其中，H∈R
I
×
d
为正文编...

【专利技术属性】
技术研发人员：余正涛，王麒鼎，
申请(专利权)人：昆明理工大学，
类型：发明
国别省市：