融合预训练语言模型及结构特征的英-缅双语平行句对抽取方法及装置制造方法及图纸

本发明专利技术涉及融合预训练语言模型及结构特征的英

【技术实现步骤摘要】
融合预训练语言模型及结构特征的英-缅双语平行句对抽取方法及装置


[0001]本专利技术涉及融合预训练语言模型及结构特征的英-缅双语平行句对抽取方法及装置，属于自然语言处理


技术介绍

[0002]英-缅平行句对抽取是缅甸语自然语言处理的基础任务，高质量的平行句对是开展英-缅神经机器翻译的基础和前提。英语和缅甸语都是缅甸的官方语言，互联网中存在大量的英语和缅甸语的双语数据，这些数据大多是主题相关、内容相似的双语可比文档，因此可以从英-缅双语可比语料中获取平行句对。英语和缅甸语属于语言差异较大的语言，直接影响英-缅双语句对抽取的效果。不仅需要解决语义空间上的差异，同时还需解决对语义相似但不平行句对的误判问题，以提高英-缅平行句对抽取的准确性，获取高质量的英-缅平行句对。

技术实现思路

[0003]本专利技术提供了融合预训练语言模型及结构特征的英-缅双语平行句对抽取方法及装置，以用于解决英-缅语义空间的差异以及对语义相似但不平行句对的误判问题。
[0004]本专利技术的技术方案是：融合预训练语言模型及结构特征的英-缅双本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.融合预训练语言模型及结构特征的英-缅双语平行句对抽取方法，其特征在于：所述方法包括：Step1、数据预处理构建英-缅平行句对数据集；Step2、利用基于多语言预训练语言模型训练英语和缅甸语词向量，以共享语义空间；Step3、通过融合英-缅句子结构特征及孪生神经网络构建英-缅双语平行句对抽取模型；Step4、收集双语文本并使用融合多语言预训练语言模型及英-缅句子结构特征及孪生网络的英-缅双语平行句对抽取模型计算每一句对的相似度，并设定相似度阈值来抽取英-缅双语平行句对。2.根据权利要求1所述的融合预训练语言模型及结构特征的英-缅双语平行句对抽取方法，其特征在于：所述步骤Step1的具体步骤为：Step1.1、利用网络爬虫从英-缅双语平行网站爬取包含新闻类、经济类领域的英-缅双语文本，进行句子切分，去掉数据集中包含非英语和缅甸语字符的数据，通过人工整理得到共494816条英-缅平行数据；Step1.2、再利用神经联合训练模型实现缅甸语的音节切分、分词及词性标记任务。3.根据权利要求1所述的融合预训练语言模型及结构特征的英-缅双语平行句对抽取方法，其特征在于：所述步骤Step2中：利用基于多语言预训练语言模型MBERT微调MBERT中的参数信息，训练英语和缅甸语的双语词向量，使两种语言能够共享语义空间；其中，基于MBERT预训练英语词向量时，由于英语文本以空格分词，因此Wordpiece分词后预训练的词向量直接作为英语词汇的词向量；通过预训练语言模型先得到构成每个缅甸语词语的各个字符级的向量，然后再将字符级的向量进行组合进而得到缅甸语词级别的语义向量，这样，用于更准确的获得缅甸语词语的语义信息。4.根据权利要求1所述的融合预训练语言模型及结构特征的英-缅双语平行句对抽取方法，其特征在于：所述步骤Step3的具体步骤：Step3.1、采用孪生神经网络结构对英-缅句子进行编码表示，将预训练的英语和缅甸语词向量作为孪生神...

【专利技术属性】
技术研发人员：毛存礼，高旭，余正涛，王振晗，高盛祥，满志博，
申请(专利权)人：昆明理工大学，
类型：发明
国别省市：