大规模语料清洗对齐方法及装置制造方法及图纸

本发明专利技术实施例提供一种大规模语料清洗对齐方法及装置，所述方法包括：对历史稿件进行解析和分句，获得句子集合；取出所述句子集合中的任意一个句子进行语种识别，并调用与语种识别结果相对应的机器翻译引擎对所述句子进行翻译，获得所述句子对应的译文；对所述句子对应的译文和取出了所述句子的句子集合进行相似度匹配计算；若匹配到某个句子与所述句子对应的译文之间的相似度达到预设阈值，则确定匹配到的句子与所述句子为一组双语对齐语料。本发明专利技术实施例提供的大规模语料清洗对齐方法及装置，无须花费大量人力，计算复杂度低、准确率高，能够自动地对大规模语料进行清洗对齐。

Large scale corpus cleaning alignment method and device

【技术实现步骤摘要】
大规模语料清洗对齐方法及装置
本专利技术涉及机器翻译
，更具体地，涉及一种大规模语料清洗对齐方法及装置。
技术介绍
随着翻译技术的发展，机器翻译被广泛地使用，产生了大量的翻译语料。但是，目前翻译行业很多项目采取Word、Excel、PDF、PPT、TEXT等文件做为翻译载体，积累了大量语料，且相关语料中原文、译文文件无法匹配对应，而解析对齐这些语料将形成巨大数字资产，为后续相关业务提供支撑。传统的语料对齐方案，要么基于长度对齐方法，要么基于词汇对齐方法，均需要花费大量人力，计算复杂度高、准确率低。因此，亟需提供一种无须花费大量人力，计算复杂度低、准确率高的对大规模语料进行清洗对齐的方法。
技术实现思路
本专利技术实施例提供一种克服上述问题或者至少部分地解决上述问题的大规模语料清洗对齐方法及装置。第一方面，本专利技术实施例提供一种大规模语料清洗对齐方法，包括：对历史稿件进行解析和分句，获得句子集合；取出所述句子集合中的任意一个句子进行语种识别，并调用与语种识别结果相对应的机器翻译引擎对所述句子进行翻译，获得所述句子对应的译文；对所述句子对应的译文和取出了所述句子的句子集合进行相似度匹配计算；若匹配到某个句子与所述句子对应的译文之间的相似度达到预设阈值，则确定匹配到的句子与所述句子为一组双语对齐语料。其中，对所述句子对应的译文和取出了所述句子的句子集合进行相似度匹配计算，具体为：基于余弦相似度对所述句子对应的译文和取出了所述句子的句子集合进行相似度匹配计算。其中，对所述句子对应的译文和取出了所述句子的句子集合进行相似度匹配计算之后，还包括：若确定取出了所述句子的句子集合中的每个句子与所述句子对应的译文之间的相似度均未达到预设阈值，则删除所述句子。其中，所述确定匹配到的句子与所述句子为一组双语对齐语料之后，还包括：构建双语对齐语料库，将匹配到的句子与所述句子加入至所述双语对齐语料库中。第二方面，本专利技术实施例提供一种大规模语料清洗对齐装置，包括：解析模块，用于对历史稿件进行解析和分句，获得句子集合；翻译模块，用于取出所述句子集合中的任意一个句子进行语种识别，并调用与语种识别结果相对应的机器翻译引擎对所述句子进行翻译，获得所述句子对应的译文；相似度匹配模块，用于对所述句子对应的译文和取出了所述句子的句子集合进行相似度匹配计算；判断模块，用于若匹配到某个句子与所述句子对应的译文之间的相似度达到预设阈值，则确定匹配到的句子与所述句子为一组双语对齐语料。其中，所述相似度匹配模块具体用于：基于余弦相似度对所述句子对应的译文和取出了所述句子的句子集合进行相似度匹配计算。其中，还包括：删除模块，用于若确定取出了所述句子的句子集合中的每个句子与所述句子对应的译文之间的相似度均未达到预设阈值，则删除所述句子。其中，还包括：对齐语料库生成模块，用于构建双语对齐语料库，将匹配到的句子与所述句子加入至所述双语对齐语料库中。第三方面，本专利技术实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所提供的大规模语料清洗对齐方法的步骤。第四方面，本专利技术实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所提供的大规模语料清洗对齐方法的步骤。本专利技术实施例提供的大规模语料清洗对齐方法及装置，无须花费大量人力，计算复杂度低、准确率高，能够自动地对大规模语料进行清洗对齐。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的大规模语料清洗对齐方法的流程示意图；图2为本专利技术实施例提供的大规模语料清洗对齐装置的结构示意图；图3为本专利技术实施例提供的电子设备的实体结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。如图1所示，为本专利技术实施例提供的大规模语料清洗对齐方法的流程示意图，包括：步骤100、对历史稿件进行解析和分句，获得句子集合；具体地，对各种类型的历史稿件进行解析，获得文本语料，然后对所述文本语料进行分句，获得由句子组成的集合，即形成句子集合。步骤101、取出所述句子集合中的任意一个句子进行语种识别，并并调用与语种识别结果相对应的机器翻译引擎对所述句子进行翻译，获得所述句子对应的译文；具体地，取出所述句子集合中的任意一个句子，然后首先对该句子进行语种识别，再利用与该句子的语种识别结果相对应的机器翻译引擎对该句子进行翻译，获得该句子对应的译文。步骤102、对所述句子对应的译文和取出了所述句子的句子集合进行相似度匹配计算；具体地，从取出了该句子的句子集合中匹配出与该句子对应的译文最相似的句子。具体通过逐一从取出了该句子的句子集合中提取出一个句子，与该句子对应的译文进行相似度匹配计算。例如，若句子集合包含了N个句子，则取出了该句子的句子集合还剩下N-1个句子，那么，将这N-1个句子逐一与该句子进行相似度匹配计算。步骤103、若匹配到某个句子与所述句子对应的译文之间的相似度达到预设阈值，则确定匹配到的句子与所述句子为一组双语对齐语料。具体地，根据相似度匹配计算的结果，确定句子集合中是否存在某个句子与该句子对应的译文之间的相似度达到、甚至是高于预先设定的阈值，若存在，则匹配到一个句子，与该句子能够组成一组双语对齐语料。然后取出所述句子集合中剩下的N-2个句子中的任意一个句子，执行如上步骤101至103，直至所述句子集合为空。本专利技术实施例提供的大规模语料清洗对齐方法，无须花费大量人力，计算复杂度低、准确率高，能够自动地对大规模语料进行清洗对齐。基于上述实施例的内容，对所述句子对应的译文和取出了所述句子的句子集合进行相似度匹配计算，具体为：基于余弦相似度对所述句子对应的译文和取出了所述句子的句子集合进行相似度匹配计算。具体地，余弦相似度计算方法用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小，差异越小，余弦值越大。本专利技术实施例中利用余弦相似度来衡量两个句子之间的相似度，即基于余弦相似度对所述句子对应的译文和取出了所述句子的句子集合进行相似度匹配计算。余弦相似度计算方法简单、易本文档来自技高网...

【技术保护点】
1.一种大规模语料清洗对齐方法，其特征在于，包括：/n对历史稿件进行解析和分句，获得句子集合；/n取出所述句子集合中的任意一个句子进行语种识别，并调用与语种识别结果相对应的机器翻译引擎对所述句子进行翻译，获得所述句子对应的译文；/n对所述句子对应的译文和取出了所述句子的句子集合进行相似度匹配计算；/n若匹配到某个句子与所述句子对应的译文之间的相似度达到预设阈值，则确定匹配到的句子与所述句子为一组双语对齐语料。/n

【技术特征摘要】
1.一种大规模语料清洗对齐方法，其特征在于，包括：
对历史稿件进行解析和分句，获得句子集合；
取出所述句子集合中的任意一个句子进行语种识别，并调用与语种识别结果相对应的机器翻译引擎对所述句子进行翻译，获得所述句子对应的译文；
对所述句子对应的译文和取出了所述句子的句子集合进行相似度匹配计算；
若匹配到某个句子与所述句子对应的译文之间的相似度达到预设阈值，则确定匹配到的句子与所述句子为一组双语对齐语料。


2.根据权利要求1所述的大规模语料清洗对齐方法，其特征在于，对所述句子对应的译文和取出了所述句子的句子集合进行相似度匹配计算，具体为：
基于余弦相似度对所述句子对应的译文和取出了所述句子的句子集合进行相似度匹配计算。


3.根据权利要求1所述的大规模语料清洗对齐方法，其特征在于，对所述句子对应的译文和取出了所述句子的句子集合进行相似度匹配计算之后，还包括：
若确定取出了所述句子的句子集合中的每个句子与所述句子对应的译文之间的相似度均未达到预设阈值，则删除所述句子。


4.根据权利要求1所述的大规模语料清洗对齐方法，其特征在于，所述确定匹配到的句子与所述句子为一组双语对齐语料之后，还包括：
构建双语对齐语料库，将匹配到的句子与所述句子加入至所述双语对齐语料库中。


5.一种大规模语料清洗对齐装置，其特征在于，包括：
解析模块，用于对历史稿件进行解析和分句，获得句子集合；
翻译模块，用于取出所述句子...

【专利技术属性】
技术研发人员：袁建，
申请(专利权)人：语联网武汉信息技术有限公司，
类型：发明
国别省市：湖北;42