大规模语料清洗对齐方法及装置制造方法及图纸

本发明专利技术实施例提供一种大规模语料清洗对齐方法及装置，所述方法包括：对历史稿件进行解析和分句，获得句子集合；取出所述句子集合中的任意一个句子进行语种识别，并调用与语种识别结果相对应的机器翻译引擎对所述句子进行翻译，获得所述句子对应的译文；对所述句子对应的译文和取出了所述句子的句子集合进行相似度匹配计算；若匹配到某个句子与所述句子对应的译文之间的相似度达到预设阈值，则确定匹配到的句子与所述句子为一组双语对齐语料。本发明专利技术实施例提供的大规模语料清洗对齐方法及装置，无须花费大量人力，计算复杂度低、准确率高，能够自动地对大规模语料进行清洗对齐。

Large scale corpus cleaning alignment method and device

【技术实现步骤摘要】
大规模语料清洗对齐方法及装置
本专利技术涉及机器翻译
，更具体地，涉及一种大规模语料清洗对齐方法及装置。
技术介绍
随着翻译技术的发展，机器翻译被广泛地使用，产生了大量的翻译语料。但是，目前翻译行业很多项目采取Word、Excel、PDF、PPT、TEXT等文件做为翻译载体，积累了大量语料，且相关语料中原文、译文文件无法匹配对应，而解析对齐这些语料将形成巨大数字资产，为后续相关业务提供支撑。传统的语料对齐方案，要么基于长度对齐方法，要么基于词汇对齐方法，均需要花费大量人力，计算复杂度高、准确率低。因此，亟需提供一种无须花费大量人力，计算复杂度低、准确率高的对大规模语料进行清洗对齐的方法。
技术实现思路
本专利技术实施例提供一种克服上述问题或者至少部分地解决上述问题的大规模语料清洗对齐方法及装置。第一方面，本专利技术实施例提供一种大规模语料清洗对齐方法，包括：对历史稿件进行解析和分句，获得句子集合；取出所述句子集合中的任意一个句子进行语种识别，并调用与语种识别结果相对应的机器翻译引擎对所述本文档来自技高网...

【技术保护点】
1.一种大规模语料清洗对齐方法，其特征在于，包括：/n对历史稿件进行解析和分句，获得句子集合；/n取出所述句子集合中的任意一个句子进行语种识别，并调用与语种识别结果相对应的机器翻译引擎对所述句子进行翻译，获得所述句子对应的译文；/n对所述句子对应的译文和取出了所述句子的句子集合进行相似度匹配计算；/n若匹配到某个句子与所述句子对应的译文之间的相似度达到预设阈值，则确定匹配到的句子与所述句子为一组双语对齐语料。/n

【技术特征摘要】
1.一种大规模语料清洗对齐方法，其特征在于，包括：
对历史稿件进行解析和分句，获得句子集合；
取出所述句子集合中的任意一个句子进行语种识别，并调用与语种识别结果相对应的机器翻译引擎对所述句子进行翻译，获得所述句子对应的译文；
对所述句子对应的译文和取出了所述句子的句子集合进行相似度匹配计算；
若匹配到某个句子与所述句子对应的译文之间的相似度达到预设阈值，则确定匹配到的句子与所述句子为一组双语对齐语料。


2.根据权利要求1所述的大规模语料清洗对齐方法，其特征在于，对所述句子对应的译文和取出了所述句子的句子集合进行相似度匹配计算，具体为：
基于余弦相似度对所述句子对应的译文和取出了所述句子的句子集合进行相似度匹配计算。


3.根据权利要求1所述的大规模语料清洗对齐方法，其特征在于，对所述句子对应的译文和取出了所述句子的句子集合进行相似度匹配计算之后，还包括：
若确定取出了所述句子的句子集合中的每个句子与所述句子对应的译文之间的相似度均未达到预设阈值，则删除所述句子。


4.根据权利要求1所述的大规模语料清洗对齐方法，其特征在于，所述确定匹配到的句子与所述句子为一组双语对齐语料之后，还包括：
构建双语对齐语料库，将匹配到的句子与所述句子加入至所述双语对齐语料库中。


5.一种大规模语料清洗对齐装置，其特征在于，包括：
解析模块，用于对历史稿件进行解析和分句，获得句子集合；
翻译模块，用于取出所述句子...

【专利技术属性】
技术研发人员：袁建，
申请(专利权)人：语联网武汉信息技术有限公司，
类型：发明
国别省市：湖北;42