一种汉盲转换方法及系统技术方案

本发明专利技术公开了一种汉盲转换方法及系统，包括以下步骤：获取汉盲文本数据，并对汉盲文本数据进行预处理，获得数据集；基于预训练BERT模型以及Transformer模型，构建BesTransformer模型；基于数据集以及BesTransformer模型，获得BesTransformer汉盲转换模型；基于BesTransformer汉盲转换模型，实现对待转换文本的汉盲转换。本发明专利技术通过自注意力机制将预训练处理后数据进行融合，能够有效提高汉盲转换准确率。效提高汉盲转换准确率。效提高汉盲转换准确率。

【技术实现步骤摘要】
一种汉盲转换方法及系统


[0001]本专利技术属于自然语言处理
，具体涉及一种汉盲转换方法及系统。

技术介绍

[0002]Transformer是一种使用自注意力机制的序列到序列模型，由Google于2017年提出，被广泛应用于自然语言处理领域，Transformer模型取代了传统的循环神经网络(RNN)和卷积神经网络(CNN)，是第一个完全依赖自注意力机制实现编码和解码的转换模型。
[0003]BERT是一种基于Transformer架构的预训练模型，全称Bidirectional Encoder Representations from Transformers，它由Google的研究人员于2018年提出，并在自然语言处理领域取得了重大突破。
[0004]本专利技术利用自注意力机制将Bert源语言预训练模型融合到Transformer编码器中，提出BesTransformer汉盲转换模型。

技术实现思路

[0005]本专利技术旨在解决现有技术的不足，提出一种汉盲转换方法及系统，提高汉盲转换性能以及准确率。
[0006]为实现上述目的，本专利技术提供了如下方案：
[0007]一种汉盲转换方法，包括以下步骤：
[0008]获取汉盲文本数据，并对所述汉盲文本数据进行预处理，获得数据集；
[0009]基于预训练BERT模型以及Transformer模型，构建BesTransformer模型；
[0010]基于所述数据集以及所述BesTransformer模型，获得BesTransformer汉盲转换模型；
[0011]基于所述BesTransformer汉盲转换模型，实现对待转换文本的汉盲转换。
[0012]优选的，所述预处理的方法为：
[0013]计算所述汉盲文本数据中中文句子的最大长度以及盲文句子的最大长度，进行句子最大长度的确定；
[0014]在确定所述最大长度的所述中文句子以及所述盲文句子的起始位置分别增添特定标记；
[0015]遍历中文文本，创建汉语字典；遍历盲文文本，创建盲文ASCII码字典；
[0016]基于所述汉语字典，将增添完特定标记的中文句子转换为汉字数字表示，基于所述盲文ASCII码字典，将增添完特定标记的盲文句子转换为盲文数字表示，实现字典转换；
[0017]将完成字典转换的所述汉盲文本数据，分为训练集以及测试集。
[0018]优选的，述BesTransformer汉盲转换模型包括BERT模型、编码器以及解码器；
[0019]所述BERT模型包括输入嵌入层、Transformer编码器堆叠、Masked语言建模层、下一句预测层以及输出层；
[0020]所述编码器部分包括BERT
‑
Enc Attention层、自注意力层以及前馈神经网络层；
[0021]所述解码器部分包括自注意力层、Enc
‑
Dec Attention层以及前馈神经网络层。
[0022]优选的，对待转换文本的汉盲转换的方法为：
[0023]输入源语言待转换文本，即汉语文本，基于所述BERT模型，编码获得源语言BERT特征表示；
[0024]将所述源语言BERT特征表示，输入到所述编码器，将所述BERT
‑
Enc Attention层和所述自注意力层取平均，进行所述源语言BERT特征表示和注意力的融合，融合结果经前馈神经网络层，获得编码器输出结果；
[0025]将所述编码器输出结果输入解码器的自注意力层进行迭代，基于线性映射以及softmax，获得最终转换结果，实现汉盲转换。
[0026]本专利技术还提出一种汉盲转换系统，包括：预处理模块、模型构建模块、模型训练模块以及汉盲转换模块
[0027]所述预处理模块，用于获取汉盲文本数据，并对所述汉盲文本数据进行预处理，获得数据集；
[0028]所述模型构建模块，用于基于预训练BERT模型以及Transformer模型，构建BesTransformer模型；
[0029]所述模型训练模块，用于基于所述数据集以及所述BesTransformer模型，获得BesTransformer汉盲转换模型；
[0030]所述汉盲转换模块，用于基于所述BesTransformer汉盲转换模型，实现对待转换文本的汉盲转换。
[0031]优选的，所述预处理模块包括：句子长度确定单元、标记增添单元、字典创建单元、字典转换单元以及数据集生成单元；
[0032]所述句子长度确定单元，用于计算所述汉盲文本数据中中文句子的最大长度以及盲文句子的最大长度，进行句子最大长度的确定；
[0033]所述标记增添单元，用于在确定所述最大长度的所述中文句子以及所述盲文句子的起始位置分别增添特定标记；
[0034]所述字典创建单元，用于遍历中文文本，创建汉语字典；遍历盲文文本，创建盲文ASCII码字典；
[0035]所述字典转换单元，用于基于所述汉语字典，将增添完特定标记的中文句子转换为汉字数字表示，基于所述盲文ASCII码字典，将增添完特定标记的盲文句子转换为盲文数字表示，实现字典转换；
[0036]所述数据集生成单元，用于将完成字典转换的所述汉盲文本数据，分为训练集以及测试集。
[0037]优选的，所述BesTransformer汉盲转换模型包括BERT模型、编码器以及解码器；
[0038]所述BERT模型包括输入嵌入层、Transformer编码器堆叠、Masked语言建模层、下一句预测层以及输出层；
[0039]所述编码器部分包括BERT
‑
Enc Attention层、自注意力层以及前馈神经网络层；
[0040]所述解码器部分包括自注意力层、Enc
‑
Dec Attention层以及前馈神经网络层。
[0041]优选的，所述汉盲转换模块包括BERT模型单元、编码器单元以及解码器单元；
[0042]所述BERT模型单元，用于输入源语言待转换文本，即汉语文本，基于所述BERT模
型，编码获得源语言BERT特征表示；
[0043]所述编码器单元，用于将所述源语言BERT特征表示，输入到所述编码器，将所述BERT
‑
Enc Attention层和所述自注意力层取平均，进行所述源语言BERT特征表示和注意力的融合，融合结果经前馈神经网络层，获得编码器输出结果；
[0044]所述解码器单元，用于将所述编码器输出结果输入解码器的自注意力层进行迭代，基于线性映射以及softmax，获得最终转换结果，实现汉盲转换。
[0045]与现有技术相比，本专利技术的有益效果为：BERT模型采用了双向语言模型，通过对输入的文本进行编码，并在编码过程中双向预测上下文信息，使得模型能够更好地理解上下文，因此在理解句子中的含义时表现更为准确。本专利技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种汉盲转换方法，其特征在于，包括以下步骤：获取汉盲文本数据，并对所述汉盲文本数据进行预处理，获得数据集；基于预训练BERT模型以及Transformer模型，构建BesTransformer模型；基于所述数据集以及所述BesTransformer模型，获得BesTransformer汉盲转换模型；基于所述BesTransformer汉盲转换模型，实现对待转换文本的汉盲转换。2.根据权利要求1所述的汉盲转换方法，其特征在于，所述预处理的方法为：计算所述汉盲文本数据中中文句子的最大长度以及盲文句子的最大长度，进行句子最大长度的确定；在确定所述最大长度的所述中文句子以及所述盲文句子的起始位置分别增添特定标记；遍历中文文本，创建汉语字典；遍历盲文文本，创建盲文ASCII码字典；基于所述汉语字典，将增添完特定标记的中文句子转换为汉字数字表示，基于所述盲文ASCII码字典，将增添完特定标记的盲文句子转换为盲文数字表示，实现字典转换；将完成字典转换的所述汉盲文本数据，分为训练集以及测试集。3.根据权利要求1所述的汉盲转换方法，其特征在于，所述BesTransformer汉盲转换模型包括BERT模型、编码器以及解码器；所述BERT模型包括输入嵌入层、Transformer编码器堆叠、Masked语言建模层、下一句预测层以及输出层；所述编码器部分包括BERT
‑
Enc Attention层、自注意力层以及前馈神经网络层；所述解码器部分包括自注意力层、Enc
‑
Dec Attention层以及前馈神经网络层。4.根据权利要求3所述的汉盲转换方法，其特征在于，对待转换文本的汉盲转换的方法为：输入源语言待转换文本，即汉语文本，基于所述BERT模型，编码获得源语言BERT特征表示；将所述源语言BERT特征表示，输入到所述编码器，将所述BERT
‑
Enc Attention层和所述自注意力层取平均，进行所述源语言BERT特征表示和注意力的融合，融合结果经前馈神经网络层，获得编码器输出结果；将所述编码器输出结果输入解码器的自注意力层进行迭代，基于线性映射以及softmax，获得最终转换结果，实现汉盲转换。5.一种汉盲转换系统，其特征在于，包括：预处理模块、模型构建模块、模型训练模块以及汉盲转换模块所述预处理模块，用于获取汉盲文本数据，并对所述汉盲文本数据进行预处理，获得数据集；所述模型构建模块，用于基于预训练BERT模型以及T...

【专利技术属性】
技术研发人员：苏伟，王蕊，马志新，魏永红，张璟，张昊，
申请(专利权)人：兰州大学，
类型：发明
国别省市：