一种基于卷积神经网络的BERT模型的微调方法及系统技术方案

本发明专利技术公开了一种基于卷积神经网络的BERT模型的微调方法及系统，包括识别文本获取模块、文本识别模块、分词处理模块、词性词语模块、词语筛选模块、微调模块、词性向量模块、语句词性向量构建模块与电子设备模块，所述识别文本获取模块连接文本识别模块的位置，所述文本识别模块连接分词处理模块的位置，所述分词处理模块连接词性词语模块的位置，所述词性词语模块连接词语筛选模块的位置，所述词语筛选模块连接微调模块的位置，所述微调模块连接语句词性向量构建模块的位置。本发明专利技术所述的一种基于卷积神经网络的BERT模型的微调方法及系统，新的BERT模型对容易出现有歧义的语句的识别更加精确，提高了BERT模型的识别准确度。提高了BERT模型的识别准确度。提高了BERT模型的识别准确度。

【技术实现步骤摘要】
一种基于卷积神经网络的BERT模型的微调方法及系统


[0001]本专利技术涉及神经网络
，特别涉及一种基于卷积神经网络的BERT模型的微调方法及系统。

技术介绍

[0002]基于卷积神经网络的BERT模型的微调方法是一种进行神经网络技术微调的方案，BERT模型是近年来自然语言处理(NLP)领域的热门研究领域之一，BERT模型的训练主要分为两个阶段，在预训练(pre
‑
trained)阶段，基于海量数据优化模型参数，学习到通用的语言表示，而在微调(fine
‑
tuned)阶段，基于具体的下游任务重新微调模型参数，从而提高具体NLP任务的精确率，随着科技的不断发展，人们对于基于卷积神经网络的BERT模型的微调方法的要求也越来越高。
[0003]BERT(Bidirectional Encoder Representations from Transformers，双向注意力神经网络模型)模型，BERT模型中的特征抽取使用的是Transformer，比LSTM具有更强的特征抽取能力，其中BERT使用MLM(MaskLanguage Model)的方式使得Transformer的encoder实现了融合双向特征。
[0004]现有的基于卷积神经网络的BERT模型的微调方法在使用时存在一定的弊端，对于有些有歧义的语料，BERT模型通过大规模无标注语料库的预训练后以及后续的微调过程中仍无法精确识别，为此，我们提出一种基于卷积神经网络的BERT模型的微调方法及系统。
>
技术实现思路

[0005](一)解决的技术问题
[0006]针对现有技术的不足，本专利技术提供了一种基于卷积神经网络的BERT模型的微调方法及系统，新的BERT模型对容易出现有歧义的语句的识别更加精确，提高了BERT模型的识别准确度，可以有效解决
技术介绍
中的问题。
[0007](二)技术方案
[0008]为实现上述目的，本专利技术采取的技术方案为：一种基于卷积神经网络的BERT模型的微调系统，包括识别文本获取模块、文本识别模块、分词处理模块、词性词语模块、词语筛选模块、微调模块、词性向量模块、语句词性向量构建模块与电子设备模块，所述识别文本获取模块连接文本识别模块的位置，所述文本识别模块连接分词处理模块的位置，所述分词处理模块连接词性词语模块的位置，所述词性词语模块连接词语筛选模块的位置，所述词语筛选模块连接微调模块的位置，所述微调模块连接语句词性向量构建模块的位置，所述语句词性向量构建模块连接词性向量模块的位置。
[0009]作为本申请一种优选的技术方案，所述词性词语模块包括词性匹配单元与组合单元，所述微调模块包括语句提取单元、义原查找单元、义原向量单元、微调单元，所述微调单元包括相连拼接子单元与BERT模型微调子单元。
[0010]作为本申请一种优选的技术方案，所述电子设备模块包括存储器、处理器、通信接
口，所述存储器、处理器、通信接口均连接有通信总线。
[0011]作为本申请一种优选的技术方案，所述识别文本获取模块的输出端与文本识别模块的输入端电性连接，所述文本识别模块的输出端与分词处理模块的输入端电性连接，所述分词处理模块的输出端与词性词语模块的输入端电性连接，所述词性词语模块的输出端与词语筛选模块的输入端电性连接，所述词语筛选模块的输出端与微调模块的输入端电性连接，所述微调模块的输出端与语句词性向量构建模块的输入端电性连接，所述语句词性向量构建模块的输出端与词性向量模块的输入端电性连接。
[0012]作为本申请一种优选的技术方案，所述微调模块内部的语句提取单元提取多个歧义词语对应的语句，所述义原查找单元用于在预置的外部知识库中查找对应的语句的义原，所述义原向量单元将义原集合输入至预置的BERT模型中得到义原向量集，所述微调单元根据义原向量集对预置的BERT模型进行微调。
[0013]作为本申请一种优选的技术方案，所述存储器、处理器、通信接口相互之间直接或间接地电性连接以实现数据的传输或交互，所述存储器可以是但不限于随机存取存储器、只读存储器、可编程只读存储器、可擦除只读存储器、电可擦除只读存储器等，所述处理器可以是通用处理器，包括中央处理器、网络处理器，还可以是数字信号处理器、专用集成电路、现场可编程门阵列，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0014]一种基于卷积神经网络的BERT模型的微调方法，包括以下操作步骤：
[0015]S110：获取信息：获取待识别文本图片信息；
[0016]S120：获取文本：将待识别文本图片信息输入至预置的文本识别模型中，得到识别文本；
[0017]S130：文本处理：对识别文本中的多个语句分别进行分词处理，得到多个词语；
[0018]S140：词库组合：根据预置的词性库确定并将各个词语的词性与对应的词语进行组合，得到多个带有词性的词语；
[0019]S150：词库筛选：根据预置的歧义词库对多个带有词性的词语进行筛选，得到多个歧义词语；
[0020]S160：模型构建：根据多个歧义词语对预置的BERT模型进行微调，以得到新的BERT模型。
[0021]作为本申请一种优选的技术方案，所述S140中将各个词语在预置的词性库中进行匹配，以得到各个词语的词性，将各个词语的词性与对应的词语进行组合，得到多个带有词性的词语。
[0022](三)有益效果
[0023]与现有技术相比，本专利技术提供了一种基于卷积神经网络的BERT模型的微调方法及系统，具备以下有益效果：该一种基于卷积神经网络的BERT模型的微调方法及系统，新的BERT模型对容易出现有歧义的语句的识别更加精确，提高了BERT模型的识别准确度，通过获取待识别文本图片信息；然后将待识别文本图片信息输入至预置的文本识别模型中，得到识别文本，其中，上述预置的文本识别模型采用卷积神经网络训练得到；然后对识别文本中的多个语句分别进行分词处理，得到多个词语；然后根据预置的词性库确定并将各个词语的词性与对应的词语进行组合，得到多个带有词性的词语；然后根据预置的歧义词库对
多个带有词性的词语进行筛选，得到多个歧义词语；最后根据多个歧义词语对预置的BERT模型进行微调，以得到新的BERT模型。通过对待识别文本图片信息进行识别，在识别过程中采用了卷积神经网络识别模型，从而使得识别结果更加准确，进而筛选出识别文本中歧义语句，然后再根据歧义语句对预置的BERT模型微调，使得新的BERT模型对容易出现有歧义的语句的识别更加精确，提高了BERT模型的识别准确度，整个基于卷积神经网络的BERT模型的微调方法结构简单，操作方便，使用的效果相对于传统方式更好。
附图说明
[0024]图1为本专利技术一种基于卷积神经网络的BERT模型的微调系统的整体结构示意图。
[0025]图2为本专利技术一种基于卷积神经网络的BERT模型的微调系统中电子设备的结构示意图。
[0026]图3为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于卷积神经网络的BERT模型的微调系统，包括识别文本获取模块(100)、文本识别模块(200)、分词处理模块(300)、词性词语模块(400)、词语筛选模块(500)、微调模块(600)、词性向量模块(700)、语句词性向量构建模块(800)与电子设备模块，其特征在于：所述识别文本获取模块(100)连接文本识别模块(200)的位置，所述文本识别模块(200)连接分词处理模块(300)的位置，所述分词处理模块(300)连接词性词语模块(400)的位置，所述词性词语模块(400)连接词语筛选模块(500)的位置，所述词语筛选模块(500)连接微调模块(600)的位置，所述微调模块(600)连接语句词性向量构建模块(800)的位置，所述语句词性向量构建模块(800)连接词性向量模块(700)的位置。2.根据权利要求1所述的一种基于卷积神经网络的BERT模型的微调系统，其特征在于：所述词性词语模块(400)包括词性匹配单元(410)与组合单元(420)，所述微调模块(600)包括语句提取单元(610)、义原查找单元(620)、义原向量单元(630)、微调单元(640)，所述微调单元(640)包括相连拼接子单元(641)与BERT模型微调子单元(642)。3.根据权利要求1所述的一种基于卷积神经网络的BERT模型的微调系统，其特征在于：所述电子设备模块包括存储器(101)、处理器(102)、通信接口(103)，所述存储器(101)、处理器(102)、通信接口(103)均连接有通信总线。4.根据权利要求1所述的一种基于卷积神经网络的BERT模型的微调系统，其特征在于：所述识别文本获取模块(100)的输出端与文本识别模块(200)的输入端电性连接，所述文本识别模块(200)的输出端与分词处理模块(300)的输入端电性连接，所述分词处理模块(300)的输出端与词性词语模块(400)的输入端电性连接，所述词性词语模块(400)的输出端与词语筛选模块(500)的输入端电性连接，所述词语筛选模块(500)的输出端与微调模块(600)的输入端电性连接，所述微调模块(600)的输出端与语句...

【专利技术属性】
技术研发人员：黄茂芹，
申请(专利权)人：广东赛昉科技有限公司，
类型：发明
国别省市：