一种基于BERT与CNN层级连接的中文文本分类方法技术

本发明专利技术涉及一种基于BERT与CNN层级连接的中文文本分类的方法，主要用于解决中文文本的情感分析、核心句子识别、关系识别等文本分类问题。本发明专利技术中使用CNN模型与BERT模型进行层级连接，得到新的模型BERT‑CNN。BERT‑CNN模型由于加入CNN模型，可以对BERT模型提取到的句子特征进一步提取，获得更加有效的句子语义表示。因此，在文本分类任务中，可以获得更好的分类效果。

A Chinese text classification method based on the hierarchical connection between Bert and CNN

【技术实现步骤摘要】
一种基于BERT与CNN层级连接的中文文本分类方法
本专利技术属于自然语言处理
，特别涉及一种基于深度学习模型BERT与CNN层级连接的中文文本分类方法。
技术介绍
随着经济和互联网的高速发展，越来越多的人会选择在网上发表各种言论。面对网络上大量的文本数据，如何高效的从这些数据中获得有使用价值的数据成为研究热点。问答机器人、搜索、机器翻译以及情感分析这些都是自然语言处理的关键应用领域，而这些技术都离不开文本分类技术，文本分类技术是这些技术的基础。正是因为文本分类技术是一项基础，对它的精确度要求也就较高。因此，这些年来，文本分类技术一直是一项研究热点也是一个难点。随着机器学习、深度学习等领域的高速发展，文本分类再也不用依赖于耗时耗力的人工，从而转向自动文本分类技术。并且随着正确率的不断提升，在情感分析、垃圾文本识别上已经得到了广泛的应用。但是，还存在一些领域效果不佳，比如违法广告识别等以及情感分析和垃圾文本识别领域还迫切需要更高的准确率。目前，文本分类技术中深度学习技术取得的效果较好，但是深度学习技术的效果依赖于对句子的语义本文档来自技高网...

【技术保护点】
1.一种基于BERT与CNN层级连接的中文文本分类方法，其特征在于，包括以下步骤：/n步骤1、通过大量公开的中文文本数据集对BERT模型进行预训练，得到BERT模型中的所有的参数并保存，BERT模型由12层transformer编码器构成；/n步骤2、使用CNN模型与BERT模型进行层级连接，进行层级连接时，将BERT模型12层结构中每一层的第一个位置的输出作为CNN模型的输入，输入的宽度为12，得到BERT-CNN模型，在BERT-CNN模型中，宽度为12的输入矩阵经过CNN模型进行卷积和最大池化操作得到新的更加有效的句子语义特征向量，然后将这个句子语义特征向量输入一个全连接层，最后再经过分...

【技术特征摘要】
1.一种基于BERT与CNN层级连接的中文文本分类方法，其特征在于，包括以下步骤：
步骤1、通过大量公开的中文文本数据集对BERT模型进行预训练，得到BERT模型中的所有的参数并保存，BERT模型由12层transformer编码器构成；
步骤2、使用CNN模型与BERT模型进行层级连接，进行层级连接时，将BERT模型12层结构中每一层的第一个位置的输出作为CNN模型的输入，输入的宽度为12，得到BERT-CNN模型，在BERT-CNN模型中，宽度为12的输入矩阵经过CNN模型进行卷积和最大池化操作得到新的更加有效的句子语义特征向量，然后将这个句子语义特征向量输入一个全连接层，最后再经过分类器；
步骤3、对BERT模型部分的参数进行初始化，初始化的参数值即之前预训练得到的参数，而CNN模型部分的参数初始化采用满足正态分布随机产生；
步骤4、对分类训练集进行数据预处理；
步骤5、通过预处理过的数据集再训练BERT-CNN模型。


2.如权利要求1所述的一种基于BERT与CNN层级连接的中文文本分类方法，其特征在于，步骤1中，对BERT模型进行预训练的中文文本数据集包括句子内部预测训练集以及句子对是否连续训练集，其中：
句子内部预测训练...

【专利技术属性】
技术研发人员：马强，赵鸣博，孔维健，王晓峰，孙嘉瞳，邓开连，
申请(专利权)人：东华大学，
类型：发明
国别省市：上海;31