基于BERT模型和增强混合神经网络的不实信息检测方法技术

本发明专利技术公开了基于BERT模型和增强混合神经网络的不实信息检测方法，包括：对待检测文本进行预处理；使用CNN网络对输入矩阵进行卷积、池化操作，拼接成特征序列；将特征序列作为BiLSTM网络的输入，分别利用前向LSTM单元、后向LSTM单元从前向、后向两个方向全面捕捉文本深层次的语义特征；利用注意力层生成含有注意力分布的语义编码，优化特征向量；利用输出层的分类器完成特征向量的分类检测，判断是否为不实信息。本发明专利技术结合了CNN、BiLSTM及注意力机制，不实信息检测精度高，不仅可以提取不实信息文本的局部短语特征和全局上下文特征，还可以提取出文本关键词，减少无关信息对检测结果的不合理影响。

【技术实现步骤摘要】
基于BERT模型和增强混合神经网络的不实信息检测方法
本专利技术属于文本检测识别领域，具体涉及一种基于BERT模型和增强混合神经网络的不实信息检测方法。
技术介绍
随着互联网技术飞速发展，网络不实信息肆意横行，网络不实信息传播影响正常社会秩序，扰乱社会治安，有效并快速检测网络不实信息并抑制其传播至关重要。近些年，网络揭发不实信息平台多依赖各领域专家鉴别不实信息，消耗大量人力、时间，难以保证检测准确度且检测时间较长，因此构建自动不实信息检测系统具有很强的现实意义。基于传统机器学习的不实信息检测算法特征工程繁琐，因此多数研究者们着重于研究基于深度学习的不实信息检测算法，但现存的基于深度学习不实信息检测算法忽略了对不实信息文本中的多义词的区分表达，且多数采用单一的深度神经网络，无法聚合不同类型深度神经网络的优点，导致检测效果不理想。
技术实现思路
本专利技术的目的是针对上述问题，提供一种基于BERT模型和增强混合神经网络的不实信息检测方法，先用BERT模型根据具体的上下文语义动态调整字或词的嵌入表达以增强多义词的向量表示，本文档来自技高网...

【技术保护点】
1.基于BERT模型和增强混合神经网络的不实信息检测方法，其特征在于，利用增强混合神经网络的不实信息检测模型进行不实信息检测，不实信息检测模型包括依次连接的CNN网络、BiLSTM网络、注意力层和输出层，所述不实信息检测方法包括以下步骤，/n步骤1：对待检测文本进行预处理；/n步骤2：使用CNN网络对输入矩阵进行卷积、池化操作，拼接成特征序列；/n步骤3：将特征序列作为BiLSTM网络的输入，分别利用前向LSTM单元、后向LSTM单元从前向、后向两个方向全面捕捉文本深层次的语义特征；/n步骤4：利用注意力层生成含有注意力分布的语义编码，优化特征向量；/n步骤5：利用输出层的分类器完成特征向量的...

【技术特征摘要】
1.基于BERT模型和增强混合神经网络的不实信息检测方法，其特征在于，利用增强混合神经网络的不实信息检测模型进行不实信息检测，不实信息检测模型包括依次连接的CNN网络、BiLSTM网络、注意力层和输出层，所述不实信息检测方法包括以下步骤，
步骤1：对待检测文本进行预处理；
步骤2：使用CNN网络对输入矩阵进行卷积、池化操作，拼接成特征序列；
步骤3：将特征序列作为BiLSTM网络的输入，分别利用前向LSTM单元、后向LSTM单元从前向、后向两个方向全面捕捉文本深层次的语义特征；
步骤4：利用注意力层生成含有注意力分布的语义编码，优化特征向量；
步骤5：利用输出层的分类器完成特征向量的分类检测，判断是否为不实信息。


2.根据权利要求1所述的基于BERT模型和增强混合神经网络的不实信息检测方法，其特征在于，步骤1中，所述对待检测文本进行预处理，包括数据清洗、数据标注、过滤停用词和分字处理，还包括利用BERT模型对文本进行处理。


3.根据权利要求2所述的基于BERT模型和增强混合神经网络的不实信息检测方法，其特征在于，所述利用BERT模型对文本进行处理包括编码阶段和生成向量阶段：编码阶段，通过查询词典将文本中的...

【专利技术属性】
技术研发人员：但志平，梁兆君，张骁，
申请(专利权)人：三峡大学，
类型：发明
国别省市：湖北;42