一种基于自然语言处理的内容审核系统技术方案

本发明专利技术公开了一种基于自然语言处理的内容审核系统，涉及文本审核领域，包括：知识库；文本导入单元；识别单元；数据预处理单元；审核单元，所述审核单元包括分类审核对比模块、复核模块和判断模块；该基于自然语言处理的内容审核系统，通过分类审核对比模块对文本进行审核并输出审核结果，复核模块对审核结果进行复核，确定审核结果是否准确，判断模块根据分类审核对比模块和复核模块的审核结果判断分类审核对比模块对文本进行审核的准确率，复核模块和判断模块将分类审核对比模块对文本进行审核的存在的问题和准确率传输给机器学习单元，使机器学习单元根据问题继续针对性的学习，从而提高分类审核对比模块后续对文本进行审核的准确率。审核的准确率。审核的准确率。

【技术实现步骤摘要】
一种基于自然语言处理的内容审核系统


[0001]本专利技术涉及文本审核技术，具体涉及一种基于自然语言处理的内容审核系统。

技术介绍

[0002]随着5G网络的发展，包括文本、语音、视频甚至AR/VR等丰富形式的信息传播更加便捷和迅速，而通过数字阅读方式了解信息的用户数量大量增加：根据相关数据研究机构发布的报告，我国数字阅读用户达7.4亿，相较于前年增长了1.4个百分点，与此同时，大数据时代下数据内容良莠不齐的情况频出，如何检测不良信息并保留精品内容，是数字出版工作的内容审核部分面临的挑战，另一方面，自然语言处理技术是研究人与机器间进行通信交流的一门技术，是人工智能和机器学习领域应用的热点方向，其中，语音识别、语义分析、文本摘要等算法常常应用于文本分类、信息过滤与信息检索等系统应用。
[0003]现有的语言内容审核部分是人工审核的，人工审核耗时耗力，还会随着个人的评判标准不同出现偏差和争议，随着需要进行内容审核的文本大量产生，传统的审核方式已经无法满足需求，因此提高语言内容审核的效率是急需解决的问题，但是在提高审核效率的基础上需要提高审核本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自然语言处理的内容审核系统，其特征在于，包括：知识库；文本导入单元，其用于导入不同格式的文本进行审核；识别单元，其与所述文本导入单元连接，用于对不同主题的文本进行分类，得到不同类型的文本；数据预处理单元，其与识别单元连接，用于对不同分类文本类型进行逐一预处理，所述数据预处理单元包括过滤模块和特征提取模块，所述过滤模块用于将不同类型文本中存在的重复文本内容剔除，所述特征提取模块用于提取不同类型文本中较为敏感的词汇和图形、以便于后续对该文本进行重点审核；审核单元，其与数据预处理单元连接，用于对不同类型的文本进行逐一审核，所述审核单元包括分类审核对比模块、复核模块和判断模块，所述分类审核对比模块用于对各文本内容进行理解，并与知识库中的内容进行比对，最后输出审核结果，所述复核模块对审核结果进行复核，确定审核结果是否准确，所述判断模块根据分类审核对比模块和复核模块的审核结果判断分类审核对比模块对文本进行审核的准确率；机器学习单元，其分别与识别单元、数据预处理单元、审核单元和知识库连接。2.根据权利要求1所述的一种基于自然语言处理的内容审核系统，其特征在...

【专利技术属性】
技术研发人员：孙锡波，谢晓尧，郑欣，
申请(专利权)人：贵州师范大学，
类型：发明
国别省市：