一种面向内容安全的自动化检测方法和系统技术方案

技术编号:40055273 阅读:23 留言:0更新日期:2024-01-16 21:50
本发明专利技术公开了一种面向内容安全的自动化检测方法和系统,基本模块包括:信心分类模块、自适应算法模块、上下文提取模块以及风险控制模块;通过信心分类模块对词库进行初始化,同时接收一个风险因素,以便动态调整信心值完成自学习全流程;针对不同文本长度通过自适应选择算法模块进入不同的分支进行处理,以达到最大的资源利用率;在达成第一次敏感词命中后,上下文提取模块接入,通过Regular表达式提取附近上下文,以在复核语义时快速定位到错误点,同时复核的结果反哺给风险控制模块,通过风险控制算法自学习调整风险等级。本发明专利技术不仅大幅提高了检测速度并达到最优的资源利用率,实现高效的内容检测,还节约了成本。

【技术实现步骤摘要】

本专利技术涉及内容安全,尤其涉及一种面向内容安全的自动化检测方法和系统


技术介绍

1、在数字化时代,人们对互联网信息的依赖程度不断增加,内容安全已成为互联网企业标配风控项。目前针对内容安全的检查方法相对传统,基本都使用暴力匹配的方法,使用错别字词库通过暴力hash的方式将存在命中的文本信息进行提取,再通过人工进行二次审核,其缺点非常明显:一是错别字字典和正文内容通过暴力匹配的检索速度较慢,文本内容越长,此缺点越明显;二是文本内容的暴力匹配会使资源占用率过高,浪费大量的算力和硬件资源;三是二次审核成本高,目前严格实施内容发布审核制度,坚持分级分类审核、先审后发,人力资源成本过高,加上人工检测效率的低下,使得内容安全检测的总成本非常高,很少有系统所有者愿意支付高昂的费用,导致内容安全问题无法得到根本的解决。


技术实现思路

1、针对现有的内容安全检测手段存在单一化、效率低、误判率高、成本高等问题,提出了一种面向内容安全的自动化检测方法和系统,考虑到大文本量、上下文提取、高效检测等要求,采用融合算法,针对不同数据量本文档来自技高网...

【技术保护点】

1.一种面向内容安全的自动化检测方法,其特征在于,所述方法包括:

2.根据权利要求1所述的一种面向内容安全的自动化检测方法,其特征在于,所述根据检测目标内容的正文长度n自适应选择算法在正文中进行检索,具体包括:

3.根据权利要求2所述的一种面向内容安全的自动化检测方法,其特征在于,所述Rabin-Karp算法具体包括:

4.根据权利要求2所述的一种面向内容安全的自动化检测方法,其特征在于,R值与substr之间的映射关系中,substr是唯一的,R值能够被substr重复绑定。

5.一种面向内容安全的自动化检测系统,其特征在于,所述系统包括...

【技术特征摘要】

1.一种面向内容安全的自动化检测方法,其特征在于,所述方法包括:

2.根据权利要求1所述的一种面向内容安全的自动化检测方法,其特征在于,所述根据检测目标内容的正文长度n自适应选择算法在正文中进行检索,具体包括:

3.根据权利要求2所述的一种面向内容安全的自动化检测方法,其特征在于,所述rabin-karp算法具体包括:

4.根据权利要求2所述的一种面向内容安全的自动化检测方法,其特征在于,r值与substr之间的映射关系中,substr是唯一的,r值能够被substr重复绑定。

5.一种面向内容安全的自动化检测系统,其特征在于,所述系统包括:

6.根据权利要求5所述的一种面向内容安全的自动化检测系统,其特征在于,自适应算法模块中,所述对应的算法模块包括暴力匹配模块和rabin-karp算法模块;当所述时间复杂度小于rabin-karp算法的时间...

【专利技术属性】
技术研发人员:葛大蔚刘德志
申请(专利权)人:江苏君立华域信息安全技术股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1