一种实现文本内容安全审核的方法及装置制造方法及图纸

本申请公开了一种实现文本内容安全审核的方法及装置，通过获取审核内容，根据内容ID确定所述审核内容是否有审核记录；如果所述审核内容的页面正常，没有审核记录则对所述审核内容进行关键词过滤；如果关键词过滤后，所述审核内容中无敏感词，则确定所述审核内容是否存在科室敏感词；如果没有科室敏感词，则拆分所述审核内容，获取拆分后内容；对所述拆分后内容进行AI审核获取审核结果，对医疗健康领域的用户提问内容和医生回答内容进行快速审核，把出现的违规或不雅的内容优先对其进行修改操作，无法修改的则采用删除操作，使得文本内容既符合审核要求，净化网站内容，也减少口语化与不雅的内容展示，使得内容更符合用户的阅读习惯。读习惯。读习惯。

【技术实现步骤摘要】
一种实现文本内容安全审核的方法及装置


[0001]本申请涉及计算机
，尤其涉及一种实现文本内容安全审核的方法及装置。

技术介绍

[0002]在健康医疗领域中，问诊平台为医生和患者提供了在线交流的平台，医生和患者在问诊平台中可以通过文字、语音或者视频等方式进行互动交流。
[0003]问诊平台接收用户自主提问的问题和医生回答的文字内容，这些文字内容的存在一定的违规风险，需要对内容全部进行审核操作。如果所有的文字内容均采用人工审核则要耗费大量的人力成本，同时在审核过程中可能出现时间过长，使得用户无法及时看到提问的内容或医生的回复，严重影响用户体验，如文字内容为“吗啡片能和其他镇痛药物一起吃吗？”。如果出现上述的分险内容，网监等监管部门发现后会发出警告，如情节严重会关闭网站。
[0004]上述的内容中，其中吗啡片是违禁药品，不允许出现相关内容，如出现相关内容需要即时删除。同时，用户均按照自身的语言习惯在平台上进行提问，会在提问过程中增加一些不雅、口语化的内容描述，这些内容均会对普通用户的阅读和医生的查看回复造成一定的困惑，需要对不雅和口语化的内容在不改变用户提问或医生回复意思的基础上实现替换操作。

技术实现思路

[0005]本申请提供了一种实现文本内容安全审核的方法及装置，以解决现有医疗健康领域文本安全审核时间长、误删率高等问题。
[0006]第一方面，为实现上述目的，本申请提供了一种实现文本内容安全审核的方法，所述方法包括：
[0007]获取审核内容，根据内容ID确定所述审核内容是否有审核记录；
[0008]如果所述审核内容的页面正常，没有审核记录则对所述审核内容进行关键词过滤；
[0009]如果关键词过滤后，所述审核内容中无敏感词，则确定所述审核内容是否存在科室敏感词；
[0010]如果没有科室敏感词，则拆分所述审核内容，获取拆分后内容；
[0011]对所述拆分后内容进行AI审核获取审核结果。
[0012]进一步地，所述根据内容ID确定所述审核内容是否有审核记录，包括：
[0013]确定所述审核内容的页面状态及审核状态。
[0014]进一步地，所述审核内容进行关键词过滤，包括：
[0015]对所述审核内容进行敏感关键词过滤；
[0016]如果有敏感关键词，则标记为高风险和更新审核状态。
[0017]如果没有敏感关键词，再进行敏感关键词组合过滤；
[0018]如果有敏感关键词组合，则标记为高风险和更新审核状态。
[0019]进一步地，所述拆分所述审核内容，获取拆分后内容，包括：
[0020]获取审核内容的正文和标题，标记所述标题的序号；
[0021]进一步地，对所述拆分后内容进行AI审核获取审核结果之后，还包括：
[0022]对所述审核结果进行拼接获取目标文本。
[0023]第二方面，为实现上述目的，本申请提供了一种实现文本内容安全审核的装置，所述装置包括：
[0024]内容状态识别模块，用于获取审核内容，根据内容ID确定所述审核内容是否有审核记录；
[0025]核心关键词过滤模块，用于如果所述审核内容的页面正常，没有审核记录则对所述审核内容进行关键词过滤；
[0026]科室违规内容审核模块，用于如果关键词过滤后，所述审核内容中无敏感词，则确定所述审核内容是否存在科室敏感词；
[0027]分拆内容模块，用于如果没有科室敏感词，则拆分所述审核内容，获取拆分后内容；
[0028]AI审核模块，用于对所述拆分后内容进行AI审核获取审核结果。
[0029]进一步地，所述内容状态识别模块还用于：
[0030]确定所述审核内容的页面状态及审核状态。
[0031]进一步地，所述核心关键词过滤模块，还用于：
[0032]对所述审核内容进行敏感关键词过滤；
[0033]如果有敏感关键词，则标记为高风险和更新审核状态。
[0034]如果没有敏感关键词，再进行敏感关键词组合过滤；
[0035]如果有敏感关键词组合，则标记为高风险和更新审核状态。
[0036]进一步地，所述分拆内容模块，还用于：
[0037]获取审核内容的正文和标题，标记所述标题的序号；
[0038]进一步地，所述的实现文本内容安全审核的装置还包括：
[0039]内容拼接模块，用于对所述审核结果进行拼接获取目标文本。
[0040]第三方面，为实现上述目的，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面任一项实现文本内容安全审核的方法的步骤。
[0041]第四方面，为实现上述目的，本申请提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面任一项实现文本内容安全审核的方法的步骤。
[0042]由以上技术方案可见，本申请实施例提供的本申请实施例提供的一种实现文本内容安全审核的方法及装置，通过获取审核内容，根据内容ID确定所述审核内容是否有审核记录；如果所述审核内容的页面正常，没有审核记录则对所述审核内容进行关键词过滤；如果关键词过滤后，所述审核内容中无敏感词，则确定所述审核内容是否存在科室敏感词；如果没有科室敏感词，则拆分所述审核内容，获取拆分后内容；对所述拆分后内容进行AI审核
获取审核结果，对医疗健康领域的用户提问内容和医生回答内容进行快速审核，把出现的违规或不雅的内容优先对其进行修改操作，无法修改的则采用删除操作，使得文本内容既符合审核要求，净化网站内容，也减少口语化与不雅的内容展示，使得内容更符合用户的阅读习惯。
[0043]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
[0044]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0045]图1为本申请实施例提供的实现文本内容安全审核的方法的流程示意图；
[0046]图2为本申请实施例提供的审核记录的流程示意图；
[0047]图3为本申请实施例提供的文本安全审核的全流程示意图；
[0048]图4为本申请实施例提供的实现文本内容安全审核的装置的结构示意图。
具体实施方式
[0049]下面通过对本申请进行详细说明，本申请的特点和优点将随着这些说明而变得更为清楚、明确。
[0050]在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
[0051]在本申请的描述中，需要说明的是，术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实现文本内容安全审核的方法，其特征在于，所述方法包括：获取审核内容，根据内容ID确定所述审核内容是否有审核记录；如果所述审核内容的页面正常，没有审核记录则对所述审核内容进行关键词过滤；如果关键词过滤后，所述审核内容中无敏感词，则确定所述审核内容是否存在科室敏感词；如果没有科室敏感词，则拆分所述审核内容，获取拆分后内容；对所述拆分后内容进行AI审核获取审核结果。2.根据权利要求1所述的实现文本内容安全审核的方法，其特征在于，所述根据内容ID确定所述审核内容是否有审核记录，包括：确定所述审核内容的页面状态及审核状态。3.根据权利要求1所述的实现文本内容安全审核的方法，其特征在于，所述审核内容进行关键词过滤，包括：对所述审核内容进行敏感关键词过滤；如果有敏感关键词，则标记为高风险和更新审核状态。如果没有敏感关键词，再进行敏感关键词组合过滤；如果有敏感关键词组合，则标记为高风险和更新审核状态。4.根据权利要求2所述的实现文本内容安全审核的方法，其特征在于，所述拆分所述审核内容，获取拆分后内容，包括：获取审核内容的正文和标题，标记所述标题的序号。5.根据权利要求2所述的实现文本内容安全审核的方法，其特征在于，对所述拆分后内容进行AI审核获取审核结果之后，还包括：对所述审核结果进行拼接获取目标文本。6.一种实现文本内容安全审核的装置...

【专利技术属性】
技术研发人员：钟志和，李晓鹏，袁乾烽，欧锦华，万炀，张成辉，
申请(专利权)人：广州启生信息技术有限公司，
类型：发明
国别省市：