【技术实现步骤摘要】
本公开涉及计算机，尤其涉及一种文本内容检测方法、装置、电子设备及存储介质。
技术介绍
1、目前，对文本的管理是互联网风险管控中的重要手段。文本的风险管控主要是检测文本中是否包括敏感词汇，从而根据敏感词汇确定文本的文本风险。
2、目前，检测文本中是否存在敏感词汇的方式为：先对文本中各个句子进行分词处理，得到至少一个待匹配词汇；再将各待匹配词汇与黑白名单词汇进行一一匹配，最后根据匹配结果来确定为黑名单词汇还是白名单词汇。为了进一步提高确定敏感词汇的准确性，可以对分词的分词器进行特殊设置，如将黑名单词汇的权重值设置的高一点，以在分词器分词的过程中，可以尽可能的将黑名单词汇划分在一起，从而保证从句子中查找出黑名单词汇。
3、但是上述方法存在文本安全性的误判以及漏判现象。尤其是在大模型爆发时代，现有的文本安全检测与业务场景不是完全匹配，存在针对诱导性有害文本检测效果不佳的问题。
技术实现思路
1、为了解决上述技术问题中的至少一个，本公开提供了一种文本内容检测方法、装置、电子设备及存储介质。
2、一方面，提供了一种文本内容检测方法，包括：
3、接收用户输入的文本信息；
4、响应于接收到的所述文本信息，对所述文本信息进行第一内容和第二内容的处理，得到处理结果；
5、基于所述处理结果确定所述文本信息的最终检测结果。
6、根据本公开一种优选的实施方式，响应于接收到的所述文本信息，对所述文本信息进行第一内容和第二内容的
7、响应于接收到的所述文本信息，对所述文本信息进行第一内容的分类和第二内容的检测，得到和第一内容的分类匹配的第一结果以及与第二内容的检测匹配的第二结果；将所述第一结果和第二结果作为所述处理结果。
8、根据本公开一种优选的实施方式，响应于接收到的所述文本信息，对所述文本信息进行第一内容和第二内容的处理，得到处理结果，包括：
9、响应于接收到的所述文本信息，对所述文本信息进行第一内容的分类，得到第一结果；
10、基于所述第一结果对所述文本信息进行第二内容的检测，得到第二结果；将所述第一结果和第二结果作为所述处理结果。
11、根据本公开一种优选的实施方式，所述第一内容的分类包括对所述文本信息进行语义的分类，所述第二内容的检测包括对所述文本信息中预设词语义的检测。
12、根据本公开一种优选的实施方式，所述预设词语义的检测包括对敏感词语敏感度的检测；
13、对所述文本信息进行语义的分类包括基于所述文本信息的应用场景对所述文本信息进行语义的分类。
14、根据本公开一种优选的实施方式，基于所述处理结果确定所述文本信息的最终检测结果，包括：
15、获取所述文本信息的应用场景；
16、根据所述文本信息的应用场景、所述处理结果中包括的所述文本信息的文本标签确定所述文本信息的最终检测结果。
17、根据本公开一种优选的实施方式，响应于接收到的所述文本信息，对所述文本信息进行第二内容的检测，包括：
18、响应于接收到的所述文本信息，基于预先构建的查找树对接收到的所述文本信息进行黑名单处理，得到第一处理结果；
19、基于所述第一处理结果对所述文本信息进行白名单处理，得到第二处理结果；
20、基于所述第一处理结果与所述第二处理结果实现对所述第二内容的检测。
21、根据本公开一种优选的实施方式，响应于接收到的所述文本信息，基于预先构建的查找树对接收到的所述文本信息进行黑名单处理，得到第一处理结果，包括：
22、对所述文本信息进行分词处理；
23、在预先构建的查找树中查找分词后的文本信息，得到第一处理结果。
24、根据本公开一种优选的实施方式，所述第一处理结果中包括所述文本信息中预设词及其出现频次，所述第二处理结果中包括所述文本信息中预设词及其出现频次；
25、基于所述第一处理结果与所述第二处理结果实现对所述第二内容的检测，得到第一结果，包括：
26、基于所述第一处理结果中的所述文本信息中预设词及其出现频次以及所述第二处理结果中的所述文本信息中预设词及其出现频次实现对所述第二内容的检测。
27、根据本公开一种优选的实施方式，基于所述第一处理结果中的所述文本中预设词及其出现频次以及所述第二处理结果中的所述文本中预设词及其出现频次实现对所述第二内容的检测，包括：
28、当所述第一处理结果中的所述文本信息中预设词及其出现频次与所述第二处理结果中的所述文本信息中预设词及其出现频次相同时，确定所述第二内容检测结果为合格。
29、根据本公开一种优选的实施方式，响应于接收到的所述文本信息，进行第一内容的分类，包括：
30、加载预设模型；
31、对所述预设模型进行文本信息语义分类训练，得到训练后的模型；
32、基于训练后的模型对所述文本信息进行第一内容的分类。
33、根据本公开一种优选的实施方式，基于训练后的模型对所述文本信息进行第一内容的分类，包括：
34、基于训练后的模型对所述文本信息基于所述第一内容包括的不同子内容的类别进行标签化；
35、基于标签化后的不同字内容对所述文本信息进行分类。
36、根据本公开一种优选的实施方式，基于训练后的模型对所述文本信息基于所述第一内容包括的不同子内容的类别进行标签化，包括：
37、获取所述文本信息的应用场景；
38、基于训练后的模型对所述文本信息基于所述第一内容包括的不同子内容的类别与所述文本信息的应用场景进行标签化。
39、另一方面，本公开实施方式提供了一种文本内容检测装置，包括：
40、接收模块，所述接收模块接收用户输入的文本信息；
41、处理模块，所述处理模块响应于接收到的所述文本信息，对所述文本信息进行第一内容和第二内容的处理，得到处理结果；
42、检测模块，所述检测模块基于所述处理结果确定所述文本信息的最终检测结果。
43、还一方面，本公开实施方式提供了一种电子设备，包括：
44、存储器，所述存储器存储执行指令；
45、处理器，所述处理器执行所述存储器存储的执行指令，实现上述中任一项所述的方法。
46、再一方面，本公开实施方式提供了一种可读存储介质，其特征在于，所述可读存储介质中存储有执行指令，所述执行指令被处理器执行时实现上述中任一项所述的方法。
本文档来自技高网...【技术保护点】
1.一种文本内容检测方法，其特征在于，包括：
2.根据权利要求1所述的文本内容检测方法，其特征在于，响应于接收到的所述文本信息，对所述文本信息进行第一内容和第二内容的处理，得到处理结果，包括：
3.根据权利要求1所述的文本内容检测方法，其特征在于，响应于接收到的所述文本信息，对所述文本信息进行第一内容和第二内容的处理，得到处理结果，包括：
4.根据权利要求2或3所述的文本内容检测方法，其特征在于，所述第一内容的分类包括对所述文本信息进行语义的分类，所述第二内容的检测包括对所述文本信息中预设词语义的检测；
5.根据权利要求1至3任一所述的文本内容检测方法，其特征在于，基于所述处理结果确定所述文本信息的最终检测结果，包括：
6.根据权利要求2或3所述的文本内容检测方法，其特征在于，响应于接收到的所述文本信息，对所述文本信息进行第二内容的检测，包括：
7.根据权利要求2或3所述的文本内容检测方法，其特征在于，响应于接收到的所述文本信息，进行第一内容的分类，包括：
8.一种文本内容检测装置，其特征在于，包
9.一种电子设备，其特征在于，包括：
10.一种可读存储介质，其特征在于，所述可读存储介质中存储有执行指令，所述执行指令被处理器执行时实现如权利要求1至7中任一项所述的方法。
...【技术特征摘要】
1.一种文本内容检测方法，其特征在于，包括：
2.根据权利要求1所述的文本内容检测方法，其特征在于，响应于接收到的所述文本信息，对所述文本信息进行第一内容和第二内容的处理，得到处理结果，包括：
3.根据权利要求1所述的文本内容检测方法，其特征在于，响应于接收到的所述文本信息，对所述文本信息进行第一内容和第二内容的处理，得到处理结果，包括：
4.根据权利要求2或3所述的文本内容检测方法，其特征在于，所述第一内容的分类包括对所述文本信息进行语义的分类，所述第二内容的检测包括对所述文本信息中预设词语义的检测；
5.根据权利要求1至3任一所述的文本内容检...
【专利技术属性】
技术研发人员：明卫鹏，李志飞，
申请(专利权)人：出门问问苏州信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。