聊天文本检测方法及其装置、设备、介质制造方法及图纸

本申请涉及网络在线聊天技术领域中一种聊天文本检测方法及其装置、设备、介质、产品，所述方法包括：根据处于聊天会话中多个聊天用户的聊天身份信息，检测出各聊天用户中的聊天身份异常用户；获取聊天会话中聊天身份异常用户的用户历史聊天文本及待发送聊天文本，获取聊天会话中的全局历史聊天文本；对历史聊天文本、待发送聊天文本及全局聊天文本进行敏感内容检测，其中，基于用户历史聊天文本及待发送聊天文本的发送顺序进行文本组合的敏感内容检测；基于聊天会话中各聊天用户对应的敏感内容检测结果，确定出各聊天用户的违规管理手段。本申请对聊天会话进行敏感内容检测且确定违规管理手段，优化聊天会话的聊天环境，提升用户的聊天体验。用户的聊天体验。用户的聊天体验。

【技术实现步骤摘要】
聊天文本检测方法及其装置、设备、介质


[0001]本申请涉及网络在线聊天
，尤其涉及一种聊天文本检测方法及其相应的装置、聊天文本检测设备、计算机可读存储介质，以及计算机程序产品。

技术介绍

[0002]现有的网络平台中通常会向用户提供网络聊天服务，使平台中不同的平台用户通过网络聊天服务创建聊天会话进行网络聊天，但平台中的不良平台用户会试图通过网络聊天服务对平台中的良好平台用户发送不良、违规或诈骗聊天信息，这不仅严重影响良好平台用户使用网络聊天服务的聊天体验及平台环境，还可能损害良好平台用户的用户利益，甚至导致网络平台因不良平台用户违规使用网络聊天服务被举报下架及被迫进行维护，影响平台的平台运营。
[0003]综上，关于如何有效地识别及打击平台中违规使用网络聊天服务的不良平台用户以保护网络聊天服务的服务环境的问题，本申请人出于解决该问题的考虑做出相应的探索。

技术实现思路

[0004]本申请的目的在于解决上述问题而提供一种聊天文本检测方法及其相应的装置、聊天文本检测设备、计算机可读存储介质，以及计算机程序产品。...

【技术保护点】

【技术特征摘要】
1.一种聊天文本检测方法，其特征在于，包括如下步骤：根据处于聊天会话中多个聊天用户的聊天身份信息，检测出各所述聊天用户中的聊天身份异常用户；当所述聊天会话中存在聊天身份异常用户时，获取所述聊天会话中所有聊天用户的用户历史聊天文本及待发送聊天文本，且获取所述聊天会话中的全局历史聊天文本；对所述历史聊天文本、待发送聊天文本及全局聊天文本进行敏感内容检测，其中，基于所述用户历史聊天文本及待发送聊天文本的发送顺序进行文本组合的敏感内容检测；确定出聊天会话中敏感内容检测结果为存在敏感内容的聊天用户，基于各所述聊天用户的所述敏感内容检测结果，确定出各所述聊天用户对应的违规管理手段。2.根据权利要求1所述的方法，其特征在于，根据处于聊天会话中多个聊天用户的聊天身份信息，检测出各所述聊天用户中的聊天身份异常用户，包括如下步骤：根据各所述聊天用户的聊天身份信息，确定出满足非好友的身份异常条件的聊天用户；根据各所述聊天用户的聊天身份信息，确定出满足短时间好友的身份异常条件的聊天用户；根据各所述聊天用户的聊天身份信息，确定出满足违规用户的身份异常条件的聊天用户；根据各所述聊天用户的聊天身份信息，确定出满足新注册用户的身份异常条件的聊天用户；将满足一个或多个所述身份异常条件的聊天用户确定为聊天身份异常用户。3.根据权利要求1所述的方法，其特征在于，对所述历史聊天文本、待发送聊天文本及全局聊天文本进行敏感内容检测，包括如下步骤：获取所述历史聊天文本、待发送聊天文本及全局聊天文本中包含的聊天文本；基于敏感文本库及敏感检测规则，检测出所述聊天文本中包含的敏感聊天文本，确定出发送所述敏感聊天文本对应的聊天用户；调用已训练至收敛的敏感内容检测神经网络模型，检测出所述聊天文本中包含的敏感聊天文本，确定出发送所述敏感聊天文本对应的聊天用户。4.根据权利要求1所述的方法，其特征在于，基于所述用户历史聊天文本及待发送聊天文本的发送顺序进行首字符组合的敏感内容检测，包括如下步骤：基于所述待发送聊天文本及用户历史聊天文本的发送顺序，排序所述待发送聊天文本及用户历史聊天文本各自包含的聊天文本；组合完成排序的各所述聊天文本生成组合聊天文本，对所述组合聊天文本进行敏感内容检测；提取完成排序的各所述聊天文本的首字符，组合各所述首字符生成首字符聊天文本，对所述首字符聊天文本进行敏感内容检测；检测出存在敏感内容的所述组合聊天文本或所述首字符聊天文本，基于所述全局聊天文本进行诱导内容检测，识别出发送诱导内容的聊天用户。5.根据权利要求1所述的方法，其特征在于，确定出聊天会话中敏感内容检测结果为存在敏感内容的聊天用户，基于各所述聊天用户的所述敏感内容检测结果，确定出各所述聊
天用户对应的违规管理...

【专利技术属性】
技术研发人员：杨鼎，
申请(专利权)人：百果园技术新加坡有限公司，
类型：发明
国别省市：