聊天会话的风险等级划分方法、装置、设备及存储介质制造方法及图纸

本申请涉及人工智能领域，公开了一种聊天会话的风险等级划分方法、装置、设备及存储介质。该方法包括：获取聊天平台在预设时间段内产生的多轮历史对话记录；根据每轮历史对话记录构建二部网络拓扑图，并对其进行可疑会话对象检测，得到可疑群体；监听可疑群体中每个用户的会话行为，获取用户的对话内容信息；分词处理该信息中的对话文本后进行语法分析，并进行实体识别，得到包含实体识别结果的对话内容信息；从对话内容信息中提取目标对话特征；将目标对话特征输入至会话风险识别网络模型中处理，得到会话风险等级。本申请从网络拓扑图中确定可疑用户群体，检测该群体的多种对话特征以确定风险等级，从而实现会话的风险监控，提升安全性。提升安全性。提升安全性。

【技术实现步骤摘要】
聊天会话的风险等级划分方法、装置、设备及存储介质


[0001]本申请涉及人工智能领域，尤其涉及一种聊天会话的风险等级划分方法、装置、设备及存储介质。

技术介绍

[0002]在当今数字化时代，聊天会话平台已成为人们日常交流的重要方式之一。这些平台提供了方便快捷的沟通渠道，使用户能够分享信息、交流思想，并建立联系。然而，随着人们在聊天平台上进行的交流越来越多，涉及到隐私敏感数据的风险也日益突出。
[0003]目前存在的聊天会话平台普遍存在一些安全隐患和风险，平台上的用户往往会分享包含个人身份信息、财务数据、敏感图片或视频等隐私敏感内容。这些数据一旦落入不法分子之手，可能导致个人隐私泄露、身份盗用、财产损失等问题，因此亟需对聊天会话执行相应的风险识别与监控。

技术实现思路

[0004]本申请提供一种聊天会话的风险等级划分方法，通过根据用户历史聊天记录建立用户之间网络拓扑图，结合异常会话对象检测算法从网络拓扑图中确定可疑的会话用户群体，从而监控并检测该群体对话内容信息中的多种对话特征，并根据该对话特征确定相应的风险等级，实现对聊天会话过程中的风险监控。
[0005]第一方面，本申请实施例提供一种聊天会话的风险等级划分方法，包括：获取聊天平台在预设时间段内产生的多轮历史对话记录；其中，每轮历史对话记录中至少包括两个用户对话对象；根据每轮历史对话记录构建二部网络拓扑图；其中，二部网络拓扑图中包括多个网络节点以及连接每个网络节点的无向边，每个网络节点对应于每轮历史对话记录中包括的每个用户对话对象，每条无向边用于表示每个用户对话对象之间建立的对话关系；基于预设的会话对象异常检测算法对二部网络拓扑图进行可疑会话对象检测，得到可疑会话用户群体；监听可疑会话用户群体中每个可疑用户的会话行为，响应于检测到任意一个可疑用户发起会话，获取可疑用户的对话内容信息；分词处理对话内容信息中的对话文本，根据分词处理的结果进行语法分析，并根据语法分析的结果进行实体识别，得到包含实体识别结果的对话内容信息；对包含实体识别结果的对话内容信息进行特征提取，得到目标对话特征；目标对话特征包括意图特征、情感特征以及心理行为特征，心理行为特征至少包括对话过程中所输入文本的文字选择特征、用词习惯特征，以及所输入图像中的视觉提示特征；将目标对话特征输入至预设的会话风险识别网络模型中进行处理，得到会话风险等级；其中，会话风险识别网络模型为基于卷积神经网络学习形成具有等级分类输出的等级划分神经网络模型。
[0006]在第一方面的第一种可能的实现方式中，基于预设的会话对象异常检测算法对二部网络拓扑图进行可疑会话对象检测，得到可疑会话用户群体包括：根据预设的迭代次数依次对二部网络拓扑图进行多轮的可疑会话对象迭代检测，依次得到多个可疑会话用户子群体；其中，每轮的迭代检测包括：将对当前的二部网络拓扑图进行可疑会话对象检测，并将检测得到的可疑会话用户群体从当前的二部网络拓扑图中移除，以及保存移除后的二部网络拓扑图；计算多个可疑会话用户子群体之间的并集，得到可疑会话用户群体。
[0007]在第一方面的第二种可能的实现方式中，依次得到多个可疑会话用户子群体按照用户风险等级从大至小降序排列；监听可疑会话用户群体中每个可疑用户的会话行为，响应于检测到任意一个可疑用户发起会话，获取可疑用户的对话内容信息包括：监听可疑会话用户群体中每个可疑用户的会话行为，响应于检测到任意一个可疑用户发起会话，根据可疑用户所在的可疑会话用户子群体，确定可疑用户对应的用户风险等级；根据可疑用户对应的用户风险等级确定目标数据获取策略；其中，目标数据获取策略中至少包括数据获取时间段和数据获取类型；根据目标数据获取策略，获取可疑用户的对话内容信息。
[0008]在第一方面的第三种可能的实现方式中，将对当前的二部网络拓扑图进行可疑会话对象检测包括：计算当前的二部网络拓扑图中每个网络节点的节点可疑度；根据每个网络节点的节点可疑度确定节点可疑度最大的目标网络节点；将目标网络节点以及与目标网络节点连接的目标无向边从当前的二部网络拓扑图进行迭代移除，直至二部网络拓扑图为空，得到多个候选二部网络拓扑图；计算每个候选二部网络拓扑图的全局平均可疑度，并根据全局平均可疑度最大的候选二部网络拓扑图，确定本次检测的可疑会话用户群体。
[0009]在第一方面的第四种可能的实现方式中，包含实体识别结果的对话内容信息中包括对话文本和对话图像；对包含实体识别结果的对话内容信息进行特征提取，得到目标对话特征包括：确定对话文本对应的文本词向量矩阵数据和对话图像对应的图像画面像素点矩阵数据；分别对文本词向量矩阵数据和图像画面像素点矩阵数据进行卷积计算，得到计算集合；基于计算集合输出的特征提取网络进行计算，得到目标对话特征；其中，特征提取网络中包括多条线路卷积层或卷积层加池化层。
[0010]在第一方面的第五种可能的实现方式中，特征提取网络包括第一网络和第二网络，第一网络包括从左至右的第一条线路一层池化层、第二条线路二层卷积层和第三条线路四层卷积层，第二网络包括从左至右的第一条线路卷积层、第二条线路二层卷积层和第三条线路三层卷积层；基于计算集合输出的特征提取网络进行计算，得到目标对话特征包括：
基于第一网络的计算，输出包含意图特征和情感特征的特征集合；基于第二网络对特征集合的计算，输出心理行为特征。
[0011]在第一方面的第六种可能的实现方式中，将目标对话特征输入至预设的会话风险识别网络模型中进行处理，得到会话风险等级之后，还包括：根据对话内容信息对应的会话风险等级确定可疑用户的风险形态；其中，风险形态包括当前的系统状态、用户的行为以及聊天系统的运行环境；根据风险形态确定相应的风险决策策略，并根据风险决策策略执行风险控制；其中，风险决策策略包括对用户进行回应、警告以及拒绝请求。
[0012]第二方面，本申请提供一种聊天会话的风险等级划分装置，包括：对话记录获取模块，用于获取聊天平台在预设时间段内产生的多轮历史对话记录；其中，每轮历史对话记录中至少包括两个用户对话对象；拓扑图构建模块，用于根据每轮历史对话记录构建二部网络拓扑图；其中，二部网络拓扑图中包括多个网络节点以及连接每个网络节点的无向边，每个网络节点对应于每轮历史对话记录中包括的每个用户对话对象，每条无向边用于表示每个用户对话对象之间建立的对话关系；会话检测模块，用于基于预设的会话对象异常检测算法对二部网络拓扑图进行可疑会话对象检测，得到可疑会话用户群体；对话内容获取模块，用于监听可疑会话用户群体中每个可疑用户的会话行为，响应于检测到任意一个可疑用户发起会话，获取可疑用户的对话内容信息；数据处理模块，用于分词处理对话内容信息中的对话文本，根据分词处理的结果进行语法分析，并根据语法分析的结果进行实体识别，得到包含实体识别结果的对话内容信息；特征提取模块，用于对包含实体识别结果的对话内容信息进行特征提取，得到目标对话特征；目标对话特征包括意图特征、情感特征以及心理行为特征，心理行为特征至少包括对话过程中所输入文本的文字选择特征、用词习惯特征，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种聊天会话的风险等级划分方法，其特征在于，包括：获取聊天平台在预设时间段内产生的多轮历史对话记录；其中，每轮历史对话记录中至少包括两个用户对话对象；根据每轮历史对话记录构建二部网络拓扑图；其中，所述二部网络拓扑图中包括多个网络节点以及连接每个网络节点的无向边，每个网络节点对应于每轮历史对话记录中包括的每个用户对话对象，每条无向边用于表示每个用户对话对象之间建立的对话关系；基于预设的会话对象异常检测算法对所述二部网络拓扑图进行可疑会话对象检测，得到可疑会话用户群体；监听所述可疑会话用户群体中每个可疑用户的会话行为，响应于检测到任意一个可疑用户发起会话，获取所述可疑用户的对话内容信息；分词处理所述对话内容信息中的对话文本，根据分词处理的结果进行语法分析，并根据语法分析的结果进行实体识别，得到包含实体识别结果的对话内容信息；对所述包含实体识别结果的对话内容信息进行特征提取，得到目标对话特征；所述目标对话特征包括意图特征、情感特征以及心理行为特征，所述心理行为特征至少包括对话过程中所输入文本的文字选择特征、用词习惯特征，以及所输入图像中的视觉提示特征；将所述目标对话特征输入至预设的会话风险识别网络模型中进行处理，得到会话风险等级；其中，所述会话风险识别网络模型为基于卷积神经网络学习形成具有等级分类输出的等级划分神经网络模型。2.根据权利要求1所述的聊天会话的风险等级划分方法，其特征在于，所述基于预设的会话对象异常检测算法对所述二部网络拓扑图进行可疑会话对象检测，得到可疑会话用户群体包括：根据预设的迭代次数依次对所述二部网络拓扑图进行多轮的可疑会话对象迭代检测，依次得到多个可疑会话用户子群体；其中，每轮的迭代检测包括：将对当前的二部网络拓扑图进行可疑会话对象检测，并将检测得到的可疑会话用户群体从当前的二部网络拓扑图中移除，以及保存移除后的二部网络拓扑图；计算所述多个可疑会话用户子群体之间的并集，得到可疑会话用户群体。3.根据权利要求2所述的聊天会话的风险等级划分方法，其特征在于，所述依次得到多个可疑会话用户子群体按照用户风险等级从大至小降序排列；所述监听所述可疑会话用户群体中每个可疑用户的会话行为，响应于检测到任意一个可疑用户发起会话，获取所述可疑用户的对话内容信息包括：监听所述可疑会话用户群体中每个可疑用户的会话行为，响应于检测到任意一个可疑用户发起会话，根据所述可疑用户所在的可疑会话用户子群体，确定所述可疑用户对应的用户风险等级；根据所述可疑用户对应的用户风险等级确定目标数据获取策略；其中，所述目标数据获取策略中至少包括数据获取时间段和数据获取类型；根据所述目标数据获取策略，获取所述可疑用户的对话内容信息。4.根据权利要求2所述的聊天会话的风险等级划分方法，其特征在于，所述将对当前的二部网络拓扑图进行可疑会话对象检测包括：计算当前的二部网络拓扑图中每个网络节点的节点可疑度；
根据每个网络节点的节点可疑度确定节点可疑度最大的目标网络节点；将所述目标网络节点以及与所述目标网络节点连接的目标无向边从当前的二部网络拓扑图进行迭代移除，直至二部网络拓扑图为空，得到多个候选二部网络拓扑图；计算每个候选二部网络拓扑图的全局平均可疑度，并根据全局平均可疑度最大的候选二部网络拓扑图，确定本次检测的可疑会话用户群体。5.根据权利要求1所述的聊天会话的风险等级划分方法，其特征在于，所述包含实体识别结果的对话内容信息中包括对话文本和对话图像；所述对所述包含实体识别结果的对话内容信息进行特征提取，得到目标对话特征包括：确定所述对话文本对应的文本词向量矩阵数据和所述对...

【专利技术属性】
技术研发人员：郭健，刘星星，
申请(专利权)人：深圳传趣网络技术有限公司，
类型：发明
国别省市：