敏感词词典生成方法、装置及存储介质和电子设备制造方法及图纸

本发明专利技术提出敏感词词典生成方法、装置及存储介质和电子设备。方法包括：将每个非敏感用户的每个交互文档以及每个敏感用户在距离当前时刻第一预设时长之前的每个交互文档分别作为一个负样本；将每个敏感用户在最近第二预设时长内的每个交互文档分别作为一个正样本；对于在正负样本集合中出现的每个词，计算该词对正样本集合的逆文档频率以及该词对负样本集合的逆文档频率；对于在正负样本集合中出现的每个词，根据该词对正样本集合的逆文档频率以及该词对负样本集合的逆文档频率，计算该词的逐点KL散度，若计算出的逐点KL散度小于预设第一阈值，则将该词加入敏感词词典库。本发明专利技术提高了敏感词词典的生成效率和覆盖率。

Methods, devices, storage media and electronic equipment for the generation of sensitive word dictionaries

【技术实现步骤摘要】
敏感词词典生成方法、装置及存储介质和电子设备
本专利技术涉及文档处理
，尤其涉及敏感词词典生成方法、装置及非瞬时计算机可读存储介质和电子设备。
技术介绍
目前在电商领域，客服人员需要实时地识别用户从购物过程到售后各环节在聊天沟通的过程中是否有不满的情绪，以做到主动服务、提前安抚，最终提升用户的满意度，提高客户保有率和复购率。目前一般做法是，首先根据历史投诉人员的会话统计信息设计出表达客户情绪的威胁词表，用于识别客户威胁程度的强弱，再按照关键字匹配从分词后的聊天记录和电话录音中筛选出潜在的有投诉风险的用户。在构建威胁词典过程中需要比较发生投诉的用户和正常用户在对话中的表达差异。现有技术方案中大量依赖人工经验操作，效率较低且经验会随着时间推移而弱化，不支持自动迭代更新，更重要的是人工方式覆盖率有限，而且威胁信号间没有相对强弱关系。
技术实现思路
本专利技术实施例提出敏感词词典生成方法、装置及非瞬时计算机可读存储介质和电子设备，以提高敏感词词典的生成效率和覆盖率。本专利技术实施例的技术方案是这本文档来自技高网...

【技术保护点】
1.一种敏感词词典生成方法，其特征在于，该方法包括：/n将每个非敏感用户的每个交互文档以及每个敏感用户在距离当前时刻第一预设时长之前的每个交互文档分别作为一个负样本；/n将每个敏感用户在最近第二预设时长内的每个交互文档分别作为一个正样本；/n对于在正负样本集合中出现的每个词，计算该词对正样本集合的逆文档频率以及该词对负样本集合的逆文档频率；/n对于在正负样本集合中出现的每个词，根据该词对正样本集合的逆文档频率以及该词对负样本集合的逆文档频率，计算该词的逐点KL散度，若计算出的逐点KL散度小于预设第一阈值，则将该词加入敏感词词典库。/n

【技术特征摘要】
1.一种敏感词词典生成方法，其特征在于，该方法包括：
将每个非敏感用户的每个交互文档以及每个敏感用户在距离当前时刻第一预设时长之前的每个交互文档分别作为一个负样本；
将每个敏感用户在最近第二预设时长内的每个交互文档分别作为一个正样本；
对于在正负样本集合中出现的每个词，计算该词对正样本集合的逆文档频率以及该词对负样本集合的逆文档频率；
对于在正负样本集合中出现的每个词，根据该词对正样本集合的逆文档频率以及该词对负样本集合的逆文档频率，计算该词的逐点KL散度，若计算出的逐点KL散度小于预设第一阈值，则将该词加入敏感词词典库。


2.根据权利要求1所述的方法，其特征在于，所述计算该词对正样本集合的逆文档频率包括：
IDF1i＝lg(|D1|/(1+|{j:wi∈d1j}|))
其中，D1表示正样本集合，|D1|表示D1中包含的正样本的总数，wi表示在正负样本集合中出现的第i个词，d1j表示正样本集合中的第j个正样本，|{j:Wi∈d1j}|表示包含词wi的正样本的总数，IDF1i表示词wi对正样本集合的逆文档频率；
所述计算该词对负样本集合的逆文档频率包括：
IDF2i＝lg(|D2|/(1+|{k:wi∈d2k}|))
其中，D2表示负样本集合，|D2|表示D2中包含的负样本的总数，wi表示在正负样本集合中出现的第i个词，d2k表示负样本集合中的第k个负样本，|{k:Wi∈d2k}|表示包含词wi的负样本的总数，IDF2i表示词wi对负样本集合的逆文档频率。


3.根据权利要求2所述的方法，其特征在于，所述计算该词的逐点KL散度包括：
Dkl_idf(IDF1i||IDF2i)＝IDF1i*ln(IDF1i/(IDF2i+ε))
其中，Dkl_idf(IDF1i||IDF2i)为词wi的逐点KL散度，ε为预设的防止分母为0的小常数。


4.根据权利要求1至3任一所述的方法，其特征在于，所述预设第一阈值≤-0.5。


5.根据权利要求1所述的方法，其特征在于，当计算出的逐点KL散度小于预设第一阈值时，将该词加入敏感词词典库之前进一步包括：
计算该词对正样本集合的词频，当词频大于预设第二阈值时，将该词加入敏感词词库。


6.根据权利要求1所述的方法，其特征在于，所述将该词加入敏感词词典库之后进一步包括：
采用word2vec算法，将每一交互文档转换成一个向量空间，向量空间中的每个向量对应交互文档中的一个词；
对于每个向量空间，将该向量空间中的每个向量分别作为神经网络模型中的一个输入向量，将该向量空间中指定的一个向量作为神经网络模型的输出向量，对神经网络模型进行训练，得到训练好的神经网络模型；
采用word2vec算法，将敏感词词典库中的每个敏感词转换成一个向量，将所有敏感词转换成的向量划分为多个向量空间，将每个向量空间中的向量分别输入到神经网络模型进行计算，对计算得到的每个输出向量分别采用word2vec算法转换为词，将转换出的每个词加入敏感词词典库。


7.一种敏感词词典生成装置，其特征在于，该装置包括：
样本产生模块，将每个非敏感用户的每个交互文档以及每个敏感用户在距离当前时刻第一预设时长之前的每个交互文档分别作为一个负样本...

【专利技术属性】
技术研发人员：陈希，杜永青，
申请(专利权)人：北京沃东天骏信息技术有限公司，
类型：发明
国别省市：北京;11