【技术实现步骤摘要】
用于对话系统的异常检测方法及装置
[0001]本专利技术涉及对话系统评测
，尤其涉及一种用于对话系统的异常检测方法及装置
。
技术介绍
[0002]针对对话系统中的异常检测，现有技术主要存在以下几个问题：首先，在异常数据检测中，通常基于人工召回异常数据并手动标注的方式，确定异常数据样本，基于训练模型的方式筛选出更多的异常数据待检测样本，人工成本较高，且依赖于工作人员的业务经验和主观想法，准确率较低；其次，基于标注样本训练的异常检测模型和对话系统的线上模型是割裂的，需要分开训练，且由于异常数据的分布往往小于正常数据，样本不均衡，异常检测模型准确度往往不能保证；此外，使用历史样本训练的异常检测模型仅对新增意图有效，且对历史样本的数据增强
、
多样性泛化等操作难以改变模型结果，无法确认真实意图
。
技术实现思路
[0003]本专利技术意在提供一种用于对话系统的异常检测方法及装置，以解决现有技术中存在的不足，本专利技术要解决的技术问题通过以下技术方案来实现
。
[...
【技术保护点】
【技术特征摘要】
1.
一种用于对话系统的异常检测方法，其特征在于，所述方法包括：获取行业领域的对话文本数据，并对对话文本数据进行用户意图标注形成训练样本，通过训练样本对意图识别模型进行训练，将训练完成的意图识别模型部署到对话系统中；对部署了意图识别模型的对话系统中产生的对话语料文本进行用户意图统计，获取多个意图分支，并获取各个意图分支对应的对话语料文本的数量和对话语料文本的数量占总数量的百分比；在存在对话语料文本的数量占总数量的百分比小于百分比阈值的意图分支时，采集多个新输入至部署了意图识别模型的对话系统中的主叫文本，并通过意图识别模型预测各个主叫文本对应不同用户意图的概率值，将概率值最大的用户意图作为相应主叫文本对应的识别意图，将满足概率值阈值条件时对应的主叫文本作为待检测样本；获取待检测样本对应的待选意图，并基于待选意图通过部署了意图识别模型的对话系统获取待检测样本对应的回复预设模板，将回复预设模板发送至用户终端，接收用户的回答信息，并基于回答信息提取用户的真实意图；将用户的真实意图与相应待检测样本对应的识别意图进行比较，根据比较结果判断意图识别模型是否异常
。2.
根据权利要求1所述的用于对话系统的异常检测方法，其特征在于，多个意图分支包括：配送快递
、
寄快递
、
上门取件
、
修改快递地址以及上门取件
。3.
根据权利要求1所述的用于对话系统的异常检测方法，其特征在于，所述概率值阈值包括第一概率值阈值和第二概率值阈值，所述第二概率值阈值大于所述第一概率值阈值
。4.
根据权利要求3所述的用于对话系统的异常检测方法，其特征在于，将满足概率值阈值条件时对应的主叫文本作为待检测样本包括：将大于第一概率值阈值且小于第二概率值阈值的概率值对应的主叫文本作为待检测样本
。5.
根据权利要求1所述的用于对话系统的异常检测方法，其特征在于，获取待检测样本对应的待选意图包括：将待检测样本对应不同用户意图的概率值按照从大到小进行排列；将排列在第二位的概率值对应的用户意图作为待检测样本对应的待选意图
。6.
根据权利要求1所述的用于对话系统的异常检测方法，其特征在于，基于回答信息提取用户的真实意图包括：对用户的回答信息进行判断，判定用户的回答为肯定或否定；在判定用户的回答为肯定时，将待检测样本对应的待选意图作为用户的真实意图；在判定用户的回答为否定时，将待检...
【专利技术属性】
技术研发人员：韩哲，储兵兵，徐振敬，
申请(专利权)人：联通在线信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。