用于问答交互日志的处理方法、装置及系统制造方法及图纸

本发明专利技术提供了一种用于问答交互日志的处理方法，该问答交互日志包括用户问句以及相应的坐席答案，该处理方法包括：对该问答交互日志执行话术分析，以确定该坐席答案是否存在禁语和/或负面情感；利用CRM数据库对该问答交互日志执行业务分析，以判断该用户问句是否与用户办理过的业务匹配且该坐席答案是否与提取的CRM数据一致；利用问答知识库对该问答交互日志执行问答分析，以确定该坐席答案是否正确；以及对未通过该话术分析、业务分析和问答分析中至少一项的问答交互日志进行标记以用于后续人工质检。

Method, apparatus and system for answering interactive logs

The present invention provides a method for processing interactive quiz log, the log includes user interactive quiz questions and corresponding answers at, including the processing method of the implementation of the words: ask interaction analysis log to determine the answer whether there are seats taboo and / or negative emotions; on the implementation of business analysis interactive quiz log using CRM database to determine the question whether the user and user for business, and the seat answer is consistent with the CRM data extraction; using knowledge quiz on the interactive quiz quiz execution log analysis, to determine the seat and the answer is correct; not by the words of analysis, business analysis and in the analysis of interactive quiz quiz log in at least one of the markers for subsequent artificial quality inspection.

【技术实现步骤摘要】
用于问答交互日志的处理方法、装置及系统
本专利技术涉及信息处理技术，尤其涉及用于问答交互日志的处理方法、装置及系统。
技术介绍
客服系统随着电子商务的发展愈趋普及。客户可以通过客服系统询问感兴趣的相关信息，办理业务等等。例如，用户可通过客服系统了解与商品相关的信息，咨询业务。客服系统在使用过程中会存储用户询问的用户问句以及相应的坐席答案，这些内容作为质检数据保存以便后续检查，以保证客户满意度。现有技术基本都是通过人工抽检的方式进行操作。质检人员通过对电话或者在线文本坐席的交互数据抽样检查，根据质检人员对业务的理解，判断客服人员回答的问题是否正确，回答是否有不恰当的语气。如果涉及到用户账户信息或者基本业务的问题，需要在系统中查看来判断客户回答的是否正确。对于一些比较复杂的问答，需要查看范例文档来判断是否正确。上述人工抽检模式耗时、费力，质检效率和抽检覆盖面低，且难以迅速发现短板加以改善。
技术实现思路
以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。根据本专利技术的一方面，提供了一种用于问答交互日志的处理方法，该问答交互日志包括用户问句以及相应的坐席答案，该处理方法包括：对该问答交互日志执行话术分析，以确定该坐席答案是否存在禁语和/或负面情感；利用CRM数据库对该问答交互日志执行业务分析，以判断该用户问句是否与用户办理过的业务匹配且该坐席答案是否与提取的CRM数据一致；利用问答知识库对该问答交互日志执行问答分析，以确定该坐席答案是否正确；以及对未通过该话术分析、业务分析和问答分析中至少一项的问答交互日志进行标记以用于后续人工质检。根据本专利技术的另一方面，提供了一种用于问答交互日志的处理装置，该问答交互日志包括用户问句以及相应的坐席答案，该处理装置包括：话术分析单元，用于对该问答交互日志执行话术分析，以确定该坐席答案是否存在禁语和/或负面情感；业务分析单元，用于利用CRM数据库对该问答交互日志执行业务分析，以判断该用户问句是否与用户办理过的业务匹配且该坐席答案是否与提取的CRM数据一致；问答分析单元，用于利用问答知识库对该问答交互日志执行问答分析，以确定该坐席答案是否正确；以及标记单元，用于对未通过该话术分析、业务分析和问答分析中至少一项的问答交互日志进行标记以用于后续人工质检。根据本专利技术的再一方面，提供了一种用于问答交互日志的处理系统，该问答交互日志包括用户问句以及相应的坐席答案，该处理系统包括：CRM数据库，用于存储与客户相关联的CRM数据；问答知识库，用于存储标准问以及与每个标准问相关联的标准答案；以及如前所述的处理装置。根据本专利技术的用于问答交互日志的处理方法，能够自动地对不符合要求的问答交互日志进行标记，起到预检的作用，以供人工进一步质检。以此方式，一是大大提高了质检效率，极大减轻了质检人员人工从海量交互日志中质检的工作量。另一方面，由于质检人员只能采用抽检的方式进行质检，导致质检结果并不能完全反应实情。根据本专利技术的方案，对所有的问答交互日志都进行了处理，避免了漏检的情况。附图说明在结合以下附图阅读本公开的实施例的详细描述之后，能够更好地理解本专利技术的上述特征和优点。在附图中，各组件不一定是按比例绘制，并且具有类似的相关特性或特征的组件可能具有相同或相近的附图标记。图1是示出了根据本专利技术的一方面的用于问答交互日志的处理方法的流程图；图2是示出了根据本专利技术的一方面的用于问答交互日志的处理装置的框图；图3是示出了根据一实施例的业务分析单元的框图；图4是示出了根据一实施例的问答分析单元的框图；以及图5是示出了根据本专利技术的一方面的用于问答交互日志的处理系统的框图。具体实施方式以下结合附图和具体实施例对本专利技术作详细描述。注意，以下结合附图和具体实施例描述的诸方面仅是示例性的，而不应被理解为对本专利技术的保护范围进行任何限制。客服系统在使用过程中会产生大量的问答交互日志，记载了用户问句以及相应的坐席答案。根据本专利技术的一方面，提供了一种用于问答交互日志的处理方法，能够自动地对不符合要求的问答交互日志进行标记，起到预检的作用，以供人工进一步质检。以此方式，一是大大提高了质检效率，极大减轻了质检人员人工从海量交互日志中质检的工作量。另一方面，由于质检人员只能采用抽检的方式进行质检，导致质检结果并不能完全反应实情。根据本专利技术的方案，对所有的问答交互日志都进行了处理，避免了漏检的情况。图1是示出了根据本专利技术的一方面的用于问答交互日志的处理方法100的流程图。如图1所示，处理方法100可包括如下步骤：步骤101：对问答交互日志执行预处理。交互日志可以是语音格式。例如，客服系统可能是电话客服系统，由此产生的问答交互日志为语音的形式。在语音格式的情况下，预处理可首先将语音形式的问答交互日志转换为文本格式的问答交互日志。作为实例，可通过ASR(AutomaticSpeechRecognition，自动语音识别)执行语音到文字的转换。较优地，预处理还可包括对问答交互日志中无意义的问答数据进行过滤。步骤102：对问答交互日志执行话术分析，以确定坐席答案是否存在禁语和/或负面情感。禁语的判断可通过禁语词库来实现。在一实例中，提供有禁语词库，其中收录了被标记为禁语的词语，包括例如不文明用语、不符合国家法律法规的词语等任何不恰当而应被禁用的词语。具体而言，可基于禁语词库检索问答交互日志的坐席答案中是否存在被标记为禁语的词语，若存在，则未通过话术分析。除了禁语判断之外，话术分析还可以判断坐席答案是否存在负面情感，以此判断客服的服务态度。情感分析一般从两个方面来衡量，情感倾向方向和情感倾向度。情感倾向方向也称为情感极性，可以理解为用户对某客体表达自身观点所持的态度是支持、反对、中立，即通常所指的正面情感、负面情感、中性情感。情感倾向度是指主体对客体表达正面情感或负面情感时的强弱程度，不同的情感程度往往是通过不同的情感词或情感语气等来体现。在一实例中，负面情感的判断可通过情感词典来实现。例如，可提供有情感词典，其中收录了被标记为带有负面情感的词语。具体而言，可基于情感词典检索问答交互日志的坐席答案中是否存在被标记为具有负面情感的文本，若存在，则未通过话术分析。在另一实例中，负面情感的判断可通过情感分类器来实现。在此实施例中，首先可基于机器学习的方法，利用大规模语料库作为训练集来训练情感分类器。分类器的训练方法是已知技术，在此不再赘述。上述的情感分类和禁语判断可以是以词语、句子或段落为单元来执行的。段落篇章级情感分析主要是针对某个主题或事件进行倾向性判断，一般需要构建对应事件的情感词典。句子级的情感分析大多是通过计算句子里包含的所有情感词的平均值来得到。话术分析可以单独包括禁语判断或情感判断，也可以同时包括这两者。例如，可先基于禁语词库检索问答交互日志的所述坐席答案中是否存在被标记为禁语的词语，若存在则未通过话术分析，否则继续基于情感词典检索问答交互日志的坐席答案中是否存在被标记为具有负面情感的文本，若存在则未通过话术分析，否则通过所述本文档来自技高网...

【技术保护点】
一种用于问答交互日志的处理方法，所述问答交互日志包括用户问句以及相应的坐席答案，所述处理方法包括：对所述问答交互日志执行话术分析，以确定所述坐席答案是否存在禁语和/或负面情感；利用CRM数据库对所述问答交互日志执行业务分析，以判断所述用户问句是否与用户办理过的业务匹配且所述坐席答案是否与提取的CRM数据一致；利用问答知识库对所述问答交互日志执行问答分析，以确定所述坐席答案是否正确；以及对未通过所述话术分析、业务分析和问答分析中至少一项的问答交互日志进行标记以用于后续人工质检。

【技术特征摘要】
1.一种用于问答交互日志的处理方法，所述问答交互日志包括用户问句以及相应的坐席答案，所述处理方法包括：对所述问答交互日志执行话术分析，以确定所述坐席答案是否存在禁语和/或负面情感；利用CRM数据库对所述问答交互日志执行业务分析，以判断所述用户问句是否与用户办理过的业务匹配且所述坐席答案是否与提取的CRM数据一致；利用问答知识库对所述问答交互日志执行问答分析，以确定所述坐席答案是否正确；以及对未通过所述话术分析、业务分析和问答分析中至少一项的问答交互日志进行标记以用于后续人工质检。2.如权利要求1所述的处理方法，其特征在于，所述执行话术分析包括：基于禁语词库检索所述问答交互日志的所述坐席答案中是否存在被标记为禁语的词语，若存在，则未通过所述话术分析。3.如权利要求1所述的处理方法，其特征在于，所述执行话术分析包括：基于情感词典检索所述问答交互日志的所述坐席答案中是否存在被标记为具有负面情感的文本，若存在，则未通过所述话术分析。4.如权利要求1所述的处理方法，其特征在于，所述执行话术分析包括：基于以语料作为训练集构建而成的情感分类器对所述问答交互日志的所述坐席答案进行情感分类，当分类结果为负面情感时，则未通过所述话术分析。5.如权利要求3或4所述的处理方法，其特征在于，所述话术分析是以词语、句子、或段落为单元来执行的。6.如权利要求1所述的处理方法，其特征在于，所述执行话术分析包括：基于禁语词库检索所述问答交互日志的所述坐席答案中是否存在被标记为禁语的词语，若存在则未通过所述话术分析，否则继续基于情感词典检索所述问答交互日志的所述坐席答案中是否存在被标记为具有负面情感的文本，若存在则未通过所述话术分析，否则通过所述话术分析。7.如权利要求1所述的处理方法，其特征在于，所述执行业务分析包括：对所述问答交互日志中的所述用户问句进行分词；从CRM数据库中提取与分词结果相关的CRM数据，以及判断提取的CRM数据与所述坐席答案是否一致，如一致，则通过所述业务分析。8.如权利要求1所述的处理方法，其特征在于，所述执行问答分析包括：确定所述问答知识库中是否存在与所述问答交互日志中的所述用户问句相匹配的标准问；若存在，则确定所匹配的标准问的所对应标准答案与所述问答交互日志中的所述坐席答案是否一致，若匹配则通过所述问答分析。9.如权利要求8所述的处理方法，其特征在于，所述用户问句匹配的确定通过语义相似度计算来执行。10.如权利要求9所述的处理方法，其特征在于，还包括：通过长文本分析方法确定所述用户问句包括M个问题，并通过长文本分析方法将所述坐席答案划分为M个子答案。11.如权利要求1所述的处理方法，其特征在于，还包括：将语音格式的问答交互日志转换为文本格式的问答交互日志并过滤无意义的问答数据。12.如权利要求1所述的处理方法，其特征在于，还包括：从被标记的问答交互日志提取客服信息。13.一种用于问答交互日志的处理装置，所述问答交互日志包括用户问句以及相应的坐席答案，所述处理装置包括：话术分析单元，用于对所述问答交互日志执行话术分析，以确定所述坐席答案是否存在禁语和/或负面情感；业务分析单元，用于利用CR...

【专利技术属性】
技术研发人员：林涵，张磊，朱频频，
申请(专利权)人：上海智臻智能网络科技股份有限公司，
类型：发明
国别省市：上海,31