服务质量检测方法、质量检测模型的训练方法及相关设备技术

本申请公开了一种服务质量检测方法、质量检测模型的训练方法及相关设备。所述服务质量检测方法包括：获取客服与用户之间的目标对话的对话文本以及目标对话对应的日志文本；对对话文本和日志文本进行拼接得到目标拼接文本，并确定目标拼接文本的角色标注信息；将目标拼接文本和角色标注信息输入目标质量检测模型，得到客服在N个服务指标的指标评分，目标质量检测模型包括编码网络和N个检测网络，编码网络用于基于角色标注信息对目标拼接文本进行编码得到语义表示向量，每个检测网络用于基于语义表示向量评估客服在一个服务指标的指标评分，N为大于1的整数；基于客服在N个服务指标的指标评分，确定客服的服务质量评分。确定客服的服务质量评分。确定客服的服务质量评分。

【技术实现步骤摘要】
服务质量检测方法、质量检测模型的训练方法及相关设备


[0001]本申请涉及自然语言处理
，尤其涉及一种服务质量检测方法、质量检测模型的训练方法及相关设备。

技术介绍

[0002]客户服务(简称客服)是指企业在客户购买、使用服务或产品前后向客户提供帮助，包括提供产品建议、解决客户问题或投诉以及回答一般性问题等等。优秀的客户服务能够助力企业提升客户的忠诚度，同时也能增加企业的知名度。因此，对客户服务质量的自动化检测就显得尤其重要。
[0003]传统的服务质量检测方法，往往仅在单一维度对客服服务质量进行检测，比如用户对客服的服务打分结果，这就导致检测结果不客观、不准确，不利于客服服务的精细化运营。

技术实现思路

[0004]本申请实施例的目的提供一种服务质量检测方法、质量检测模型的训练方法及相关设备，用于解决通过传统的服务质量检测方法进行服务质量检测所得的检测结果不准确的问题。
[0005]为了实现上述目的，本申请实施例采用下述技术方案：
[0006]第一方面，本申请实施例提供一种服务质量检测方法，包括：
[0007]获取客服与用户之间的目标对话的对话文本以及所述目标对话对应的日志文本，所述日志文本用于描述所述目标对话涉及的业务和所述业务的处理时长；
[0008]对所述目标对话的对话文本和所述日志文本进行拼接得到目标拼接文本，并确定所述目标拼接文本的角色标注信息，所述角色标注信息用于标注所述目标拼接文本中的对话文本及日志文本；
[0009]将所述目标拼接文本和所述角色标注信息输入目标质量检测模型，得到所述客服在N个服务指标的指标评分，其中，所述目标质量检测模型包括编码网络和N个检测网络，所述编码网络用于基于所述角色标注信息对所述目标拼接文本进行编码得到语义表示向量，每个检测网络用于基于所述语义表示向量评估所述客服在一个服务指标的指标评分，N为大于1的整数；
[0010]基于所述客服在所述N个服务指标的指标评分，确定所述客服的服务质量评分。
[0011]本申请实施例提供的服务质量检测方法，由于客服与用户之间的目标对话的对话文本能够客观地反映客服的服务规范性，目标对话对应的日志文本描述了目标对话涉及的业务和该业务的办理时长，进而目标对话对应的日志文本能够客观地反映客服在服务过程中对业务办理的响应速度，基于对目标对话的对话文本和日志文本进行拼接后所得的目标拼接文本对客服进行服务质量检测，可以脱离用户对客服主观评价的弊端，而是从服务过程本身进行质量检测，有效提高服务质量检测的客观性和准确性；此外，对于客服的服务质
量检测，基于具有编码网络和N个检测网络的目标质量检测模型来实现，通过编码网络对目标拼接文本进行编码，得到的语义表示向量能够准确表示对话文本的语义和日志文本的语义，进一步通过每个检测网络基于语义表示向量评估客服在一个服务指标的指标评分，以及基于客服在N个服务指标的指标评分，确定客服的服务质量，由此，不仅可以提高服务质量检测效率，还可以从多个维度对客服服务质量进行检测，提高检测结果的准确性，有利于客服服务的精细化运营。
[0012]第二方面，本申请实施例提供一种质量检测模型的训练方法，包括：
[0013]获取多个样本对话的对话文本、每个样本对话对应的日志文本以及每个样本对话所属客服的服务质量标签，每个样本对话包括客服与用户之间的至少一轮对话，所述日志文本用于描述对应的样本对话涉及的业务和所述业务的办理时长，所述服务质量标签用于表示对应的客服在N个服务指标的指标评分，N为大于1的整数；
[0014]对每个样本对话的对话文本和日志文本进行拼接，得到每个样本对话的样本拼接文本，并确定所述样本拼接文本的角色标注信息，所述角色标注信息用于标注所述样本拼接文本中的对话文本及日志文本；
[0015]将每个样本对话的样本拼接文本及角色标注信息输入待训练的质量检测模型，得到每个样本对话所属客服在所述N个服务指标的预估指标评分，其中，所述质量检测模型包括编码网络和N个检测网络，所述编码网络用于基于每个样本拼接文本的角色标注信息对每个样本拼接文本进行编码得到每个样本拼接文本的语义表示向量，每个检测网络用于基于每个样本拼接文本的语义表示向量评估每个样本对话所属客服在一个服务指标的预估指标评分；
[0016]基于所述多个样本对话各自所属客服在所述N个服务指标的预估指标评分以及所述多个样本对话各自所属客服的服务质量标签，调整所述质量检测模型的模型参数，以得到目标质量检测模型。
[0017]本申请实施例提供的质量检测模型的训练方法，由于客服与用户之间的样本对话的对话文本能够客观地反映客服的服务规范性，样本对话对应的日志文本描述了样本对话涉及的业务和该业务的办理时长，进而样本对话对应的日志文本能够客观地反映客服在服务过程中对业务办理的响应速度，基于对样本对话的对话文本和日志文本进行拼接后所得的样本拼接文本对以及样本对话所属客服的服务质量标签，训练质量检测模型，使得质量检测模型能够脱离用户对客服主观评价的弊端，而是学习从服务过程本身对客服进行质量检测，有效提高质量检测模型的检测客观性和准确性；在此基础上，质量检测模型采用具有编码网络和N个检测网络的结构，通过对该结构的质量检测模型进行训练，使得训练得到的目标质量检测模型能够从多个维度客观、准确地对客服服务质量进行检测，有利于客服服务的精细化运营。
[0018]第三方面，本申请实施例提供一种服务质量检测装置，包括：
[0019]第一获取单元，用于获取客服与用户之间的目标对话的对话文本以及所述目标对话对应的日志文本，所述日志文本用于描述所述目标对话涉及的业务和所述业务的处理时长；
[0020]第一确定单元，用于对所述目标对话的对话文本和所述日志文本进行拼接得到目标拼接文本，并确定所述目标拼接文本的角色标注信息，所述角色标注信息用于标注所述
目标拼接文本中的对话文本及日志文本；
[0021]第一评分单元，用于将所述目标拼接文本和所述角色标注信息输入目标质量检测模型，得到所述客服在N个服务指标的指标评分，其中，所述目标质量检测模型包括编码网络和N个检测网络，所述编码网络用于基于所述角色标注信息对所述目标拼接文本进行编码得到语义表示向量，每个检测网络用于基于所述语义表示向量评估所述客服在一个服务指标的指标评分，N为大于1的整数；
[0022]第二评分单元，用于基于所述客服在所述N个服务指标的指标评分，确定所述客服的服务质量评分。
[0023]第四方面，本申请实施例提供一种质量检测模型的训练装置，包括：
[0024]第二获取单元，用于获取多个样本对话的对话文本、每个样本对话对应的日志文本以及每个样本对话所属客服的服务质量标签，每个样本对话包括客服与用户之间的至少一轮对话，所述日志文本用于描述对应的样本对话涉及的业务和所述业务的办理时长，所述服务质量标签用于表示对应的客服在N个服务指标的指标评分，N为大于1的整数；
[0025]第二确定单元，用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种服务质量检测方法，其特征在于，包括：获取客服与用户之间的目标对话的对话文本以及所述目标对话对应的日志文本，所述日志文本用于描述所述目标对话涉及的业务和所述业务的处理时长；对所述目标对话的对话文本和所述日志文本进行拼接得到目标拼接文本，并确定所述目标拼接文本的角色标注信息，所述角色标注信息用于标注所述目标拼接文本中的对话文本及日志文本；将所述目标拼接文本和所述角色标注信息输入目标质量检测模型，得到所述客服在N个服务指标的指标评分，其中，所述目标质量检测模型包括编码网络和N个检测网络，所述编码网络用于基于所述角色标注信息对所述目标拼接文本进行编码得到语义表示向量，每个检测网络用于基于所述语义表示向量评估所述客服在一个服务指标的指标评分，N为大于1的整数；基于所述客服在所述N个服务指标的指标评分，确定所述客服的服务质量评分。2.根据权利要求1所述的方法，其特征在于，所述日志文本通过如下方式获得：获取所述目标对话对应的操作日志，所述操作日志记录有所述客服在与所述用户对话的过程中执行的操作；解析所述操作日志，得到所述目标对话的对话开始时间戳、所述目标对话涉及的业务以及业务办理操作的执行时间戳，所述业务办理操作为用于办理所述业务的操作；确定所述对话开始时间戳与所述执行时间戳之间的间隔时长，作为所述业务的处理时长；基于所述业务和所述业务的处理时长，生成所述日志文本。3.根据权利要求1所述的方法，其特征在于，所述对所述目标对话的对话文本和所述日志文本进行拼接，得到目标拼接文本，包括：基于所述目标对话的对话轮数，确定所述目标对话的对话类型，所述对话类型包括短对话和长对话；基于所述对话类型，从所述目标对话的对话文本中选取至少一轮对话的对话文本，作为目标对话文本；将所述目标对话文本与所述日志文本进行拼接，得到候选拼接文本；在所述候选拼接文本中首个句子之前增加用于表示所述对话类型的对话标识符，以及在所述候选拼接文本中的预设位置增加连接标识符，得到所述目标拼接文本，其中，所述预设位置包括如下位置中的至少一个：所述候选拼接文本中相邻的客服对话文本与用户对话文本之间的位置，所述候选拼接文本中所述目标对话文本与所述日志文本之间的位置，所述客服对话文本为所述候选拼接文本中属于所述客服的对话文本，所述用户对话文本为所述候选拼接文本中属于所述用户的对话文本。4.根据权利要求3所述的方法，其特征在于，所述基于所述对话类型，从所述目标对话的对话文本中选取至少一轮对话的对话文本，作为所述目标对话文本，包括：若所述目标对话的对话类型为长对话，则基于所述目标对话包含的对话轮数，将所述目标对话划分为多组对话，每组对话包含至少一轮对话；基于每组对话在所述目标对话中的对话顺序以及每组对话包含的对话轮数，从每组对话的对话文本中选取出至少一轮对话，作为每组对话对应的候选对话文本；
基于每组对话在所述目标对话中的对话顺序，对所述每组对话对应的候选对话文本进行拼接，得到所述目标对话文本。5.根据权利要求1所述的方法，其特征在于，所述确定所述目标拼接文本的角色标注信息，包括：获取所述目标拼接文本中的每个第一类字符对应的第一类角色标识符，其中，所述第一类字符为所述目标拼接文本中的对话文本包含的字符，所述第一类角色标识符用于表示对应的第一类字符所在对话文本所属的说话人角色，所述说话人角色包括所述客服或者所述用户；获取所述目标拼接文本中的每个第二类字符对应的第二类角色标识符，其中，所述第二类字符为所述目标拼接文本中的日志文本包含的字符，所述第二类角色标识符用于表示对应的第二类字符属于所述日志文本；对所述目标拼接文本中每个第一类字符对应的第一类角色标识符以及每个第二类字符对应的第二类角色标识符进行拼接，得到所述角色标注信息。6.根据权利要求1所述的方法，其特征在于，所述编码网络包括嵌入模块和编码模块；所述嵌入模块用于对所述目标拼接文本中的每个字符进行嵌入处理，得到所述目标拼接文本中每个字符对应的字符表示向量，以及对所述角色标注信息进行嵌入处理，得到所述角色标注信息的角色表示向量；所述编码模块用于基于所述目标拼接文本中每个字符对应的字符表示向量和所述角色标注信息的角色表示向量进行编码，得到所述语义表示向量。7.根据权利要求6所述的方法，其特征在于，每个字符对应的字符表示向量包括每个字符对应的字向量、位置向量、声母向量以及韵母向量；所述角色标注信息包括所述目标拼接文本中每个字符对应的角色标识符，所述角色标注信息的角色表示向量包括所述目标拼接文本中每个字符对应的角色表示向量；所述嵌入模块包括字嵌入层、位置嵌入层、声母嵌入层、韵母嵌入层以及角色嵌入层；所述字嵌入层用于对所述目标拼接文本中每个字符进行嵌入处理，得到所述目标拼接文本中每个字符对应的...

【专利技术属性】
技术研发人员：汪自立，马超，夏粉，陆全，吴海英，肖冰，蒋宁，
申请(专利权)人：马上消费金融股份有限公司，
类型：发明
国别省市：