基于表情分析的服务评价方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种基于表情分析的服务评价方法、装置、设备及存储介质，应用于深度学习技术领域，用于解决难以从客观角度获取到客户评价的问题。本发明专利技术提供的方法包括：获取目标视频；从目标视频中提取出各张面部图片；将各张面部图片分别投入至深度学习模型，得到面部特征值集合；针对每个面部图片，分别计算面部特征值集合与标准特征值集合之间的集合重合度，得到面部图片对应的各个集合重合度；针对每个面部图片，根据面部图片对应的各个集合重合度分别确定面部图片的各个评分值；针对每个面部图片，根据各个评分值和各个预设表情分类对应的预设权值计算得到面部图片的表情评分值；根据各个表情评分值计算得到评分均值，作为最终评分。

Service evaluation methods, devices, devices and storage media based on expression analysis

The invention discloses a service evaluation method, device, device and storage medium based on expression analysis, which is applied in the field of deep learning technology to solve the problem of difficult objectively obtaining customer evaluation. The method provided by the invention includes: acquiring target video; extracting each facial picture from target video; putting each facial picture into the depth learning model separately to obtain the set of facial eigenvalues; calculating the set coincidence degree between the set of facial eigenvalues and the set of standard eigenvalues respectively for each facial picture, and obtaining the set coincidence degree corresponding to each set of facial pictures. For each facial picture, each score value of the facial picture is determined according to the overlap degree of each set corresponding to the facial picture; for each facial picture, the expression score value of the facial picture is calculated according to each score value and the preset weight corresponding to each preset expression classification; and the average score value is calculated according to each expression score value as the final score.

【技术实现步骤摘要】
基于表情分析的服务评价方法、装置、设备及存储介质
本专利技术涉及深度学习
，尤其涉及基于表情分析的服务评价方法、装置、设备及存储介质。
技术介绍
大多企业设有自己的客服人员或业务人员，在业务推广时，业务人员需要与客户面对面交流，而在业务跟进阶段，则客服人员需要向客户回访或者接受客户的投诉建议等，也可能需要与客户面对面交流。这些工作人员与客户交流过程中给客户带来的满意程度对于企业维护客户来说至关重要，因此越来越多企业重视客户对业务服务过程的评价。然而，现有获取客户评价的方式主要是由客户自主对服务过程进行评价，比如让客户从“满意”、“一般”、“不满意”等几个评价选项中选取一个，由于客户个人具有强烈的主观意愿，在评价时往往涉及人情世故、风序良俗等因素，这就导致获取到的客户评价难以从客观的角度反映出业务服务过程的真实情况。因此，寻找一种能够从客观角度获取到客户评价的方法成为本领域技术人员亟需解决的问题。
技术实现思路
本专利技术实施例提供一种基于表情分析的服务评价方法、装置、计算机设备及存储介质，以解决难以从客观角度获取到客户评价的问题。一种基于表情分析的服务评价方法，包括：获取在目标业务服务过程中针对目标客户的面部表情录制的目标视频；从所述目标视频中提取出各张面部图片，所述面部图片包含有所述目标客户的面部表情；将各张所述面部图片作为输入分别投入至预先训练好的深度学习模型，得到所述深度学习模型输出的、各张所述面部图片各自对应的面部特征值集合；针对每张所述面部图片，分别计算所述面部图片对应的面部特征值集合与各个预设表情分类对应的标准特征值集合之间的集合重合度，得到所述面部图片对应的各个集合重合度；针对每张所述面部图片，根据所述面部图片对应的各个集合重合度分别确定所述面部图片的各个评分值；针对每张所述面部图片，根据所述各个评分值和各个预设表情分类对应的预设权值计算得到所述面部图片的表情评分值；在计算得到的各张所述面部图片各自对应的表情评分值之后，根据各个所述表情评分值计算得到评分均值，作为所述目标客户对所述目标业务服务过程的评分。一种基于表情分析的服务评价装置，包括：目标视频获取模块，用于获取在目标业务服务过程中针对目标客户的面部表情录制的目标视频；面部图片提取模块，用于从所述目标视频中提取出各张面部图片，所述面部图片包含有所述目标客户的面部表情；模型识别模块，用于将各张所述面部图片作为输入分别投入至预先训练好的深度学习模型，得到所述深度学习模型输出的、各张所述面部图片各自对应的面部特征值集合；重合度计算模块，用于针对每张所述面部图片，分别计算所述面部图片对应的面部特征值集合与各个预设表情分类对应的标准特征值集合之间的集合重合度，得到所述面部图片对应的各个集合重合度；评分值确定模块，用于针对每张所述面部图片，根据所述面部图片对应的各个集合重合度分别确定所述面部图片的各个评分值；评分值计算模块，用于针对每张所述面部图片，根据所述各个评分值和各个预设表情分类对应的预设权值计算得到所述面部图片的表情评分值；评分均值计算模块，用于在计算得到的各张所述面部图片各自对应的表情评分值之后，根据各个所述表情评分值计算得到评分均值，作为所述目标客户对所述目标业务服务过程的评分。一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于表情分析的服务评价方法的步骤。一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于表情分析的服务评价方法的步骤。上述基于表情分析的服务评价方法、装置、计算机设备及存储介质，首先，获取在目标业务服务过程中针对目标客户的面部表情录制的目标视频；然后，从所述目标视频中提取出各张面部图片，所述面部图片包含有所述目标客户的面部表情；接着，将各张所述面部图片作为输入分别投入至预先训练好的深度学习模型，得到所述深度学习模型输出的、各张所述面部图片各自对应的面部特征值集合；针对每张所述面部图片，分别计算所述面部图片对应的面部特征值集合与各个预设表情分类对应的标准特征值集合之间的集合重合度，得到所述面部图片对应的各个集合重合度；针对每张所述面部图片，根据所述面部图片对应的各个集合重合度分别确定所述面部图片的各个评分值；针对每张所述面部图片，根据所述各个评分值和各个预设表情分类对应的预设权值计算得到所述面部图片的表情评分值；在计算得到的各张所述面部图片各自对应的表情评分值之后，根据各个所述表情评分值计算得到评分均值，作为所述目标客户对所述目标业务服务过程的评分。可见，本专利技术是基于在业务服务过程中客户的面部表情进行分析，分析得到的该客户对业务服务过程的评分是基于客观因素(客户客观上出现的面部表情)的，基本排除了客户个人主观因素上的影响，从而可以认为本专利技术得到的评分能够从客观的角度反映出业务服务过程的真实情况，客观上体现了该客户对该业务服务过程的态度和评价。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术一实施例中基于表情分析的服务评价方法的一应用环境示意图；图2是本专利技术一实施例中基于表情分析的服务评价方法的一流程图；图3是本专利技术一实施例中基于表情分析的服务评价方法步骤102在一个应用场景下的流程示意图；图4是本专利技术一实施例中基于表情分析的服务评价方法在一个应用场景下预先训练深度学习模型的流程示意图；图5是本专利技术一实施例中基于表情分析的服务评价方法在一个应用场景下预先确定标准特征值集合的流程示意图；图6是本专利技术一实施例中基于表情分析的服务评价方法在一个应用场景下评分转换为客户评价的流程示意图；图7是本专利技术一实施例中基于表情分析的服务评价装置的结构示意图；图8是本专利技术一实施例中计算机设备的一示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本申请提供的基于表情分析的服务评价方法，可应用在如图1的应用环境中，其中，客户端通过网络与服务器进行通信。其中，该客户端可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。在一实施例中，如图2所示，提供一种基于表情分析的服务评价方法，以该方法应用在图1中的服务器为例进行说明，包括如下步骤：101、获取在目标业务服务过程中针对目标客户的面部表情录制的目标视频；本实施例中，在进行目标业务服务过程中，工作人员与目标客户面对面交流。这里所说的面对面交流可以是指工作人员在线下与目标客户交流，例如客户在柜台窗口与柜台人员交流，或者，可以是指工作人员在线上与目标客户通过远程视频进行交流，例如现有的视频客户与客户面对面开视频进行交流，双方均能看到对方的本文档来自技高网...

【技术保护点】
1.一种基于表情分析的服务评价方法，其特征在于，包括：获取在目标业务服务过程中针对目标客户的面部表情录制的目标视频；从所述目标视频中提取出各张面部图片，所述面部图片包含有所述目标客户的面部表情；将各张所述面部图片作为输入分别投入至预先训练好的深度学习模型，得到所述深度学习模型输出的、各张所述面部图片各自对应的面部特征值集合；针对每张所述面部图片，分别计算所述面部图片对应的面部特征值集合与各个预设表情分类对应的标准特征值集合之间的集合重合度，得到所述面部图片对应的各个集合重合度；针对每张所述面部图片，根据所述面部图片对应的各个集合重合度分别确定所述面部图片的各个评分值；针对每张所述面部图片，根据所述各个评分值和各个预设表情分类对应的预设权值计算得到所述面部图片的表情评分值；在计算得到的各张所述面部图片各自对应的表情评分值之后，根据各个所述表情评分值计算得到评分均值，作为所述目标客户对所述目标业务服务过程的评分。

【技术特征摘要】
1.一种基于表情分析的服务评价方法，其特征在于，包括：获取在目标业务服务过程中针对目标客户的面部表情录制的目标视频；从所述目标视频中提取出各张面部图片，所述面部图片包含有所述目标客户的面部表情；将各张所述面部图片作为输入分别投入至预先训练好的深度学习模型，得到所述深度学习模型输出的、各张所述面部图片各自对应的面部特征值集合；针对每张所述面部图片，分别计算所述面部图片对应的面部特征值集合与各个预设表情分类对应的标准特征值集合之间的集合重合度，得到所述面部图片对应的各个集合重合度；针对每张所述面部图片，根据所述面部图片对应的各个集合重合度分别确定所述面部图片的各个评分值；针对每张所述面部图片，根据所述各个评分值和各个预设表情分类对应的预设权值计算得到所述面部图片的表情评分值；在计算得到的各张所述面部图片各自对应的表情评分值之后，根据各个所述表情评分值计算得到评分均值，作为所述目标客户对所述目标业务服务过程的评分。2.根据权利要求1所述的基于表情分析的服务评价方法，其特征在于，所述深度学习模型通过以下步骤预先训练得到：获取作为样本的多张第一面部图片；提取所述第一面部图片上的各个第一面部特征值，得到所述第一面部图片的第一面部特征值集合；将所述第一面部图片作为输入投入至深度学习模型，得到所述深度学习模型的输出；以所述输出作为调整的目标，调整所述深度学习模型中的各个参数，以最小化得到的所述输出与所述第一面部特征值集合之间的误差；若所述误差满足预设条件，则确定当前的所述深度学习模型为训练好的深度学习模型。3.根据权利要求1所述的基于表情分析的服务评价方法，其特征在于，预设表情分类对应的标准特征值集合通过以下步骤预先确定：获取属于所述预设表情分类的多张第二面部图片，所述多张第二面部图片的数量超过预设的数量阈值；将所述多张第二面部图片作为输入分别投入至所述深度学习模型，得到所述深度学习模型输出的、所述多张第二面部图片各自对应的第二面部特征值集合；对比得到的多个所述第二面部特征值集合中的第二面部特征值，从所有所述第二面部特征值中筛选出各个共同面部特征值，所述共同面部特征值是指所述多张第二面部图片各自对应的第二面部特征值集合中均存在的第二面部特征值；将所述各个共同面部特征值的集合确定为所述预设表情分类对应的标准特征值集合。4.根据权利要求1所述的基于表情分析的服务评价方法，其特征在于，所述从所述目标视频中提取出各张面部图片包括：按照预设时间间隔从所述目标视频的开始播放时间点开始等间距地确定出各个抽帧时间点；将所述目标视频中各个所述抽帧时间点对应的视频帧抽取出来，得到各张面部图片。5.根据权利要求1至4中任一项所述的基于表情分析的服务评价方法，其特征在于，在根据各个所述表情评分值计算得到评分均值，作为所述目标客户对所述目标业务服务过程的评分之后，还包括：从预设的各个分值区间中选取出所述评分均值落入的一个分值区间；根据预设的区间满意度对应关系确定选取出的所述一个分值区间对应的客户满意度评价，所述区间满意度对应关系记录了各个分值区间与各个客户满意度评价之间的对应关系；将所述客户满意度评价确定为所述目标客户对所述目标业务服务过程的最终评价。6...

【专利技术属性】
技术研发人员：刘慧众，
申请(专利权)人：深圳壹账通智能科技有限公司，
类型：发明
国别省市：广东,44