应用于客服终端的交互方法和系统技术方案

本公开的实施例提供了一种应用于客服终端的交互方法和系统，其中，所述方法包括：响应于在预设时间段内重复检测到目标用户的人脸位于交互区域时，提取所述目标用户的人体轮廓特征；对所述目标用户进行锁定跟踪，根据所述人体轮廓特征，确定感兴趣区域，其中，所述感兴趣区域包括手部区域；按照第一预设时间间隔提取所述手部区域内的目标用户的手势图像帧，对所述手势图像帧进行识别，生成识别结果；根据所述识别结果，发送反馈信息。以此方式，能够有效为特殊乘客提供咨询服务，提高运营效率，进而提高用户体验。而提高用户体验。而提高用户体验。

【技术实现步骤摘要】
应用于客服终端的交互方法和系统


[0001]本公开涉及轨道交通
，尤其涉及应用于客服终端的交互方法和系统。

技术介绍

[0002]随着城市的发展，轨道交通在人的出行过程中扮演着越来越重要的角色，而人们在乘坐地铁的过程中难免会遇到各种各样的问题，例如票卡异常、信息问询、寻找遗失物品等，地铁运营方解决乘客服务方面的负担越来越重。无人客服终端可以解决乘客大部分的信息咨询、票卡异常、失物招领等方面的问题，有效减少地铁车站运营人员的重复性劳动。
[0003]但是对于特殊乘客，如听障人士和阅读障碍人群，难以使用触摸交互，因此，无人客服终端也难以有效为特殊乘客提供咨询服务，从而降低运营效率，影响用户体验。

技术实现思路

[0004]为解决现有技术中存在的上述技术问题，本公开实施例提供了一种应用于客服终端的交互方法和系统。
[0005]根据本公开的第一方面，提供了一种应用于客服终端的交互方法，包括：
[0006]响应于在预设时间段内重复检测到目标用户的人脸位于交互区域时，提取所述目标用户的人体轮廓特征；
[0007]对所述目标用户进行锁定跟踪，根据所述人体轮廓特征，确定感兴趣区域，其中，所述感兴趣区域包括手部区域；
[0008]按照第一预设时间间隔提取所述手部区域内的目标用户的手势图像帧，对所述手势图像帧进行识别，生成识别结果；
[0009]根据所述识别结果，发送反馈信息。
[0010]在一些实施例中，所述在预设时间段内重复检测到目标用户的人脸位于交互区域，包括：
[0011]当在所述交互区域内第一次检测到人脸图像时，开始计时；
[0012]当在预设时间段内按照预设时间间隔再次在所述交互区域内检测到所述人脸图像时，确定在预设时间段内重复检测到目标用户的人脸位于交互区域。
[0013]在一些实施例中，所述提取所述目标用户的人体轮廓特征，包括：
[0014]通过Hog特征结合SVM分类器对所述目标用户的人体轮廓特征进行提取，屏蔽所述人体轮廓特征以外的图像区域。
[0015]在一些实施例中，所述通过Hog特征结合SVM分类器对所述目标用户的人体轮廓特征进行提取，包括：
[0016]对交互区域内的图像进行灰度化和归一化处理，生成灰度图像；
[0017]对所述灰度图像中的每个像素点计算水平梯度和垂直梯度，进而计算对应的梯度幅值和梯度方向；
[0018]根据所述梯度幅值和所述梯度方向确定所述灰度图像的特征向量；
[0019]利用预先训练的SVM分类器对所述特征向量进行识别，提取所述目标用户的人体轮廓特征。
[0020]在一些实施例中，还包括：
[0021]采用三帧差分法和轮廓特征提取算法对所述目标用于的人体进行追踪，识别人体轮廓特征点的移动方向和距离，对所述目标用户进行跟踪，动态生成感兴趣区域。
[0022]在一些实施例中，所述感兴趣区域还包括嘴部区域，所述方法还包括：
[0023]对所述嘴部区域的特征进行识别，响应于检测到嘴唇动作，记录起始时间和第一偏移时间，其中，所述第一偏移时间为嘴唇动作的检测时间；
[0024]响应于检测到嘴唇动作停止，记录终止时间和第二偏移时间，其中，所述第二偏移时间为嘴唇动作停止的检测时间；
[0025]根据所述记录起始时间、所述第一偏移时间、所述终止时间和所述第二偏移时间截取录音；
[0026]根据后台服务器对截取的录音进行识别的结果，输出答复信息。
[0027]在一些实施例中，所述根据所述识别结果，发送反馈信息，包括：
[0028]根据所述识别结果，发送对应的语音信息和/或在交互界面显示对应的内容。
[0029]根据本公开的第二方面，提供了一种应用于客服终端的交互系统，包括：
[0030]人体轮廓特征提取模块，用于响应于在预设时间段内重复检测到目标用户的人脸位于交互区域时，提取所述目标用户的人体轮廓特征；
[0031]感兴趣区域确定模块，用于对所述目标用户进行锁定跟踪，根据所述人体轮廓特征，确定感兴趣区域，其中，所述感兴趣区域包括手部区域；
[0032]识别结果生成模块，用于按照第一预设时间间隔提取所述手部区域内的目标用户的手势图像帧，对所述手势图像帧进行识别，生成识别结果；
[0033]信息反馈模块，用于根据所述识别结果，发送反馈信息。
[0034]根据本公开的第三方面，提供了一种电子设备。该电子设备包括：存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如以上第一方面所述的方法。
[0035]根据本公开的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如以上第一方面所述的方法。
[0036]应当理解，
技术实现思路
部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。
[0037]本公开实施例的应用于客服终端的交互方法，能够有效为特殊乘客提供咨询服务，提高运营效率，进而提高用户体验。
附图说明
[0038]结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。附图用于更好地理解本方案，不构成对本公开的限定在附图中，相同或相似的附图标记表示相同或相似的元素，其中：
[0039]图1示出了根据本公开的实施例的应用于客服终端的交互方法的流程图；
[0040]图2示出了根据本公开的实施例的应用于客服终端的交互系统的框图；
[0041]图3示出了能够实施本公开的实施例的示例性电子设备的方框图；
[0042]图4示出了本公开的实施例的应用于客服终端的交互系统的结构示意图。
具体实施方式
[0043]为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本公开保护的范围。
[0044]另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
[0045]本公开实施例的应用于客服终端的交互方法，能够替代和减少地铁站站务人员的重复性劳动，降低人工成本，为乘客提供丰富的信息，提高乘客出行满意度，并且不仅能够为正常乘客提供咨询信息，同时还能为特殊乘客提供咨询服务，从而提高运营效率，提高用户体验。
[0046]具体地，如图1所示，为本公开的实施例的应用于客服终端的交互方法的流程图。本实施例的应用于客服终端的交互方法，可以包括以下本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种应用于客服终端的交互方法，其特征在于，包括：响应于在预设时间段内重复检测到目标用户的人脸位于交互区域时，提取所述目标用户的人体轮廓特征；对所述目标用户进行锁定跟踪，根据所述人体轮廓特征，确定感兴趣区域，其中，所述感兴趣区域包括手部区域；按照第一预设时间间隔提取所述手部区域内的目标用户的手势图像帧，对所述手势图像帧进行识别，生成识别结果；根据所述识别结果，发送反馈信息。2.根据权利要求1所述的交互方法，其特征在于，所述在预设时间段内重复检测到目标用户的人脸位于交互区域，包括：当在所述交互区域内第一次检测到人脸图像时，开始计时；当在预设时间段内按照预设时间间隔再次在所述交互区域内检测到所述人脸图像时，确定在预设时间段内重复检测到目标用户的人脸位于交互区域。3.根据权利要求2所述的交互方法，其特征在于，所述提取所述目标用户的人体轮廓特征，包括：通过Hog特征结合SVM分类器对所述目标用户的人体轮廓特征进行提取，屏蔽所述人体轮廓特征以外的图像区域。4.根据权利要求3所述的交互方法，其特征在于，所述通过Hog特征结合SVM分类器对所述目标用户的人体轮廓特征进行提取，包括：对交互区域内的图像进行灰度化和归一化处理，生成灰度图像；对所述灰度图像中的每个像素点计算水平梯度和垂直梯度，进而计算对应的梯度幅值和梯度方向；根据所述梯度幅值和所述梯度方向确定所述灰度图像的特征向量；利用预先训练的SVM分类器对所述特征向量进行识别，提取所述目标用户的人体轮廓特征。5.根据权利要求4所述的交互方法，其特征在于，还包括：采用三帧差分法和轮廓特征提取算法对所述目标用于的人体进行追踪，识别人体轮廓特征点的移动方向和距离，对所述目标用户...

【专利技术属性】
技术研发人员：高召松，王任文，包峰，
申请(专利权)人：交控科技股份有限公司，
类型：发明
国别省市：