自助机具使用向导方法、系统、设备和介质技术方案

本申请属于计算机技术领域，具体涉及一种基于深度学习的自助机具使用向导方法、系统、设备和介质，该方法包括：S10、获取待检测视频流；S20、通过目标检测模型对待检测视频流进行目标客户检测，得到目标客户检测结果；S30、基于目标客户检测结果，生成第一语音控制信号和第一激光控制信号；S40、获取显示屏图像，将显示屏图像输入到图像匹配模型，得到相应的操作界面图像，基于操作界面图像生成用于驱动激光投影装置投射激光引导标记至当前操作区域的第二激光控制信号和用于驱动语音装置生成相应操作提示的第二语音控制信号。本申请方法通过引导业务办理，缩短了业务办理时间，提高了用户体验，并且不影响现有系统的正常使用。并且不影响现有系统的正常使用。并且不影响现有系统的正常使用。

【技术实现步骤摘要】
自助机具使用向导方法、系统、设备和介质


[0001]本申请属于计算机
，具体涉及一种基于深度学习的自助机具使用向导方法。

技术介绍

[0002]自助终端在金融、医疗、交通和教育等领域应用越来越普及，大大方便了人们的生活。目前自助设备上的人机交互通常采用触摸显示器来实现，业务办理时需要客户自己识别操作区域进行指令输入，缺少业务办理的引导功能。在业务流程复杂或老年客户不熟悉触摸屏操作时，导致业务办理时间延长，降低了用户体验。若在现有系统上增加提示功能，需要进行软硬件升级改造，而且中断系统运行，影响系统的正常使用。

技术实现思路

[0003](一)要解决的技术问题
[0004]鉴于现有技术的上述缺点、不足，本申请提供一种基于深度学习的自助机具使用向导方法、系统、设备和介质。
[0005](二)技术方案
[0006]为达到上述目的，本申请采用如下技术方案：
[0007]第一方面，本申请实施例提供一种基于深度学习的自助机具使用向导方法，该方法包括：
[0008]S10、获取通过第一视频采集装置实时采集的预设区域的视频流作为待检测视频流；
[0009]S20、通过预先训练的目标检测模型对所述待检测视频流进行目标客户检测，得到目标客户检测结果；
[0010]S30、基于所述目标客户检测结果，生成第一语音控制信号和第一激光控制信号，所述第一语音控制信号和所述第一激光控制信号用于控制语音装置和激光投影装置分别输出业务办理的第一语音提示和第一激光引导标记；r/>[0011]S40、获取通过第二视频采集装置实时采集的所述自助机具的显示屏图像，将所述显示屏图像输入到训练好的图像匹配模型，得到相应的操作界面图像，基于所述操作界面图像生成用于驱动所述激光投影装置投射激光引导标记至当前显示屏显示界面中操作区域的第二激光控制信号和用于驱动语音装置生成相应操作提示的第二语音控制信号；其中，所述图像匹配模型为基于卷积神经网络建立的网络模型。
[0012]可选地，S30还包括：
[0013]S31、获取音频采集装置实时采集的音频信号，通过谱减算法对所述音频信号进行降噪处理，得到有效音频数据；
[0014]S32、通过语音端点检测算法，对所述有效音频数据进行语音检测，得到有效语音数据；
[0015]S33、通过预设的语音识别模型，对所述有效语音数据进行语音识别，得到所述目标对象的对话文本信息；
[0016]S34、通过预设的关键词检测模型，对所述对话文本信息进行关键词检测，得到业务办理关键词；
[0017]S35、基于所述业务办理关键词生成第三语音控制信号和第三激光控制信号。
[0018]可选地，S40中，基于所述操作界面图像生成用于驱动所述激光投影装置投射激光引导标记至当前显示屏显示界面中操作区域的第二激光控制信号和用于驱动语音装置生成相应操作提示的第二语音控制信号，包括：
[0019]基于所述操作界面图像从预先建立的显示屏操作界面库中匹配得到相应的预置操作界面图像，所述显示屏操作界面库包括每个业务办理流程中每个步骤的操作界面图像并标记有可操作区域的位置信息；
[0020]根据匹配得到的预置操作界面图像对所述第二视频采集装置进行校准；
[0021]基于可操作区域的位置信息，确定激光引导标记的投射位置和操作提示文本信息；
[0022]基于所述投射位置和所述操作提示文本信息生成第二激光控制信号和第二语音控制信号。
[0023]可选地，在S10之前还包括：
[0024]建立显示屏操作界面库，所述显示屏操作界面库中的每个操作界面图像标记有业务名称、业务办理中的位次顺序信息和可操作区域的位置信息；
[0025]确定所述可操作区域的操作提示文本信息，并建立所述可操作区域的位置信息和所述操作提示文本信息间的映射关系；
[0026]建立所述操作界面图像和所述激光投影装置点阵位置映射的转换矩阵。
[0027]可选地，将所述显示屏图像输入到训练好的图像匹配模型，得到相应的操作界面图像，包括：
[0028]分别提取所述显示屏图像的基本图像特征、SIFT图像特征，所述基本图像特征为边缘特征、关键点特征、直方图特征中的一种或多种；
[0029]基于所述基本图像特征、所述SIFT图像特征和所述图像匹配模型得到的图像特征进行特征融合；
[0030]基于特征融合结果确定相应的操作界面图像。
[0031]可选地，所述第一语音控制信号和所述语音控制信号通过预设的TTS引擎生成。
[0032]第二方面，本申请实施例提供一种基于深度学习的自助机具使用向导系统，该系统包括第一视频采集装置、第二视频采集装置、语音装置、激光投影装置和控制装置，所述第一视频采集装置、所述第二视频采集装置、所述语音装置、所述激光投影装置分别与所述控制装置连接；
[0033]所述第一视频采集装置，用于采集目标对象的视频信号，并所述视频信号以视频流的形式发送至所述控制装置；
[0034]所述第二视频采集装置，用于采集自助机具的显示屏图像，并所述显示屏图像发送至所述控制装置；
[0035]所述控制装置，用于接收所述视频流和所述显示屏图像，并基于所述视频流和所
述显示屏图像采用如上第一方面任一项所述的基于深度学习的自助机具使用向导方法输出语音控制信号至所述语音装置和激光控制信号至所述激光投影装置；
[0036]所述语音装置，用于基于所述语音控制信号输出语音提示；
[0037]所述激光投影装置，用于基于所述激光控制信号输出激光引导标记。
[0038]可选地，所述激光投影装置为激光投影阵列，所述激光投影阵列包括以二维阵列形式排列的多个激光光源和与每个激光光源连接的控制开关。
[0039]第三方面，本申请实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上第一方面任一项所述的基于深度学习的自助机具使用向导方法的步骤。
[0040]第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被所述处理器执行时实现如上第一方面任一项所述的基于深度学习的自助机具使用向导方法的步骤。
[0041](三)有益效果
[0042]本申请的有益效果是：本申请提出了一种基于深度学习的自助机具使用向导方法，包括：S10、获取通过第一视频采集装置实时采集的预设区域的视频流作为待检测视频流；S20、通过预先训练的目标检测模型对待检测视频流进行目标客户检测，得到目标客户检测结果；S30、基于目标客户检测结果，生成第一语音控制信号和第一激光控制信号；S40、获取通过第二视频采集装置实时采集的自助机具的显示屏图像，将显示屏图像输入到训练好的图像匹配模型，得到相应的操作界面图像，基于操作界面图像生成用于驱动激光投影装置投射激光引导标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的自助机具使用向导方法，其特征在于，该方法包括：S10、获取通过第一视频采集装置实时采集的预设区域的视频流作为待检测视频流；S20、通过预先训练的目标检测模型对所述待检测视频流进行目标客户检测，得到目标客户检测结果；S30、基于所述目标客户检测结果，生成第一语音控制信号和第一激光控制信号，所述第一语音控制信号和所述第一激光控制信号用于控制语音装置和激光投影装置分别输出业务办理的第一语音提示和第一激光引导标记；S40、获取通过第二视频采集装置实时采集的所述自助机具的显示屏图像，将所述显示屏图像输入到训练好的图像匹配模型，得到相应的操作界面图像，基于所述操作界面图像生成用于驱动所述激光投影装置投射激光引导标记至当前显示屏显示界面中操作区域的第二激光控制信号和用于驱动语音装置生成相应操作提示的第二语音控制信号；其中，所述图像匹配模型为基于卷积神经网络建立的网络模型。2.根据权利要求1所述的基于深度学习的自助机具使用向导方法，其特征在于，S30还包括：S31、获取音频采集装置实时采集的音频信号，通过谱减算法对所述音频信号进行降噪处理，得到有效音频数据；S32、通过语音端点检测算法，对所述有效音频数据进行语音检测，得到有效语音数据；S33、通过预设的语音识别模型，对所述有效语音数据进行语音识别，得到所述目标对象的对话文本信息；S34、通过预设的关键词检测模型，对所述对话文本信息进行关键词检测，得到业务办理关键词；S35、基于所述业务办理关键词生成第三语音控制信号和第三激光控制信号。3.根据权利要求1所述的基于深度学习的自助机具使用向导方法，其特征在于，S40中，基于所述操作界面图像生成用于驱动所述激光投影装置投射激光引导标记至当前显示屏显示界面中操作区域的第二激光控制信号和用于驱动语音装置生成相应操作提示的第二语音控制信号，包括：基于所述操作界面图像从预先建立的显示屏操作界面库中匹配得到相应的预置操作界面图像，所述显示屏操作界面库包括每个业务办理流程中每个步骤的操作界面图像并标记有可操作区域的位置信息；根据匹配得到的预置操作界面图像对所述第二视频采集装置进行校准；基于可操作区域的位置信息，确定激光引导标记的投射位置和操作提示文本信息；基于所述投射位置和所述操作提示文本信息生成第二激光控制信号和第二语音控制信号。4.根据权利要求3所述的基于深度学习的自助机具使用向导方法，其特征在于，在S10之前还包括：建立显示屏操作界面库，所述显示屏操作界面库中的每个操作界面图像标记有业务名...

【专利技术属性】
技术研发人员：郭长柱，汝骏仁，郭星，
申请(专利权)人：江苏范特科技有限公司，
类型：发明
国别省市：