触控屏故障检测系统、方法以及触控屏设备技术方案

本说明书提供的触控屏故障检测系统、方法以及触控屏设备，通过在触控屏的不同位置设置多个麦克风，采集用户点击触控屏的声音信号，从而判断用户点击触控屏的位置。同时，所述触控屏故障检测系统可以将基于麦克风信号识别的触摸位置与基于触控屏的触控信号识别的触摸位置进行融合，以对触控屏进行故障检测，不仅可以检测触控屏感知故障，还可以检测处理器运行故障。运行故障。运行故障。

【技术实现步骤摘要】
触控屏故障检测系统、方法以及触控屏设备


[0001]本说明书涉及触控屏控制
，尤其涉及一种触控屏故障检测系统、方法以及触控屏设备。

技术介绍

[0002]随着互联网技术的快速发展，大屏幕的触控屏类智能设备越来越多地应用到各行各业，比如无人值守场景，比如自助结算机、无人售卖货柜、酒店的自助入住机，等等。触控屏类智能设备是线下商业场景数字化服务的重要切入口。因为没有工作人员可以及时发现设备的故障并进行维护，一旦设备发生故障停止响应，会对用户产生极大的困扰，导致体验下降。现有技术中，触控屏的故障检测方法主要是通过检测触控屏在接收到用户的触摸操作后，处理器是否响应于用户的操作执行相应的内容，来判断触控屏是否存在故障，主要用于检测由于触控屏与处理器之间的通信故障或者处理器软件运行故障引起的死机，无法检测由于触控屏本身无法感知用户的触摸操作而引起的死机。
[0003]因此，需要提供一种更全面的触控屏故障检测系统、方法以及触控屏设备，不仅可以检测由于软件运行故障引起的死机，还可以检测由于触控屏本身感应故障引起的死机。

技术实现思路

[0004]本说明书提供一种更全面的触控屏故障检测系统、方法以及触控屏设备，不仅可以检测由于软件运行故障引起的死机，还可以检测由于触控屏本身感应故障引起的死机。
[0005]第一方面，本说明书提供一种触控屏故障检测系统，用于触控屏设备，所述触控屏设备包括触控屏，所述触控屏故障检测系统包括至少两个麦克风以及检测装置，所述至少两个麦克风安装在所述触控屏设备内部并靠近所述触控屏，被配置为采集用户点击所述触控屏时的声音并输出至少两个目标音频信号；所述检测装置与所述至少两个麦克风以及所述触控屏通信连接，接收所述至少两个目标音频信号以及所述触控屏输出的触控信号，基于所述至少两个目标音频信号以及所述触控信号共同对所述触控屏设备进行故障检测。
[0006]在一些实施例中，所述基于所述至少两个目标音频信号以及所述触控信号共同对所述触控屏设备进行故障检测，包括：基于当前时刻对应的目标时间窗口内的所述至少两个目标音频信号的变化，确定第一计算结果，所述第一计算结果包括所述用户在所述目标时间窗口内执行了目标动作，所述目标动作包括点击所述触控屏；基于所述目标时间窗口内的所述触控信号的变化，确定第二计算结果，所述第二计算结果包括所述用户在所述目标时间窗口内执行了所述目标动作或者没有执行所述目标动作；以及将所述第一计算结果与所述第二计算结果进行匹配，确定所述触控屏设备是否存在故障。
[0007]在一些实施例中，所述第一计算结果还包括所述当前时刻所述用户点击所述触控屏的第一位置；所述触控信号包括所述当前时刻所述用户点击所述触控屏的第二位置；所述将所述第一计算结果与所述第二计算结果进行匹配，确定所述触控屏设备是否存在故障，包括：确定所述第二计算结果与所述第一计算结果不匹配，确定所述触控屏设备存在第
一故障，所述第一故障包括所述触控屏感知故障，所述故障包括所述第一故障；或者确定所述第二计算结果与所述第一计算结果匹配，基于目标位置以及所述当前时刻之前的N个历史时刻所述用户点击所述触控屏的N个历史位置，确定所述触控屏设备是否存在第二故障，所述第二故障包括软件运行故障，所述故障包括所述第二故障，其中，所述目标位置包括所述第一位置或所述第二位置，所述N为不小于1的整数。
[0008]在一些实施例中，所述基于当前时刻对应的目标时间窗口内的所述至少两个目标音频信号的变化，确定第一计算结果，包括：获取预先训练好的动作识别模型，所述动作识别模型是基于所述至少两个麦克风输出的多个样本数据及其对应的多个样本标签训练得到的；以及将所述至少两个目标音频信号输入所述动作识别模型，确定所述第一计算结果。
[0009]在一些实施例中，所述多个样本数据中的每个样本数据包括：在标定人员点击所述触控屏时，所述至少两个麦克风输出的至少两个第一样本音频信号；以及在所述标定人员停止点击所述触控屏时，所述至少两个麦克风输出的至少两个第二样本音频信号；所述多个样本标签中的每个样本标签包括其对应的样本数据中，所述标定人员点击所述触控屏的样本位置，所述样本位置是基于所述标定人员点击所述触控屏时所述触控屏输出的触控信号得到的。
[0010]在一些实施例中，所述至少两个麦克风安装在所述触控屏上的不同位置，所述检测装置中预先存储有所述至少两个麦克风的安装位置；所述基于当前时刻对应的目标时间窗口内的所述至少两个目标音频信号的变化，确定第一计算结果，包括：获取所述至少两个目标音频信号中的每个目标音频信号在所述目标时间窗口内不同时间点的信号差；确定所述至少两个目标音频信号中的至少一个目标音频信号的所述信号差超过预设值，确定所述用户在所述目标时间窗口内点击了所述触控屏；以及基于所述至少两个目标音频信号对应的所述信号差的相位差，确定所述第一位置。
[0011]在一些实施例中，所述触控屏包括触控组件和显示屏，所述触控组件覆盖在所述显示屏上方，并输出所述触控信号，所述基于所述目标位置以及所述当前时刻之前的N个历史时刻所述用户点击所述触控屏的历史位置，确定所述触控屏设备是否存在第二故障，包括：获取所述目标位置以及所述N个历史位置；以及将所述目标位置与所述N个历史位置相匹配，确定所述触控屏设备是否存在所述第二故障，包括：确定所述目标位置与所述N个历史位置的距离在预设范围内，并且所述当前时刻所述显示屏的显示内容没有变化，确定所述触控屏设备存在所述第二故障，否则确定所述触控屏设备不存在所述故障。
[0012]第二方面，本说明书还提供一种触控屏故障检测方法，应用于本说明书第一方面所述的触控屏故障检测系统，包括：获取所述至少两个目标音频信号；获取所述触控屏输出的所述触控信号；以及基于所述至少两个目标音频信号以及所述触控信号共同对所述触控屏设备进行故障检测。
[0013]在一些实施例中，所述基于所述至少两个目标音频信号以及所述触控信号共同对所述触控屏设备进行故障检测，包括：基于当前时刻对应的目标时间窗口内的所述至少两个目标音频信号的变化，确定第一计算结果，所述第一计算结果包括所述用户在所述目标时间窗口内执行了目标动作，所述目标动作包括点击所述触控屏；基于所述目标时间窗口内的所述触控信号的变化，确定第二计算结果，所述第二计算结果包括所述用户在所述目标时间窗口内执行了所述目标动作或者没有执行所述目标动作；以及将所述第一计算结果
与所述第二计算结果进行匹配，确定所述触控屏设备是否存在故障。
[0014]在一些实施例中，所述第一计算结果还包括所述当前时刻所述用户点击所述触控屏的第一位置；所述触控信号包括所述当前时刻所述用户点击所述触控屏的第二位置；所述将所述第一计算结果与所述第二计算结果进行匹配，确定所述触控屏设备是否存在故障，包括：确定所述第二计算结果与所述第一计算结果不匹配，确定所述触控屏设备存在第一故障，所述第一故障包括所述触控屏感知故障，所述故障包括所述第一故障；或者确定所述第二计算结果与所述第一计算结果匹配，基于目标位置以及所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种触控屏故障检测系统，用于触控屏设备，所述触控屏设备包括触控屏，所述触控屏故障检测系统包括：至少两个麦克风，安装在所述触控屏设备内部并靠近所述触控屏，被配置为采集用户点击所述触控屏时的声音并输出至少两个目标音频信号；以及检测装置，与所述至少两个麦克风以及所述触控屏通信连接，接收所述至少两个目标音频信号以及所述触控屏输出的触控信号，基于所述至少两个目标音频信号以及所述触控信号共同对所述触控屏设备进行故障检测。2.如权利要求1所述的触控屏故障检测系统，其中，所述基于所述至少两个目标音频信号以及所述触控信号共同对所述触控屏设备进行故障检测，包括：基于当前时刻对应的目标时间窗口内的所述至少两个目标音频信号的变化，确定第一计算结果，所述第一计算结果包括所述用户在所述目标时间窗口内执行了目标动作，所述目标动作包括点击所述触控屏；基于所述目标时间窗口内的所述触控信号的变化，确定第二计算结果，所述第二计算结果包括所述用户在所述目标时间窗口内执行了所述目标动作或者没有执行所述目标动作；以及将所述第一计算结果与所述第二计算结果进行匹配，确定所述触控屏设备是否存在故障。3.如权利要求2所述的触控屏故障检测系统，其中，所述第一计算结果还包括所述当前时刻所述用户点击所述触控屏的第一位置；所述触控信号包括所述当前时刻所述用户点击所述触控屏的第二位置；所述将所述第一计算结果与所述第二计算结果进行匹配，确定所述触控屏设备是否存在故障，包括：确定所述第二计算结果与所述第一计算结果不匹配，确定所述触控屏设备存在第一故障，所述第一故障包括所述触控屏感知故障，所述故障包括所述第一故障；或者确定所述第二计算结果与所述第一计算结果匹配，基于目标位置以及所述当前时刻之前的N个历史时刻所述用户点击所述触控屏的N个历史位置，确定所述触控屏设备是否存在第二故障，所述第二故障包括软件运行故障，所述故障包括所述第二故障，其中，所述目标位置包括所述第一位置或所述第二位置，所述N为不小于1的整数。4.如权利要求3所述的触控屏故障检测系统，其中，所述基于当前时刻对应的目标时间窗口内的所述至少两个目标音频信号的变化，确定第一计算结果，包括：获取预先训练好的动作识别模型，所述动作识别模型是基于所述至少两个麦克风输出的多个样本数据及其对应的多个样本标签训练得到的；以及将所述至少两个目标音频信号输入所述动作识别模型，确定所述第一计算结果。5.如权利要求4所述的触控屏故障检测系统，其中，所述多个样本数据中的每个样本数据包括：在标定人员点击所述触控屏时，所述至少两个麦克风输出的至少两个第一样本音频信号；以及在所述标定人员停止点击所述触控屏时，所述至少两个麦克风输出的至少两个第二样本音频信号；
所述多个样本标签中的每个样本标签包括其对应的样本数据中，所述标定人员点击所述触控屏的样本位置，所述样本位置是基于所述标定人员点击所述触控屏时所述触控屏输出的触控信号得到的。6.如权利要求3所述的触控屏故障检测系统，其中，所述至少两个麦克风安装在所述触控屏上的不同位置，所述检测装置中预先存储有所述至少两个麦克风的安装位置；所述基于当前时刻对应的目标时间窗口内的所述至少两个目标音频信号的变化，确定第一计算结果，包括：获取所述至少两个目标音频信号中的每个目标音频信号在所述目标时间窗口内不同时间点的信号差；确定所述至少两个目标音频信号中的至少一个目标音频信号的所述信号差超过预设值，确定所述用户在所述目标时间窗口内点击了所述触控屏；以及基于所述至少两个目标音频信号对应的所述信号差的相位差，确定所述第一位置。7.如权利要求3所述的触控屏故障检测系统，其中，所述触控屏包括触控组件和显示屏，所述触控组件覆盖在所述显示屏上方，并输出所述触控信号，所述基于所述目标位置以及所述当前时刻之前的N个历史时刻所述用户点击所述触控屏的历史位置，确定所述触控屏设备是否存在第二故障，包括：获取所述目标位置以及所述N个历史位置；以及将所述目标位置与所述N个历史位置相匹配，确定所述触控屏设备是否存在所述第二故障，包括：确定所述目标位置与所述N个历史位置的距离在预设范围内，并且所述当前时刻所述显示屏的显示内容没有变化，确定所述触控屏设备存在所述第二故障，否则确定所述触控屏设备不存在所述故障。8.一种触控屏故障检测方法，应用于权利要求1所述的触控屏故障检测系统，包括：获...

【专利技术属性】
技术研发人员：李默，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：