本发明专利技术实施例提供一种触控交互的处理方法、装置和系统。本发明专利技术触控交互的处理方法，包括：接收肌电信号采集装置发送的第一信息，以及位置捕获装置发送的第二信息；若确定触控第一起始时间与触控第二起始时间之间的时间间隔小于预设阈值，且手型手势对应的触控点数与所述第二信息包括的触控点数一致，生成触控指令，所述触控指令包括所述肌电信号采集装置的设备标识、所述手型手势和各触控点的坐标信息；执行所述触控指令对应的交互操作。本发明专利技术实施例可以实现单用户双手或者多用户在同一区域同时进行触控交互操作。
【技术实现步骤摘要】
本专利技术实施例涉及人机交互领域，尤其涉及一种触控交互的处理方法、装置和系统。
技术介绍
触控技术是人机交互的关键技术之一，根据触控点的数目分为单点触控和多点触控。单点触控只能识别和支持每次一个手指的点击、触控。多点触控又称多重触控、多点感应，可以同时采集多点信号并进行手势识别，从而实现识别和支持五个手指同时做的点击、触控动作。由于触控操作便捷、自然、友好，其应用领域越来越广泛。现有技术中，通过检测界面上的触控点进行触控指令识别，一个触控点即为单点触控，多个触控点即为多点触控，但是该触控操作是由哪个用户哪只手哪几个手指进行的却无法区分。当单用户进行单手多点触控操作时，由于无法区分手指，因此可识别的多点触控指令也比较单一，比如食指加拇指的移动和中指加拇指的移动都识别为缩放操作。当单用户进行双手触控操作时，由于无法区分左右手，容易造成触控指令的混淆，比如将左右手单指的同时移动误识别为单手的食指加拇指的缩放操作。当多用户进行触控操作时，由于无法区分用户，多用户同时同区域的触控操作将无法实现。综上，现有技术存在如下缺陷:单用户双手或者多用户在同一区域同时进行触控操作时，容易造成触控指令的混淆。
技术实现思路
本专利技术实施例提供一种触控交互的处理方法、装置和系统，用以实现单用户双手或者多用户在同一区域同时进行触控交互操作。第一方面，本专利技术实施例提供一种触控交互的处理方法，包括:接收肌电信号采集装置发送的第一信息，以及位置捕获装置发送的第二信息；其中，所述第一信息包括所述肌电信号采集装置的设备标识、用户进行触控的手型手势，以及触控第一起始时间；所述第二信息包括所述用户进行触控的触控点数、触控第二起始时间和各触控点的坐标信息；所述触控第一起始时间为所述肌电信号采集装置识别出用户进行触控操作的起始时间，所述触控第二起始时间为所述位置捕获装置识别出用户进行触控操作的起始时间；若确定所述触控第一起始时间与所述触控第二起始时间之间的时间间隔小于预设阈值，且所述手型手势对应的触控点数与所述第二信息包括的所述触控点数一致，生成触控指令，所述触控指令包括所述肌电信号采集装置的设备标识、所述手型手势和所述各触控点的坐标信息；执行所述触控指令对应的交互操作。结合第一方面，在第一方面的第一种可能的实现方式中，所述方法还包括:持续接收所述肌电信号采集装置发送的所述用户进行触控的手型手势，以及所述位置捕获装置发送的所述各触控点的坐标信息，对所述触控指令进行更新。结合第一方面，在第一方面的第二种可能的实现方式中，所述第一信息中还包括用户进行触控的操作力度；所述触控指令中还包括所述操作力度。结合第一方面的第二种可能的实现方式，在第一方面的第三种可能的实现方式中，持续接收所述肌电信号采集装置发送的所述用户进行触控的手型手势和所述操作力度，以及所述位置捕获装置发送的所述各触控点的坐标信息，对所述触控指令进行更新。结合第一方面的第三种可能的实现方式，在第一方面的第四种可能的实现方式中，所述方法还包括:若确定所述操作力度小于第二预设门限值，删除所述触控指令。第二方面，本专利技术实施例提供一种触控交互的处理方法，包括:肌电信号采集装置周期性采集多个通道的表面肌电信号SI ；所述肌电信号采集装置根据所述表面肌电信号SI的时频域特征，确定用户进行触控的手型手势；根据所述手型手势确定触控第一起始时间；所述触控第一起始时间为所述肌电信号采集装置识别出用户进行触控操作的起始时间；所述肌电信号采集装置向处理装置发送第一信息，以供所述处理装置根据所述第一信息，以及位置捕获装置发送的第二信息，生成触控指令并执行对应的交互操作；其中，所述第一信息包括所述肌电信号采集装置的设备标识、所述手型手势，以及所述触控第一起始时间；所述第二信息包括所述用户进行触控的触控点数、触控第二起始时间和各触控点的坐标信息，所述触控第二起始时间为所述位置捕获装置识别出用户进行触控操作的起始时间。结合第二方面，在第二方面的第一种可能的实现方式中，所述肌电信号采集装置根据所述表面肌电信号Si的时频域特征，确定用户进行触控的手型手势包括:所述肌电信号采集装置根据所述表面肌电信号Si的幅值和频率，按照手型手势的类型进行所述手型手势的判断。结合第二方面，在第二方面的第二种可能的实现方式中，还包括:所述肌电信号采集装置根据所述表面肌电信号Si的时频域特征，确定用户进行触控的操作力度；则所述第一信息中还包括所述操作力度，所述根据所述手型手势确定触控第一起始时间为根据所述手型手势和所述操作力度确定所述触控第一起始时间。结合第二方面的第二种可能的实现方式，在第二方面的第三种可能的实现方式中，所述确定用户进行触控的操作力度包括:所述肌电信号采集装置将所述表面肌电信号SI进行叠加平均得到单通道肌电信号S2，并采用滑动时间窗的方式计算所述单通道肌电信号S2的平均幅值作为所述操作力度S。结合第二方面的第二种可能的实现方式，在第二方面的第四种可能的实现方式中，所述根据所述手型手势和所述操作力度确定所述触控第一起始时间包括:在获取所述手型手势和所述操作力度后，通过查表确定所述触控第一起始时间；其中，所述表中预先存储有各手型手势所对应的操作力度的第一预设门限值，若根据所述表面肌电信号Si获取的操作力度大于所述第一预设门限值，则获取当前的系统时间作为所述触控第一起始时间。结合第二方面或者第二方面的第一种至第四种任一种可能的实现方式，在第二方面的第五种可能的实现方式中，所述处理装置根据所述第一信息，以及位置捕获装置发送的第二信息，生成触控指令包括:所述处理装置确定所述触控第一起始时间与所述触控第二起始时间之间的时间间隔小于预设阈值，且所述手型手势对应的触控点数与所述第二信息包括的触控点数一致，则生成所述触控指令。第三方面，本专利技术实施例提供一种处理装置，包括:信息接收模块，用于接收肌电信号采集装置发送的第一信息，以及位置捕获装置发送的第二信息；其中，所述第一信息包括所述肌电信号采集装置的设备标识、用户进行触控的手型手势，以及触控第一起始时间；所述第二信息包括所述用户进行触控的触控点数、触控第二起始时间和各触控点的坐标信息；所述触控第一起始时间为所述肌电信号采集装置识别出用户进行触控操作的起始时间，所述触控第二起始时间为所述位置捕获装置识别出用户进行触控操作的起始时间；指令生成模块，用于若确定所述触控第一起始时间与所述触控第二起始时间之间的时间间隔小于预设阈值，且所述手型手势对应的触控点数与所述第二信息包括的所述触控点数一致，生成触控指令，所述触控指令包括所述肌电信号采集装置的设备标识、所述手型手势和所述各触控点的坐标信息；指令执行模块，用于执行所述触控指令对应的交互操作。结合第三方面，在第三方面的第一种可能的实现方式中，所述指令生成模块还用于，根据所述信息接收模块持续接收到的所述肌电信号采集装置发送的所述用户进行触控的手型手势，以及所述位置捕获装置发送的各触控点的坐标信息，对所述触控指令进行更新。结合第三方面，在第三方面的第二种可能的实现方式中，所述第一信息中还包括用户进行触控的操作力度；所述触控指令中还包括所述操作力度。结合第三方面的第二种可能的实现方式，在第三方面的第三种可能的实现方式中，所述指令生成模块还用于，本文档来自技高网...
【技术保护点】
一种触控交互的处理方法，其特征在于，包括：接收肌电信号采集装置发送的第一信息，以及位置捕获装置发送的第二信息；其中，所述第一信息包括所述肌电信号采集装置的设备标识、用户进行触控的手型手势，以及触控第一起始时间；所述第二信息包括所述用户进行触控的触控点数、触控第二起始时间和各触控点的坐标信息；所述触控第一起始时间为所述肌电信号采集装置识别出用户进行触控操作的起始时间，所述触控第二起始时间为所述位置捕获装置识别出用户进行触控操作的起始时间；若确定所述触控第一起始时间与所述触控第二起始时间之间的时间间隔小于预设阈值，且所述手型手势对应的触控点数与所述第二信息包括的所述触控点数一致，生成触控指令，所述触控指令包括所述肌电信号采集装置的设备标识、所述手型手势和所述各触控点的坐标信息；执行所述触控指令对应的交互操作。
【技术特征摘要】
【专利技术属性】
技术研发人员：丁强，高小榕，黄肖山，
申请(专利权)人：华为技术有限公司，清华大学，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。