一种基于手势交互的方法及系统技术方案

本申请提供的一种基于手势交互的方法及系统，该方法包括：获取用户手部的图像数据和/或视频数据作为第一数据；获取对所述第一数据进行识别的识别结果；若所述识别结果为从所述第一数据中确定所述用户的手部轮廓，与目标用户的手部轮廓匹配，则引导所述用户以第一交互模式进行交互；若所述识别结果为所述用户的手部轮廓与目标用户的手部轮廓不匹配，或所述用户以第一交互模式进行交互失败，则引导所述用户以第二交互模式进行交互；若所述用户以第二交互模式进行交互失败，则引导所述用户以第三交互模式进行交互，直至实现所述用户成功交互。本申请实施例能够兼顾用户进行手势交互的效率和安全性，以提升用户进行手势交互的体验。验。验。

【技术实现步骤摘要】
一种基于手势交互的方法及系统


[0001]本申请涉及计算机
，尤其涉及一种基于手势交互的方法及系统。

技术介绍

[0002]随着数字化及信息技术的发展，基于用户的手势进行交互已经越来越普遍。现如今，手势交互可以分为接触式和非接触式，即用户在手势交互时是否与设备接触。
[0003]然而，无论采用那种形式的手势交互，若只考虑高交互效率让用户很快完成手势交互，则会忽略实现交互目标的安全性；相应地，若考虑高安全性设置繁琐的手势交互流程，则会大大降低手势交互的效率。因此现有手势交互无法兼顾交互效率和安全性。

技术实现思路

[0004]本专利技术实施例的目的在于提供一种基于手势交互的方法及系统，本申请实施例能够通过灵活的手势交互规则，来实现兼顾用户进行手势交互的效率和安全性。具体技术方案如下：
[0005]在本专利技术实施例的第一方面，提供一种基于手势交互的方法，包括：
[0006]获取用户手部的图像数据和/或视频数据作为第一数据；
[0007]获取对所述第一数据进行识别的识别结果；
[0008]若所述识别结果为从所述第一数据中确定所述用户的手部轮廓，与目标用户的手部轮廓匹配，则引导所述用户以第一交互模式进行交互；
[0009]若所述识别结果为所述用户的手部轮廓与目标用户的手部轮廓不匹配，或所述用户以第一交互模式进行交互失败，则引导所述用户以第二交互模式进行交互；
[0010]若所述用户以第二交互模式进行交互失败，则引导所述用户以第三交互模式进行交互，直至实现所述用户成功交互。
[0011]可选地，所述若所述识别结果为从所述第一数据中确定所述用户的手部轮廓，与目标用户的手部轮廓匹配，则引导所述用户以第一交互模式进行交互，包括：
[0012]根据所述图像数据，获取所述用户的手部轮廓作为第一轮廓；
[0013]根据所述第一轮廓，获取所述第一轮廓的多个关键点；
[0014]获取与所述第一轮廓的多个关键点对应的多个匹配点；其中，所述匹配点来自第二轮廓，所述第二轮廓为所述目标用户的手部轮廓；
[0015]计算每个所述关键点与每个所述匹配点的匹配值，得到所述匹配值的和值；其中，若所述和值大于预设阈值，则判定所述识别结果为成功，引导所述用户以第一交互模式进行交互。
[0016]可选地，所述第一交互模式为第一非接触交互，所述引导所述用户以第一交互模式进行交互，包括：
[0017]获取所述用户的第三轮廓，所述第三轮廓为所述第一轮廓对应手部的另一手部轮廓；
[0018]计算所述第三轮廓对应的关键点与匹配点的匹配值之和，若所述匹配值之和大于所述预设阈值，则判定所述用户以所述第一交互模式进行交互成功，否则为交互失败。
[0019]可选地，所述引导所述用户以第二交互模式进行交互，包括：
[0020]判断所述第二数据中是否包含所述目标手势类型；其中，所述第二数据为在所述第一交互模式交互失败后获取的所述用户手部的图像数据和/或视频数据；
[0021]若判断出所述第二数据中包含所述目标手势类型，则引导所述用户以第二交互模式进行交互。
[0022]可选地，所述第二交互模式为第二非接触交互，所述引导所述用户以第二交互模式进行交互，包括：
[0023]获取所述用户的第三数据，所述第三数据包括所述用户的双手手势和人脸的图像数据和/或视频数据；
[0024]对所述第三数据进行识别，若所述用户的双手手势包含目标双手手势类型，且所述用户的人脸通过识别，则判定所述用户以所述第二交互模式进行交互成功，否则为交互失败。
[0025]可选地，所述第三交互模式为接触式交互，所述引导所述用户以第三交互模式进行交互，包括：
[0026]获取第四数据，所述第四数据为所述用户手部与交互界面进行交互时的图像数据和/或视频数据；
[0027]判断所述第四数据是否满足预设条件，若满足则判定所述用户以所述第三交互模式进行交互成功，若不满足则为交互失败。
[0028]可选地，所述判断所述第四数据是否满足预设条件，包括：
[0029]获取所述用户与所述交互界面进行交互时用到的操作手指、所述操作手指的数量，以及所述操作手指的运动轨迹；
[0030]若所述操作手指、所述操作手指的数量，以及所述操作手指的运动轨迹均通过识别，则判断所述第四数据满足所述预设条件，否则不满足。
[0031]可选地，所述第三交互模式还包括密码交互。
[0032]在本专利技术实施例的又一方面，提供一种基于手势交互的系统，所述系统包括：
[0033]第一数据获取模块，用于获取用户手部的图像数据和/或视频数据作为第一数据；
[0034]识别结果获取模块，用于获取对所述第一数据进行识别的识别结果；
[0035]第一交互模块，若所述识别结果为从所述第一数据中确定所述用户的手部轮廓，用于与目标用户的手部轮廓匹配，则引导所述用户以第一交互模式进行交互；
[0036]第二交互模块，若所述识别结果为所述用户的手部轮廓与目标用户的手部轮廓不匹配，或所述用户以第一交互模式进行交互失败，则用于引导所述用户以第二交互模式进行交互；
[0037]第三交互模块，若所述用户以第二交互模式进行交互失败，则用于引导所述用户以第三交互模式进行交互，直至实现所述用户成功交互。
[0038]在本专利技术实施例的又一方面，提供一种基于手势交互的装置，包括：处理器，所述处理器用于执行如权利要求1～7任一项所述的方法有益效果：
[0039](1)本申请实施例通过提供三种手势交互模式，用户以一种交互模式失败的情况
下，还可以通过下一个交互模式继续进行交互，从而极大地提高了手势交互的灵活性和安全性。
[0040](2)本申请实施例中，用户在以一种交互模型进行交互成功后，无需再进入下一个交互模式，但仍会以当前交互模式以另一只手或双手配合的方式进行交互，从而兼顾了手势交互的效率和安全性。
附图说明
[0041]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0042]图1是本申请实施例提供的一种基于手势交互的系统的应用场景示意图；
[0043]图2是本申请实施例提供的一种基于手势交互的方法的流程示意图；
[0044]图3是本申请实施例提供的对用户的手部轮廓进行匹配的示意图；
[0045]图4是本申请实施例提供的用户以第三交互模式进行交互的示意图；
[0046]图5是本申请实施例提供的一种基于手势交互的系统的结构示意图。
具体实施方式
[0047]为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于手势交互的方法，其特征在于，包括：获取用户手部的图像数据和/或视频数据作为第一数据；获取对所述第一数据进行识别的识别结果；若所述识别结果为从所述第一数据中确定所述用户的手部轮廓，与目标用户的手部轮廓匹配，则引导所述用户以第一交互模式进行交互；若所述识别结果为所述用户的手部轮廓与目标用户的手部轮廓不匹配，或所述用户以第一交互模式进行交互失败，则引导所述用户以第二交互模式进行交互；若所述用户以第二交互模式进行交互失败，则引导所述用户以第三交互模式进行交互，直至实现所述用户成功交互。2.根据权利要求1所述的方法，其特征在于，所述若所述识别结果为从所述第一数据中确定所述用户的手部轮廓，与目标用户的手部轮廓匹配，则引导所述用户以第一交互模式进行交互，包括：根据所述图像数据，获取所述用户的手部轮廓作为第一轮廓；根据所述第一轮廓，获取所述第一轮廓的多个关键点；获取与所述第一轮廓的多个关键点对应的多个匹配点；其中，所述匹配点来自第二轮廓，所述第二轮廓为所述目标用户的手部轮廓；计算每个所述关键点与每个所述匹配点的匹配值，得到所述匹配值的和值；其中，若所述和值大于预设阈值，则判定所述识别结果为成功，引导所述用户以第一交互模式进行交互。3.根据权利要求2所述的方法，其特征在于，所述第一交互模式为第一非接触交互，所述引导所述用户以第一交互模式进行交互，包括：获取所述用户的第三轮廓，所述第三轮廓为所述第一轮廓对应手部的另一手部轮廓；计算所述第三轮廓对应的关键点与匹配点的匹配值之和，若所述匹配值之和大于所述预设阈值，则判定所述用户以所述第一交互模式进行交互成功，否则为交互失败。4.根据权利要求1所述的方法，其特征在于，所述引导所述用户以第二交互模式进行交互，包括：判断所述第二数据中是否包含所述目标手势类型；其中，所述第二数据为在所述第一交互模式交互失败后获取的所述用户手部的图像数据和/或视频数据；若判断出所述第二数据中包含所述目标手势类型，则引导所述用户以第二交互模式进行交互。5.根据权利要求4所述的方法，其特征在于，所述第二交...

【专利技术属性】
技术研发人员：ꢀ七四专利代理机构，
申请(专利权)人：北京拙河科技有限公司，
类型：发明
国别省市：