基于用户任务的手势识别方法技术

本发明专利技术提供了一种基于用户任务的手势识别方法，包括：获取交互对象；穷举所述交互对象的所有操作，并提取每个操作的手势特征向量，形成手势集知识库；把用户执行所述交互对象的功能时从初始状态到结束状态的操作按顺序连接起来，形成用户任务，并将全部用户任务集成为用户任务表；检测并跟踪用户手势与所述交互对象的交互行为，跟所述手势集知识库中的手势特征向量对比，基于产品功能来区分用户与产品之间有意义的交互手势，把用户无意识的手势操作分离出来，最后仅执行并反馈有意义的用户手势的结果。本发明专利技术能够减少手势识别中需要检测和处理的数据，提高手势识别的效率和准确率。

【技术实现步骤摘要】
基于用户任务的手势识别方法
本专利技术涉及人机交互
，特别是涉及一种基于用户任务的手势识别方法。
技术介绍
手势是人类表达非语言类的意图感知的主要载体，随着科技的发展，对于手势识别的研究越来越热门。目前对手势识别的研究主要以手势检测、捕捉、跟踪等为主，研究者们总是力求准确的识别出用户的每一个手势，尽量真实的还原与展现在智能设备上，想以此提高人机交互的真实性。然而，用户在与智能设备的交互中，有些手势是无意图、无目的，按照当前对手势的研究并不能区分出这些无意图的手势，这无疑会给手势识别系统增加过多的处理数据，使原本已经很复杂的算法及处理过程更加冗杂，势必会造成处理效率低下；更为严重的是，这些无意图手势还可能造成交互设备的误反馈、误操作，导致手势识别的准确性大大降低，用户体验降低。
技术实现思路
本专利技术的目的在于提出一种基于用户任务的手势识别方法，以根据产品功能划分用户与产品交互手势的意图和目的，由此把用户无意识的手势操作区分出来，减少手势识别中需要检测和处理的数据，从而提高手势识别的效率和准确率。为了解决上述技术问题，本专利技术的技术方案如下：基于用户任务的手势识别方法，包括：步骤A、获取交互对象；步骤B、穷举所述交互对象的所有操作，并提取每个操作的手势特征向量，形成手势集知识库；步骤C、把用户执行所述交互对象的功能时从初始状态到结束状态的操作按顺序连接起来，形成用户任务，并将全部用户任务集成为用户任务表；步骤D、检测并跟踪用户手势与所述交互对象的交互行为，跟所述手势集知识库中的手势特征向量对比：子步骤D1，当第N个用户手势与所述手势集知识库中的手势特征向量匹配时，则执行第N个用户手势命令，其中N为自然数；子步骤D2，当第N+1个用户手势也与所述手势集知识库中的手势特征向量匹配时，则判断第N+1个用户手势和第N个用户手势是否属于同一个用户任务里面按照顺序且连接的两个用户手势，如果是，则执行第N+1个用户手势命令。在子步骤D2中，如果第N+1个用户手势和第N个用户手势不属于同一个用户任务里面按照顺序且连接的两个用户手势，则根据第N+1个用户手势改进所述交互对象的执行方式，获得改良设计的交互对象。本专利技术的优点是：第一，预先设定产品各项功能对应的用户任务，得到用户任务表。由于基于用户任务的手势识别方法能够在具有主观性，随意性，模糊性的手势中分离出有意义的手势，过滤掉大量的无意义手势，从而大为减少了需要检测和处理的手势数据，提高手势识别的效率和准确率；第二，能够根据用户用目的明确但操作方式与产品设计不符的手势，获知用户表达出来的对产品的预期，由此改进产品设计，使产品更贴近用户需求和预期，提升产品的用户接收度以及用户体验；第三，一定程度上预测用户行为，通过设定好的用户任务，当用户执行某个操作时，判断这个操作存在哪个用户任务中，从而知道用户下一步可能的操作，能提高交互对象对手势作出反馈的速度。附图说明图1是本专利技术的步骤流程图；图2是本专利技术实施例中执行煮食的用户任务的用户手势指令序列图；图3(a)是本专利技术实施例中抓取物体的手势示例图；图3(b)是本专利技术实施例中旋转物体的手势示例图。具体实施方式为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本专利技术作进一步详细的说明。实施例如图1，基于用户任务的手势识别方法，包括步骤A、获取交互对象；步骤B、穷举所述交互对象的所有操作，并提取每个操作的手势特征向量，形成手势集知识库；步骤C、把用户执行所述交互对象的功能时从初始状态到结束状态的操作按顺序连接起来，形成用户任务，并将全部用户任务集成为用户任务表；步骤D、检测并跟踪用户手势与所述交互对象的交互行为，跟所述手势集知识库中的手势特征向量对比：子步骤D1，当第N个用户手势与所述手势集知识库中的手势特征向量匹配时，则执行第N个用户手势命令，其中N为自然数；子步骤D2，当第N+1个用户手势也与所述手势集知识库中的手势特征向量匹配时，则判断第N+1个用户手势和第N个用户手势是否属于同一个用户任务里面按照顺序且连接的两个用户手势，如果是，则执行第N+1个用户手势命令。其中，本专利技术所指的交互对象，是能够与用户进行交互的客体，例如虚拟产品或产品3D模型，具有一定的感知用户行为并作出反馈的能力。在这样的一交互对象中，执行某一个产品功能的初始状态到目标状态需要经历的所有行为操作构成了一种用户任务，一个产品有多个功能，于是一个产品对应于多个用户任务，多个用户任务组合在一起，形成了用户任务表。每个用户任务并不一定是唯一的，从初始状态到目标状态往往存在多种行为操作的组合，以打电话为例：用户任务一：“打开通讯录”、“选择某人”、“拨打电话”用户任务二：“打开拨号盘”、“输入号码”、“拨打电话”提出用户任务主要是因为用户对一个产品的意象往往是模糊的，这让产品设计师难以捕捉用户意图，特别是通过非语言类的姿势表达，如果要将用户模糊的信息转化为适当的产品设计元素，使设计出来的产品尽可能与用户的意象模型相一致，甚至超出其期望，这无论是对设计师还是感知系统来说，都难以承受，需要处理过多的未知变量和运算量。用户任务概念的提出能够很好的处理这个问题。主要是用户任务有很清晰的用户目标。基于用户任务对用户手势所表达的意图感知进行识别时，可以把用户意图分为三种类型：第一种是系统预期的意图I1，也就是系统期望用户会执行的操作；第二种是用户可能选择执行但不是系统预期的意图I2，这一类型往往是用户按照自己的理解去执行某个操作，但是这个操作是错误的；第三种类型就是无意义的用户行为I3，这一类型的操作是最多的，系统可以完全忽略的，把这一类型归类为无意义行为可以大大减少未知变量和运算量，从而让系统准确而高效的感知用户意图。如图2所示，现以阿迪锅产品设计为例讲述如何通过用户任务的方法获取用户意图。阿迪锅与人的手势交互任务如表一所示，包含四个用户任务：移动，煮食，获取食物，清洗对象。为了更好的描述计算机视觉手势，将每一个任务分解成一个或者多个子任务，并赋给每个子任务一个用户手势指令Gi(i＝{1，2……n，n为正整数})。表一：阿迪锅的用户任务为了让手势捕捉具有更一般的通用性，本实施例采用基于计算机视觉的手势识别方案，基于用户任务的用户意图感知在计算机视觉手势界面方面的解决效果尤其明显。最经典的就是能够有效避免计算机视觉手势界面中的经典难题——“点石成金MidasTouch”问题。用户意图模糊性以及“MidasTouch”问题，是用户意图感知以及计算机视觉手势识别的关键问题。由于用户手势是跟一个产品或者一项服务有关的，一个产品或者一个服务系统的功能是有限的，这就意味着一个手势系统中，有意义的手势总是有限的，从而能够穷举并预先总结出用户任务表。如表一所示的阿迪锅用户任务表，其中用户手势指令G7与G13就构成了一个“MidasTouch”问题：当用户顺时针旋转锅盖时，执行用户手势指令G7，用户目标是子任务密封，这个动作完成之后用户的手势会有一个恢复期，即逆时针恢复到正常状态，但是这时候会有一个有效但非预期的用户手势指令G13，即“打开锅盖”，虽然用户做了打开锅盖的手势，但是用户并没有打开锅盖的用户目标，这就是用户意图的第二种类型。这个时候手势系统正确的执行指令本文档来自技高网...

【技术保护点】
基于用户任务的手势识别方法，其特征在于，包括：步骤A、获取交互对象；步骤B、穷举所述交互对象的所有操作，并提取每个操作的手势特征向量，形成手势集知识库；步骤C、把用户执行所述交互对象的功能时从初始状态到结束状态的操作按顺序连接起来，形成用户任务，并将全部用户任务集成为用户任务表；步骤D、检测并跟踪用户手势与所述交互对象的交互行为，跟所述手势集知识库中的手势特征向量对比：子步骤D1，当第N个用户手势与所述手势集知识库中的手势特征向量匹配时，则执行第N个用户手势命令，其中N为自然数；子步骤D2，当第N+1个用户手势也与所述手势集知识库中的手势特征向量匹配时，则判断第N+1个用户手势和第N个用户手势是否属于同一个用户任务里面按照顺序且连接的两个用户手势，如果是，则执行第N+1个用户手势命令。

【技术特征摘要】
1.基于用户任务的手势识别方法，其特征在于，包括：步骤A、获取交互对象；步骤B、穷举所述交互对象的所有操作，并提取每个操作的手势特征向量，形成手势集知识库；步骤C、把用户执行所述交互对象的功能时从初始状态到结束状态的操作按顺序连接起来，形成用户任务，并将全部用户任务集成为用户任务表；步骤D、检测并跟踪用户手势与所述交互对象的交互行为，跟所述手势集知识库中的手势特征向量对比：子步骤D1，当第N个用户手势与所述手势集知识库中的手势特征向量匹配时，则执行第N个用户手势命令，...

【专利技术属性】
技术研发人员：何汉武，杨贤，吴悦明，陈和恩，梁剑斌，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：广东;44