【技术实现步骤摘要】
本专利技术涉及机器视觉技术和人机交互控制领域,特别涉及一种手势运动映射到界面的增益自适应调整方法。
技术介绍
近年来,基于视觉的手势交互技术由于其自然、直接、能摆脱设备束缚、便于共享等优点,正日益成为非接触式人机交互技术的主要发展方向,并逐步广泛应用在大屏幕终端的交互技术上。其常用的操作方式为手势漫游,即将用户手掌在物理空间中的运动映射为光标在显示屏上的移动,实现对光标的操作。在该领域中,速度导向映射方式得到了普遍的运用。在基于视觉的手势交互过程中,由于摄像头的成像原理,从人手到摄像机的映射往往是不稳定的。实际工作中,受设备因素(屏幕大小、分辨率)、用户因素(视力、娱乐类型)或环境因素(障碍物、家具摆设)等影响,用户与摄像头的距离的变化范围是不确定的,无法预判用户与摄像头的距离为设置合适的映射关系带来了困难。而交互过程中距离的变化也可能是极大的,比如用户进行游戏时,可能从2m移动到1m处,人手映射到屏幕界面的移动距离与人手在空中的移动距离的增益(符号g,以下简称CD增益)变为原来的2倍。以三星电视的手势控制系统为例(见图1),当用户站在距离电视屏幕大约1.6m的位置以中等速度利用手势交互方式控制光标移动时,大概需要d=15cm的移动幅度就能使光标水平横跨屏幕。然而,当用户在距离屏幕大约3.0m的位置以同样的速度移动时,则需要d’=30cm的手部移动幅度。也就是说,此时CD增益会随着用户-摄像头距离的增加而下降,反之亦然。这种CD增益的改变,使得交互任务的运动要求和任务的视觉尺度产生变化,导致了不自然和不可意料的移动,容易引起操作错误。过小或过大的CD增益 ...
【技术保护点】
一种手势运动映射到界面的增益自适应调整方法,其特征在于,包括以下步骤:S1.摄像头采集视频图像;S2.对采集所得的摄像视频图像进行处理和分析:进行肤色分割,框定检测到的人手和人脸区域作为感兴趣的区域,检测到有效手势,用户进一步获取手势控制权;S3.跟踪用户手部的运动轨迹,识别视频图像中用户手掌的宽度信息x,并通过人脸识别来判断用户的性别,确定人类手掌的平均宽度h0;S4.获取在前一帧以及本帧图像中用户手部运动的位置信息,计算人手在摄像机跟踪的视频序列的移动速度Vt;S5.根据视频序列的移动速度Vt、用户手掌的宽度信息x以及人类手掌的平均宽度h0,计算用户手部在物理操作空间的人手移动速度Vh;S6.构造光标移动速度Vc与人手移动速度Vh的增益g关于人手移动速度Vh的映射函数g=g(Vh),自适应光标移动速度为Vc=g(Vh)·Vh;或构造光标移动速度Vc关于人手移动速度Vh的映射函数Vc=Vc(Vh),自适应的光标移动速度为Vc=Vc(Vh);S7.进一步对光标移动速度Vc进行加权求和、平滑处理;S8.根据经过进一步处理的光标移动速度Vc,计算光标在显示屏上连续两帧之间输出的移动增量Mc ...
【技术特征摘要】
1.一种手势运动映射到界面的增益自适应调整方法,其特征在于,包括以下步骤:S1.摄像头采集视频图像;S2.对采集所得的摄像视频图像进行处理和分析:进行肤色分割,框定检测到的人手和人脸区域作为感兴趣的区域,检测到有效手势,用户进一步获取手势控制权;S3.跟踪用户手部的运动轨迹,识别视频图像中用户手掌的宽度信息x,并通过人脸识别来判断用户的性别,确定人类手掌的平均宽度h0;S4.获取在前一帧以及本帧图像中用户手部运动的位置信息,计算人手在摄像机跟踪的视频序列的移动速度Vt;S5.根据视频序列的移动速度Vt、用户手掌的宽度信息x以及人类手掌的平均宽度h0,计算用户手部在物理操作空间的人手移动速度Vh;S6.构造光标移动速度Vc与人手移动速度Vh的增益g关于人手移动速度Vh的映射函数g=g(Vh),自适应光标移动速度为Vc=g(Vh)·Vh;或构造光标移动速度Vc关于人手移动速度Vh的映射函数Vc=Vc(Vh),自适应的光标移动速度为Vc=Vc(Vh);S7.进一步对光标移动速度Vc进行加权求和、平滑处理;S8.根据经过进一步处理的光标移动速度Vc,计算光标在显示屏上连续两帧之间输出的移动增量Mc;S9.根据所得的光标的移动增量Mc,相应地在显示屏上做出响应;S10.重复执行步骤S4-S9,光标跟随人手操作在界面中连续地漫游。2.根据权利要求1所述的一种手势运动映射到界面的增益自适应调整方法,其特征在于,所述步骤S2中有效手势的表达方式,包括:五指张开、手面与屏幕平行、握拳。3.根据权利要求1所述的一种手势运动映射到界面的增益自适应调整方法,其特征在于,所述步骤S2中的对于手势控制权的判定,包括:搜索摄像视频中是否有手掌面向摄像头,若无,则系统处于待机状态且继续搜索摄像视频;当搜索到摄像视频中有一只手的手掌面向摄像头,且为有效手势,则判定该手
\t为控制手;当摄像视频中同时搜索到有两只手的手掌均面向摄像头,且均为有效手势,则默认判定用户的右手为控制手。4.根据权利要求1所述的一种手势运动映射到界面的增益自适应调整方法,其特征在于,所述步骤S5中物理操作空间的人手移动速度Vh的计算方式为: V h = h 0 x V t ]]>式中,根据所述步骤S3对用户性别的判断,若判断用户性别为男性,则所述h0=a,所述a为男性的手掌的平均宽度;若为女性,则所述h0=b,所述b为女性的手掌的平均宽度。5.根据权利要求1所述的一种手势运动映射到界面的增益自适应调整方法,其特征在于,所述步骤S6中的映射函数Vc=Vc(Vh)是单调递增的分段线性函数,其表达式如下: V c = 0 , V h ≤ a 0 b 1 a 1 V h , a 0 < V h ≤ a 1 b 1 - b 2 a 1 - a 2 V h + b 2 - b 1 - b 2 a 1 ...
【专利技术属性】
技术研发人员:区则君,徐向民,许望,
申请(专利权)人:华南理工大学,
类型:发明
国别省市:广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。