一种手势运动映射到界面的增益自适应调整方法技术

本发明专利技术公开了一种手势运动映射到界面的增益自适应调整方法，包括如下顺序步骤：S1.采集视频；S2.检测用户手部和脸部；S3.识别视频中手部的宽度信息；S4.获取用户手部运动的位置信息；S5.计算用户手部在物理操作空间的移动速度；S6.采用针对当前手势交互系统构造的光标与人手移动速度间的增益关于人手移动速度的函数，计算自适应的光标移动速度；S7.对光标移动速度进行加权求和，平滑处理；S8.计算光标在显示屏上帧间输出的移动增量；S9.在显示屏上做出响应；重复执行步骤S4‑9。本方法在用户的手与摄像头在光轴方向上的距离变化时，仍能保持光标与人手间增益的相对稳定，实现对光标自然稳定的操控。

【技术实现步骤摘要】

本专利技术涉及机器视觉技术和人机交互控制领域，特别涉及一种手势运动映射到界面的增益自适应调整方法。
技术介绍
近年来，基于视觉的手势交互技术由于其自然、直接、能摆脱设备束缚、便于共享等优点，正日益成为非接触式人机交互技术的主要发展方向，并逐步广泛应用在大屏幕终端的交互技术上。其常用的操作方式为手势漫游，即将用户手掌在物理空间中的运动映射为光标在显示屏上的移动，实现对光标的操作。在该领域中，速度导向映射方式得到了普遍的运用。在基于视觉的手势交互过程中，由于摄像头的成像原理，从人手到摄像机的映射往往是不稳定的。实际工作中，受设备因素(屏幕大小、分辨率)、用户因素(视力、娱乐类型)或环境因素(障碍物、家具摆设)等影响，用户与摄像头的距离的变化范围是不确定的，无法预判用户与摄像头的距离为设置合适的映射关系带来了困难。而交互过程中距离的变化也可能是极大的，比如用户进行游戏时，可能从2m移动到1m处，人手映射到屏幕界面的移动距离与人手在空中的移动距离的增益(符号g，以下简称CD增益)变为原来的2倍。以三星电视的手势控制系统为例(见图1)，当用户站在距离电视屏幕大约1.6m的位置以中等速度利用手势交互方式控制光标移动时，大概需要d＝15cm的移动幅度就能使光标水平横跨屏幕。然而，当用户在距离屏幕大约3.0m的位置以同样的速度移动时，则需要d’＝30cm的手部移动幅度。也就是说，此时CD增益会随着用户-摄像头距离的增加而下降，反之亦然。这种CD增益的改变，使得交互任务的运动要求和任务的视觉尺度产生变化，导致了不自然和不可意料的移动，容易引起操作错误。过小或过大的CD增益值都会对交互精确度、用户疲劳度、控制的稳定性等造成影响，降低交互可用性，使用户的体验感降低。
技术实现思路
本专利技术要解决的技术问题在于，提供一种手势运动映射到界面的增益自适应调整方法，以一种更加符合人的自然反馈、便于操作的基于视觉的手势运动
映射到光标界面的增益自适应调整方法，即使用户的手与摄像头在光轴方向上的距离有所改变的情况下,本方法仍能实现对光标自然稳定的控制。为解决上述技术问题，本专利技术提供如下技术方案：一种手势运动映射到界面的增益自适应调整方法，包括以下步骤：S1.摄像头采集视频图像；S2.对采集所得的摄像视频图像进行处理和分析：进行肤色分割，框定检测到的人手和人脸区域作为感兴趣的区域，检测到有效手势，用户进一步获取手势控制权；S3.跟踪用户手部的运动轨迹，识别视频图像中用户手掌的宽度信息x，并通过人脸识别来判断用户的性别，确定人类手掌的平均宽度h0；S4.获取在前一帧以及本帧图像中用户手部运动的位置信息，计算人手在摄像机跟踪的视频序列的移动速度Vt；S5.根据视频序列的移动速度Vt、用户手掌的宽度信息x以及人类手掌的平均宽度h0，计算用户手部在物理操作空间的人手移动速度Vh；S6.构造光标移动速度Vc与人手移动速度Vh的增益g关于人手移动速度Vh的映射函数g＝g(Vh)，自适应光标移动速度为Vc＝g(Vh)·Vh；或构造光标移动速度Vc关于人手移动速度Vh的映射函数Vc＝Vc(Vh)，自适应的光标移动速度为Vc＝Vc(Vh)；S7.进一步对光标移动速度Vc进行加权求和、平滑处理；S8.根据经过进一步处理的光标移动速度Vc，计算光标在显示屏上连续两帧之间输出的移动增量Mc；S9.根据所得的光标的移动增量Mc，相应地在显示屏上做出响应；S10.重复执行步骤S4-S9，光标跟随人手操作在界面中连续地漫游。进一步地，所述步骤S2中有效手势的表达方式，包括：五指张开、手面与屏幕平行、握拳。进一步地，所述步骤S2中的对于手势控制权的判定，包括：搜索摄像视频中是否有手掌面向摄像头，若无，则系统处于待机状态且继续搜索摄像视频；当搜索到摄像视频中有一只手的手掌面向摄像头，且为有效手势，则判定该手为控制手；当摄像视频中同时搜索到有两只手的手掌面向摄像头，且均为有效
手势，则默认判定用户的右手为控制手。进一步地，所述步骤S5中物理操作空间的人手移动速度Vh的计算方式为： V h = h 0 x V t ]]>式中，根据所述步骤S3对用户性别的判断，若判断用户性别为男性，则所述h0＝a，所述a为男性的手掌的平均宽度；若为女性，则所述h0＝b，所述b为女性的手掌的平均宽度。进一步地，所述步骤S6中的映射函数Vc＝Vc(Vh)是单调递增的分段线性函数，其表达式如下： V c = 0 , V h ≤ a 0 b 1 a 1 V h , a 0 < V h ≤ a 1 b 1 - b 本文档来自技高网...

【技术保护点】
一种手势运动映射到界面的增益自适应调整方法，其特征在于，包括以下步骤：S1.摄像头采集视频图像；S2.对采集所得的摄像视频图像进行处理和分析：进行肤色分割，框定检测到的人手和人脸区域作为感兴趣的区域，检测到有效手势，用户进一步获取手势控制权；S3.跟踪用户手部的运动轨迹，识别视频图像中用户手掌的宽度信息x，并通过人脸识别来判断用户的性别，确定人类手掌的平均宽度h0；S4.获取在前一帧以及本帧图像中用户手部运动的位置信息，计算人手在摄像机跟踪的视频序列的移动速度Vt；S5.根据视频序列的移动速度Vt、用户手掌的宽度信息x以及人类手掌的平均宽度h0，计算用户手部在物理操作空间的人手移动速度Vh；S6.构造光标移动速度Vc与人手移动速度Vh的增益g关于人手移动速度Vh的映射函数g＝g(Vh)，自适应光标移动速度为Vc＝g(Vh)·Vh；或构造光标移动速度Vc关于人手移动速度Vh的映射函数Vc＝Vc(Vh)，自适应的光标移动速度为Vc＝Vc(Vh)；S7.进一步对光标移动速度Vc进行加权求和、平滑处理；S8.根据经过进一步处理的光标移动速度Vc，计算光标在显示屏上连续两帧之间输出的移动增量Mc；S9.根据所得的光标的移动增量Mc，相应地在显示屏上做出响应；S10.重复执行步骤S4‑S9，光标跟随人手操作在界面中连续地漫游。...

【技术特征摘要】
1.一种手势运动映射到界面的增益自适应调整方法，其特征在于，包括以下步骤：S1.摄像头采集视频图像；S2.对采集所得的摄像视频图像进行处理和分析：进行肤色分割，框定检测到的人手和人脸区域作为感兴趣的区域，检测到有效手势，用户进一步获取手势控制权；S3.跟踪用户手部的运动轨迹，识别视频图像中用户手掌的宽度信息x，并通过人脸识别来判断用户的性别，确定人类手掌的平均宽度h0；S4.获取在前一帧以及本帧图像中用户手部运动的位置信息，计算人手在摄像机跟踪的视频序列的移动速度Vt；S5.根据视频序列的移动速度Vt、用户手掌的宽度信息x以及人类手掌的平均宽度h0，计算用户手部在物理操作空间的人手移动速度Vh；S6.构造光标移动速度Vc与人手移动速度Vh的增益g关于人手移动速度Vh的映射函数g＝g(Vh)，自适应光标移动速度为Vc＝g(Vh)·Vh；或构造光标移动速度Vc关于人手移动速度Vh的映射函数Vc＝Vc(Vh)，自适应的光标移动速度为Vc＝Vc(Vh)；S7.进一步对光标移动速度Vc进行加权求和、平滑处理；S8.根据经过进一步处理的光标移动速度Vc，计算光标在显示屏上连续两帧之间输出的移动增量Mc；S9.根据所得的光标的移动增量Mc，相应地在显示屏上做出响应；S10.重复执行步骤S4-S9，光标跟随人手操作在界面中连续地漫游。2.根据权利要求1所述的一种手势运动映射到界面的增益自适应调整方法，其特征在于，所述步骤S2中有效手势的表达方式，包括：五指张开、手面与屏幕平行、握拳。3.根据权利要求1所述的一种手势运动映射到界面的增益自适应调整方法，其特征在于，所述步骤S2中的对于手势控制权的判定，包括：搜索摄像视频中是否有手掌面向摄像头，若无，则系统处于待机状态且继续搜索摄像视频；当搜索到摄像视频中有一只手的手掌面向摄像头，且为有效手势，则判定该手
\t为控制手；当摄像视频中同时搜索到有两只手的手掌均面向摄像头，且均为有效手势，则默认判定用户的右手为控制手。4.根据权利要求1所述的一种手势运动映射到界面的增益自适应调整方法，其特征在于，所述步骤S5中物理操作空间的人手移动速度Vh的计算方式为： V h = h 0 x V t ]]>式中，根据所述步骤S3对用户性别的判断，若判断用户性别为男性，则所述h0＝a，所述a为男性的手掌的平均宽度；若为女性，则所述h0＝b，所述b为女性的手掌的平均宽度。5.根据权利要求1所述的一种手势运动映射到界面的增益自适应调整方法，其特征在于，所述步骤S6中的映射函数Vc＝Vc(Vh)是单调递增的分段线性函数，其表达式如下： V c = 0 , V h ≤ a 0 b 1 a 1 V h , a 0 < V h ≤ a 1 b 1 - b 2 a 1 - a 2 V h + b 2 - b 1 - b 2 a 1 ...

【专利技术属性】
技术研发人员：区则君，徐向民，许望，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44