一种基于手势识别的界面漫游操作方法与装置，由摄像头、红外二极管、ＣＰＵ、北桥控制器、南桥控制器、显示芯片、显示桥接芯片、ＩＯ芯片、ＢＩＯＳ芯片，及承载电路板构成，其特征是：摄像头与南桥控制器或ＩＯ芯片相连，拍摄到用户手势图像后，通过ＵＳＢ总线或ＩＥＥＥ１３９４总线或ＳＰＩ总线发出此信息，然后经由ＣＰＵ执行的手势辨识软件程序进行处理，辨识用户手势交互中的界面漫游操作。
【技术实现步骤摘要】
本专利技术涉及一种基于手势识别的界面漫游操作方法与装置，具体涉及一种利用手的运动 与姿态来代替鼠标进行漫游操作的人机交互方法与结构。
技术介绍
计算机的传统人机交互基于鼠标键盘，鼠标主要用在图形人机界面的交互中，具有快速 与精确的交互效果。但包括touchpad、 trackpoint、 trackball,触摸屏在内的各种指点装置都需 要手握或按压某一鼠标装置，并使其在某一平面或曲面上运动，限定了人机交互的自由性， 使其不能很好的适用于大幅面(投影仪等)的现场演示宣传应用。此外，移动(走动)、车船 震动环境等条件下，各类传统鼠标漫游操作方法的交互效率亦受到很大制约。近年来，计算 机视觉技术己发展得日趋成熟，在此背景下，通过计算机视觉来"解释"人的手势动作，进 而来触发交互中的各种行为也成为了可能。本专利技术所采用的技术方案是提出一种基于手势识别的界面漫游操作方法与装置，由摄 像头、红外二极管、CPU、北桥控制器、南桥控制器、显示芯片、显示桥接芯片、IO芯片、 BIOS芯片、可编程手势识别芯片或专用手势识别芯片，及承载电路板构成，其特征是摄像 头与南桥控制器或10芯片相连，或摄像头与可编程手势识别芯片或专用手势识别芯片相连， 该芯片通过PS/2或USB总线与南桥控制器或10芯片或南北桥集成芯片或系统SOC芯片相 连。拍摄到用户手势图像后，通过USB总线或IEEE1394总线或SPI总线发出此信息，然后 经由CPU执行的手势辨识软件程序进行处理，辨识用户手势交互中的界面漫游操作。或由 手势识别芯片将手势视频流解算后，辨识双击指令，并由芯片内部的PS/2或USB总线接口 将鼠标事件指令发出。所述的摄像头可在红外波段摄像，可配合红外二极管光源工作，所述的红外二极管为可 选装置，红外二极管的配置可为计算机显示器边框上、键盘平面上、头戴显示器上，用以对 用户手部进行红外照射，避免外界可见光对摄像头的干扰，以提高识别率。所述的手势辨识软件程序、可编程手势识别芯片或专用手势识别芯片由低层图像预处理 模块、中层分割与跟踪模块、高层模板匹配模块构成，图像输入低层图像预处理模块，该模 块具备线性滤波与边缘检测功能，中层分割与跟踪模块用以将视频流分割成单幅图像或在单 幅图像中的具有目标特征的像素分割出来，并对这些特征像素的坐标进行跟踪，高层模板匹 配模块采用隐马尔可夫模板对特征像素进行寓意匹配，输出得到手势界面漫游操作的含义。所述的手势界面漫游操作类型由左手或右手的确定动作所表征，该动作被预设模板或用 户自定义模板所匹配，在使用预设模板时，用户的手部动作需与模板中的预设手部运动模型 相符方能对漫游操作进行行为表征，用户自定义模板由用户训练得到。所述的用户自定义模板的训练过程为，用户通过本装置将所设定时间内的手部运动过程 摄像，对所得的视频流进行低层图像预处理、中层分割与跟踪、高层模板匹配，最后得到一 个特征点数据集合来表征手部动作与漫游操作的匹配关系，训练过程需重复多次。在手部的 双击操作过程中，用户可扩展已有的预设匹配模板和自定义匹配模板，在捕获手部操作动作 后，手势识别芯片将之与预设匹配模板和自定义匹配模板进行匹配，如果无法匹配则提供给 用户选项以人为选择该动作所代表的寓意，并将之加入匹配模板中。所述的漫游操作包括鼠标的定位、左键单击、左键双击、右键单击、滚轮、拖拽操作， 人机界面的二维旋转、三维旋转、放大、缩小。本专利技术的有益效果是所提出的一种基于手势识别的界面漫游操作方法与装置，能让人 根据自然的手势动作，无需接触鼠标装置并控制其进行平面或曲面运动，既能进行类似传统 鼠标的漫游操作。本专利技术的有益效果还包括所提出的一种基于手势识别的界面漫游操作方法与装置，其3所述的用户自定义匹配模板训练与扩展方法，较传统的固定模板具有更大的灵活性，能更好 的满足用户个人习惯，适应度更高。本专利技术的有益效果还包括所提出的一种基于手势识别的界面漫游操作方法与装置，其 所能实现的漫游操作，不仅包含传统鼠标在用户图形界面上的定位、左键单击、左键双击、 右键单击、滚轮、拖拽操作，还可以单个手势实现人机界面的二维旋转、三维旋转、放大、 缩小等操作动作，相较于传统鼠标操作，更加便捷快速。附图说明图1是本专利技术的软件实现结构示意图。 图2是本专利技术的硬件实现结构示意图。 图3是本专利技术的自定义模板训练流程图。 具体实施例方式下面结合附图对本专利技术作进一步描述。图l是本专利技术的软件实现结构示意图。包括CPU (1)、北桥控制器(2)、图形显示芯片(3)、图形桥接芯片(4)、南桥控制器(5)、 10芯片(6)、系统芯片(7)、摄像头(8)、红 外LED (9)。其内部相互连接关系为CPU (1)与北桥控制器(2)相连，北桥控制器(2) 与南桥控制器(5)相连，南桥控制器(5)与IO芯片(6)相连，南桥控制器(5)或系统芯 片(7)的USB或IEEE1394或SPI总线与摄像头(8)相连。图2是本专利技术的硬件实现结构示意图。除图l所述内容外，还有手势识别芯片(11)，手 势识别芯片通过USB或正EE1394或SPI总线与南桥控制器或系统芯片(7)相连，手势识别 芯片还通过USB或IEEE1394或SPI总线或用户定义10总线与摄像头相连。图3是本专利技术的自定义模板训练流程图。其描述的用户自定义模板的训练过程为，用户 在某一预设时间内通过本装置进行视频摄像(12)，对所得的视频流进行低层图像预处理(13)、 中层分割与跟踪(14)、高层模板匹配(15)，高层模板包括预设模板(16)和用户自定义模 板(17)，如果中层分割与跟踪(14)后结果所得的一个特征点数据集合能与预设模板(16) 或用户自定义模板(17)匹配，则匹配成功触发漫游事件，否则进行匹配模型扩展(19)，即 提供给用户选项以人为选择该动作所代表的寓意，并将之加入匹配模板中。权利要求1. 一种基于手势识别的界面漫游操作方法与装置，由摄像头、红外二极管、CPU、北桥控制器、南桥控制器、显示芯片、显示桥接芯片、IO芯片、BIOS芯片，及承载电路板构成，其特征是摄像头与南桥控制器或IO芯片相连，拍摄到用户手势图像后，通过USB总线或IEEE1394总线或SPI总线发出此信息，然后经由CPU执行的手势辨识软件程序进行处理，辨识用户手势交互中的界面漫游操作。2. 根据权利要求1所述的一种基于手势识别的界面漫游操作方法与装置，还可由摄像头、 红外二极管、CPU、北桥控制器、南桥控制器、显示芯片、桥接芯片、IO芯片、BIOS芯 片、可编程手势识别芯片或专用手势识别芯片，及承载电路板构成，其特征是摄像头 与可编程手势识别芯片或专用手势识别芯片相连，该芯片通过PS/2或USB总线与南桥控 制器或10芯片或南北桥集成芯片或系统SOC芯片相连，摄像头拍摄到用户手势图像后， 通过USB总线或正EE1394总线或SPI总线或自定义10数据线向可编程手势识别芯片或 专用手势识别芯片发出此图像信息，由此芯片将手势视频流解算后，辨识双击指令，并 由芯片内部的PS/2或USB总线接口将鼠标事件指令发出。3. 根据权利要求1所述的一种基于手势识别的界面漫游操作方法与装置，其特征是所述 的摄像头可在红外波段摄像，可配合红外二极管光源工作，本文档来自技高网...
【技术保护点】
一种基于手势识别的界面漫游操作方法与装置，由摄像头、红外二极管、ＣＰＵ、北桥控制器、南桥控制器、显示芯片、显示桥接芯片、ＩＯ芯片、ＢＩＯＳ芯片，及承载电路板构成，其特征是：摄像头与南桥控制器或ＩＯ芯片相连，拍摄到用户手势图像后，通过ＵＳＢ总线或ＩＥＥＥ１３９４总线或ＳＰＩ总线发出此信息，然后经由ＣＰＵ执行的手势辨识软件程序进行处理，辨识用户手势交互中的界面漫游操作。
【技术特征摘要】
【专利技术属性】
技术研发人员：韩露，宋海涛，陈东义，
申请(专利权)人：重庆大学，
类型：发明
国别省市：85
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。