一种基于ＤＳＰ－ＰＣ机器视觉系统的斑纹式数据手套，其特征在于：采用两个ＣＣＤ相机对用户佩戴的手套进行实时图像采集，每个相机安装有满足捕捉范围的定焦镜头，通过ＤＳＰ及ＰＣ机进行数据处理实现手部运动的跟踪捕捉功能，用于实现手部位姿测量，其中，还提供嵌入式实时图像采集处理单元，将ＣＣＤ相机采集的图像信号进行数字化，采用视频处理芯片ＤＭ６４２实现手套斑纹的检测、识别和跟踪，还具有基于ＰＣ机的虚拟手演示与交互单元，该单元包含一个参数化可调的虚拟手模型，根据对当前用户手部的生理参数的测量结果进行模型尺寸的修正，并从图像采集处理单元获取信息计算手部的位置和手指的弯曲角度，驱动虚拟手运动，用于虚拟环境中的运动演示及人机交互。价格相对低廉，便于在更大的用户群中推广，成为促进更为自然、和谐的人机交互方式发展提供新工具。
【技术实现步骤摘要】
本专利技术涉及一种基于DSP-PC机器视觉系统的人机交互装置，特别是一种将用 户手部各关节位姿精确映射到虚拟环境的数据手套及其数据采集处理方法。
技术介绍
在虚拟制造系统、数字化娱乐系统、医疗培训系统和机器人遥操作系统中，手 势交互是一种普遍的交互方式。广义的手势交互，不仅要获取宏观的手型，而且需要获 取手部各关节的位姿，因此手势交互通常由数据手套来实现。数据手套利用传感器测量 用户的手部运动，获取测量数据映射到虚拟手，通过虚拟手来实现人机交互功能。传统数据手套主要依靠光纤或压电传感器实现测量，需要通过增加传感器的数 目提高测量的精度，而传感器数目的增长，将大大增加数据手套的制造、测试难度和生 产成本。而用户对于数据手套的需求，一方面需要高精度的虚拟手运动实现操作，另一 方面需要考虑到系统的成本对产品开发的影响。精度与成本的矛盾制约着数据手套的推 广与应用。在需要获取手部精确位姿的操作中，传统数据手套一般配合一定的位置跟踪设 备使用。这些位置跟踪装置一方面有些跟踪设备会限制人体的运动，影响交互的自然 性，另一方面单独配套跟踪设备增加了系统的成本。与此同时，数据手套配备的虚拟手 模型多数仅用于简单的演示和标定，无法实现虚拟手的参数化调整，很大程度上影响应 用虚拟手进行精确的操作。目前有一些数据手套采用了有别于传统数据手套的工作模式，如采用CCD传感 器进行工作的数据手套，但这些基于视觉数据手套采用了单纯PC机的系统进行图像采集 与数据处理。要提高运动跟踪捕捉的精度，图像处理算法复杂度也随之增长，PC机的 CPU和内存等资源的使用率就会大大增加，因此在这类数据手套的使用中，可能导致PC 机上运行的虚拟现实系统实时性的降低。
技术实现思路
本专利技术针对传统数据手套用户适应性差、标定过程繁琐、维护困难并且价格昂 贵等问题，同时考虑到虚拟现实应中的实时性要求，提供一种基于机器视觉的新型数据 手套，使用视觉传感器实现数据手套对手部运动的采集。提出并且设计适合于多用户舒 适佩戴、具有丰富表面纹理特征的手套，开发嵌入式实时图像采集处理单元，将CCD相 机采集的图像信号进行数字化，采用视频处理芯片DM642实现手套斑纹的检测、识别和 跟踪，获取手部关键点的位置信息，通过网线将图像处理结果传输到PC机。基于PC机 建立了虚拟手演示与交互单元，该单元包含一个参数化可调的虚拟手模型，根据对当前 用户手部的生理参数的测量结果进行模型尺寸的修正，并从图像采集处理单元获取信息 计算手部的位置和手指的弯曲角度，驱动虚拟手运动，支持数据手套在人机交互中的应 用。本专利技术的目的是这样实现的一种基于DSP-PC机器视觉系统的斑纹式数据手 套，其特征在于采用两个CCD相机对用户佩戴的手套进行实时图像采集，每个相机安 装有满足捕捉范围的定焦镜头，通过DSP及PC机进行数据处理实现手部运动的跟踪捕捉 功能，用于实现手部位姿测量，其中，还提供嵌入式实时图像采集处理单元，将CCD相 机采集的图像信号进行数字化，采用视频处理芯片DM642实现手套斑纹的检测、识别和 跟踪，还具有基于PC机的虚拟手演示与交互单元，该单元包含一个参数化可调的虚拟手 模型，根据对当前用户手部的生理参数的测量结果进行模型尺寸的修正，并从图像采集 处理单元获取信息计算手部的位置和手指的弯曲角度，驱动虚拟手运动，用于虚拟环境 中的运动演示及人机交互。通过分析人手的生理构造、运动模型和运动特点，设计一种新型的斑纹式数据 手套，即利用颜色和图形对具有伸缩性的手套表面进行编码，并绘制成斑纹，使之对应 于手的几何特征和运动特征，利用对斑纹的识别与跟踪来确定手部的运动。在手腕部 粘贴表征左右手的标志(右手为字母R，左手为字母L)，通过模板匹配的方法实现对 手部根节点位置的跟踪。对于指尖位置的获取，则采用较为通用的运动目标跟踪算法 Camshift算法。为了使指尖部分的特征适用于Camshift算法，每个指尖指节分别采用不 同的颜色。拇指则测量掌腕骨相连的关节的位置，与小指相连的掌骨的位置，也采用同 样的方法获取。在手指的关节处用三色环带用于对不同手指进行编码，根据红、黄、蓝 颜色的不同排列，可以判断运动变化所发生的手指。在获取关节的位置的同时，跟踪手 套上的色块，即可确定手掌形状的变化。将上述算法在视频处理芯片DM642上实现，开 发嵌入式实时图像采集处理单元，保证PC机上运行系统的实时性。图像采集处理单元通过网线将图像处理结果传输到PC机，基于PC机的 Windows操作系统，开发基于PC机的虚拟手演示及交互单元，从手指上的三角形点和圆 点的分布信息中发现图像各帧所对应的高维数据内蕴的低维结构，将其与手指的运动相 对应，实时获取指关节的角度，同时建立参数化可调的虚拟手模型，在用户佩戴数据手 套后，利用机器视觉系统获取手部图像，静态测量并计算当前用户手部的生理参数，对 虚拟手虚拟手模型进行修正。本专利技术相比现有技术具有如下优点1、基于DSP-PC机器视觉系统的斑纹式数据手套是使用CCD相机对用户佩戴 的手套进行实时图像采集，通过DSP及PC机进行数据处理实现手部运动的跟踪捕捉功 能。传感器和数据处理单元不是嵌入到手套中而是与手套相互独立，简化了数据手套的 结构。CCD相机和视频处理芯片DM642等硬件设备价格相对低廉，有利于降低数据手 套的成本。2、基于DSP-PC机器视觉系统的斑纹式数据手套，采用了嵌入式系统和PC机 协同的工作模式，将图像处理、跟踪和三维重建等复杂度较大的算法固化到DSP中实 现，而将涉及到图形界面和人机交互的模块交给PC机，实现了计算资源的优化配置，能 够满足数据手套在虚拟现实系统中应用的时性要求。3、基于DSP-PC机器视觉系统的斑纹式数据手套将手部根节点位置的跟踪功能 与手部关节位姿的测量功能集成到同一体系结构下，因此无需附加其它位置跟踪设备使 用，消除了这些位置跟踪装置对人体的运动的限制，可改善交互的自然性。4、基于DSP-PC机器视觉系统的斑纹式数据手套配备参数化的柔性虚拟手模 型，实现基于用户手部尺寸的标定，可简化标定的过程，提高虚拟手模型运动的精确度。附图说明图1为本专利技术基于机器视觉的斑纹式数据手套系统结构示意图I-CCD相机1 ； 2-CCD相机2; 3-相机支架；4-视频传输线1; 5-视频传输线2; 6-斑纹式数据手套； 7-实时图像采集处理单元；8-网线；9-PC机；10-工作台；图2为斑纹式数据手套表面纹理编码图11-指尖标记；12-手指识别纹理； 13-指节斑块；14-手掌色块；15-手部根节点标记；图3为嵌入式实时图像采集处理单元硬件框架图16-模数转换器1; 17-模 数转换器2; 18-JTAG ； 19-复位；20-复位；21-电源；22-以太网；23-SDRAM ； 24-FLASH ； 25-视频处理芯片DM642 ；图4为虚拟手演示与交互单元核心算法流程图26-流程开始；27-更新数据 集；28-降维；29-降维后的数据极；30-四元数表达；31-关节角转换。具体实施方式以下结合实施例和附图对本专利技术作进一步说明参照图1所示，1和2是两个CCD相机，每个相机安装有根据捕捉范围确定景 深参数的镜头，这两部带有视觉器的设备，是实现手部本文档来自技高网...
【技术保护点】
一种基于ＤＳＰ－ＰＣ机器视觉系统的斑纹式数据手套，其特征在于：采用两个ＣＣＤ相机对用户佩戴的手套进行实时图像采集，每个相机安装有满足捕捉范围的定焦镜头，通过ＤＳＰ及ＰＣ机进行数据处理实现手部运动的跟踪捕捉功能，用于实现手部位姿测量，其中，还提供嵌入式实时图像采集处理单元，将ＣＣＤ相机采集的图像信号进行数字化，采用视频处理芯片ＤＭ６４２实现手套斑纹的检测、识别和跟踪，还具有基于ＰＣ机的虚拟手演示与交互单元，该单元包含一个参数化可调的虚拟手模型，根据对当前用户手部的生理参数的测量结果进行模型尺寸的修正，并从图像采集处理单元获取信息计算手部的位置和手指的弯曲角度，驱动虚拟手运动，用于虚拟环境中的运动演示及人机交互。
【技术特征摘要】
1.一种基于DSP-PC机器视觉系统的斑纹式数据手套，其特征在于采用两个CCD 相机对用户佩戴的手套进行实时图像采集，每个相机安装有满足捕捉范围的定焦镜头， 通过DSP及PC机进行数据处理实现手部运动的跟踪捕捉功能，用于实现手部位姿测量， 其中，还提供嵌入式实时图像采集处理单元，将CCD相机采集的图像信号进行数字化， 采用视频处理芯片DM642实现手套斑纹的检测、识别和跟踪，还具有基于PC机的虚拟 手演示与交互单元，该单元包含一个参数化可调的虚拟手模型，根据对当前用户手部的 生理参数的测量结果进行模型尺寸的修正，并从图像采集处理单元获取信息计算手部的 位置和手指的弯曲角度，驱动虚拟手运动，用于虚拟环境中的运动演示及人机交互。2.如权利要求1所述的基于DSP-PC机器视觉系统的斑纹式数据手套，其特征在于 利用颜色和图形对具有伸缩性的手套表面进行编码，并绘制成斑纹，使之对应于手的几 何特征和运动特征，利用对斑纹的识别与跟踪来确定手部的运动。在手腕部粘贴表征左 右手的标志，通过模板匹配的方法实现对手部根节点位置的跟踪。在手指的关节处用三 色环带用于对不同手指进行编码，根据红、黄、蓝颜色的不同排列，可以判断运动变化 所发生的手指。在获取关节的位置的同时，跟踪手套上的色块，即可确定手掌形状的变 化。指节上采用的三...
【专利技术属性】
技术研发人员：姚英学，陈鹏，周亮，夏平均，廖志荣，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：93[中国|哈尔滨]
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。