一种具有3D摄像组件的电子设备制造技术

本发明专利技术提供了一种具有3D摄像组件的电子设备，该设备包括：3D摄像单元，用于获取含有深度信息的使用者手部的待测图像序列；轮廓检测单元，用于检测出使用者的手部轮廓；特征点序列确定单元，用于确定每只手的待测特征点序列；动作识别单元，用于在多个预设特征点序列中确定每只手的待测特征点序列的匹配序列，以确定该只手的动作名称和位置；手势确定单元，用于在预设手势表中选择与使用者双手的动作名称和位置相匹配的手势，作为待测图像序列的手势识别结果；指令确定单元，用于确定与已识别手势对应的操作指令；执行单元，用于对相关设备进行对应的操作。本发明专利技术的上述技术能够在人机交互过程中准确识别使用者的手势，识别精度较高，识别速度快。

【技术实现步骤摘要】

本专利技术涉及计算机技术，尤其涉及一种具有3D摄像组件的电子设备。
技术介绍
随着移动计算设备从笔记本电脑到手机、平板电脑的演化，移动计算设备的操控 方式也经历了从键盘、鼠标到手机按键、手写板，再到触摸屏、虚拟键盘的进化，可以看到， 移动设备的操控方式是朝着越来越直观、简便，并且符合人的自然习惯的方向进化的。 目前在移动计算设备上广泛使用的基于触摸屏的操控方式，技术上是将一块透明 的触摸感应屏和显示屏贴合在一起，触摸感应屏实质上是一个定位装置，能够捕捉到屏幕 上的触摸动作并获取其位置，同时结合时间轴信息，将动作识别其为点触、长触、滑动等动 作之一。进而将位置和动作信息作为指令传递给移动计算设备，移动计算设备基于该指令 做出相应的操作反应。由于触摸感应屏与显示屏是叠加在一起的，因此带给使用者"所点即 所想"的使用感受，相比鼠标、触控板等定位设备需要通过光标反馈位置的输入方式，屏幕 触控方式带来更好的使用体验。 屏幕触控方式相比键盘加鼠标的方式，更加符合人的直观反应、更容易学习，但是 屏幕触控方式毕竟只捕捉到了人体手指的动作，在一些需要更多使用者本体信息输入的场 合，比如运动游戏、模拟训练、复杂操控、远距离操控等，屏幕触控方式就显示出其捕获人体 信息过于单一的局限性了。从人机交互的角度，更多的使用者信息的获取，将能够传达更丰 富、更精准的使用者操作意图，因此必然能够带来更便利的操控方法和更好的使用体验。然 而，目前的人机交互技术中的手势识别处理所采用的算法较为复杂、耗费时间且识别精度 低的问题。
技术实现思路
在下文中给出了关于本专利技术的简要概述，以便提供关于本专利技术的某些方面的基本 理解。应当理解，这个概述并不是关于本专利技术的穷举性概述。它并不是意图确定本专利技术的 关键或重要部分，也不是意图限定本专利技术的范围。其目的仅仅是以简化的形式给出某些概 念，以此作为稍后论述的更详细描述的前序。 鉴于此，本专利技术提供了一种具有3D摄像组件的电子设备，以至少解决现有的人机 交互技术中的手势识别处理所采用的算法较为复杂、耗费时间且识别精度低的问题。 根据本专利技术的一个方面，提供了一种具有3D摄像组件的电子设备，该电子设备包 括：3D摄像单元，用于捕获含有深度信息的使用者手部的待测图像序列；轮廓检测单元，用 于根据图像深度信息和图像颜色信息，在待测图像序列的每帧图像中检测出使用者的手部 轮廓；特征点序列确定单元，用于针对使用者的每只手，利用预设的手部结构模板，在待测 图像序列的每帧图像中确定该只手的待测特征点序列；动作识别单元，用于针对使用者的 每只手，在多个预设特征点序列中确定该只手的待测特征点序列的匹配序列，以根据匹配 序列确定该只手的动作名称和位置；手势识别单元，用于在预设手势表中选择与使用者双 手的动作名称和位置相匹配的手势，作为已识别手势；指令确定单元，用于根据预设操作指 令表，确定与已识别手势对应的操作指令；执行单元，用于对与确定的操作指令相关的设备 进行与该操作指令对应的操作。 进一步地，特征点序列确定单元包括：模板存储子单元，用于存储预设的手部结构 模板；模板匹配子单元，用于针对使用者的每只手，利用预设的手部结构模板，在待测图像 序列的每帧图像的手部轮廓中确定该只手的预定数目个特征点；序列生成子单元，用于针 对使用者的每只手，利用该只手在待测图像序列的各帧图像中对应的预定数目个特征点， 获得该只手的待测特征点序列。 进一步地，3D摄像单元用于：通过捕获预定成像区域内的使用者手部的图像，获 得可见光图像序列?/k.U)丨和红外图像序列W(W)!，Ku)为可见光图像序列第i帧 图像坐标（X，y)处的像素值，而/:i(-VJ，)为红外图像序列第i帧图像坐标（X，y)处的像素值， 根据如下公式获得抽取使用者双手信息的图像序列： 其中，α、β、λ为预设参数阈值，{4〇，_>')丨为获取的含有深度信息的使用者双手 的图像序列，作为待测图像序列，i = 1，2, -·，Μ，M为待测图像序列所包含的图像帧数。 进一步地，轮廓检测单元用于：针对待测图像序列丨/:(.r,.r);中的每帧图像 4(.T,r)，结合颜色信息删除该帧图像中的噪声点及非肤色区域，利用边缘检测算 子Ε(·)对删除噪声点和非肤色区域后所得到的图像/U.v,.r)进行边缘检测，得到边缘图像 。(A.V): U.i') = ，边缘图像斗(A-，妁 进一步地，模板匹配子单元包括：定位基点确定模块，其用于针对待测图像序列的 每帧图像，根据该图像中的轮廓线的曲率找到该轮廓线中的指尖点和指根关节点，以将指 尖点作为定位基点；缩放基准确定模块，其用于针对定位基点确定模块处理后的每帧图像， 基于该帧图像中已找到的定位基点，匹配每个单指的指根关节点，得到各单指的长度来作 为尺度缩放的基准；缩放及形变模块，其用于针对缩放基准确定模块处理后的每帧图像，基 于已找到的指尖点和指根关节点的位置以及各单指的长度来对相应的手部结构模板进行 缩放和形变，通过匹配得到每只手的各指关节特征点和手腕中点特征点；其中，模板存储子 单元存储的手部结构模板包括左手结构模板和右手结构模板，左手结构模板和右手结构模 板各自包括：各手指的指尖特征点、各指关节特征点、各指根关节特征点、手腕中点特征点 以及各特征点之间的拓扑关系。 进一步地，动作识别单元包括：分割子单元，用于针对每只手的待测特征点序列， 根据预定时间窗将该待测特征点序列分割为多个子序列，并获得每个子序列对应的平均位 置；匹配序列确定子单元，用于针对每只手对应的每个子序列，将该子序列与多个预设特征 点序列中的每一个分别进行匹配，在多个预设特征点序列中选择与该子序列的匹配程度高 于预设的匹配阈值、并且最大的预设特征点序列，作为该子序列的匹配序列；关联子单元， 用于将每个子序列对应的平均位置与该子序列的匹配序列对应的动作名称相关联；动作名 称确定子单元，用于针对每只手，将该只手对应的各子序列的匹配序列作为该只手对应的 多个匹配序列，并将该多个匹配序列各自对应的动作名称作为该只手的多个动作名称。 进一步地，手势识别单元包括：手势表存储子单元，用于存储如下映射列表来作为 预设手势表：该映射列表中的每个映射的左端是一组动作名称对及每个动作名称对的位 置；该映射列表中的每个映射的右端是一个手势；手势表匹配子单元，用于将预设手势表 中的每个映射的左端与使用者双手的动作名称和位置进行匹配，其中，动作名称的匹配执 行严格匹配，而位置则是通过使用者双手各自的平均位置计算得到相对位置信息，进而计 算该相对位置信息与映射左端的位置之间的相似度来实现的。 进一步地，具有3D摄像组件的电子设备还包括：实时显示单元，用于基于使用者 每只手的位置在设备的屏幕上显示使用者手部的模拟图形。 进一步地，实时显示单元用于：根据使用者每只手对应的待测特征点序列，通过连 接骨骼后外延得到该只手的外轮廓图形，作为该只手的模拟图形；通过对使用者双手的相 对位置进行平移校准和比例缩放，确定使用者的每只手在屏幕中的显示位置；基于使用者 每只手的模拟图形和显示位置来在屏幕中显示使用者手部的模拟图形。 进一步地，电子设备为以下之一：手机、多媒体播放设备、台式机、笔记本电脑以及本文档来自技高网...

【技术保护点】
一种具有3D摄像组件的电子设备，其特征在于，所述具有3D摄像组件的电子设备包括：3D摄像单元，用于捕获含有深度信息的使用者手部的待测图像序列；轮廓检测单元，用于根据图像深度信息和图像颜色信息，在所述待测图像序列的每帧图像中检测出所述使用者的手部轮廓；特征点序列确定单元，用于针对所述使用者的每只手，利用预设的手部结构模板，在所述待测图像序列的每帧图像中确定该只手的待测特征点序列；动作识别单元，用于针对所述使用者的每只手，在多个预设特征点序列中确定该只手的待测特征点序列的匹配序列，以根据所述匹配序列确定该只手的动作名称和位置；手势识别单元，用于在预设手势表中选择与所述使用者双手的动作名称和位置相匹配的手势，作为已识别手势；指令确定单元，用于根据预设操作指令表，确定与所述已识别手势对应的操作指令；执行单元，用于对与确定的操作指令相关的设备进行与该操作指令对应的操作。

【技术特征摘要】

【专利技术属性】
技术研发人员：杨晓光，李建英，朱磊，韩琦，
申请(专利权)人：哈尔滨市一舍科技有限公司，
类型：发明
国别省市：黑龙江;23