一种3D手势鼠标的生成方法技术

本发明专利技术涉及一种3D手势鼠标的生成方法，包括以下步骤，a.视频输入，采用Kinect获取视频流，根据其手部节点位置获取手部的大致范围，分别提取手部的深度图像和RGB图像；b.特征提取，对于从步骤a中获取的两种图像将分别提取不同的特征用于后续的指尖跟踪；c.特征融合以获得观测模型；d.粒子滤波跟踪，采用的粒子滤波方法过程明细如下：粒子样本集合描述，设粒子集合模型S＝{x,y,vx，vy，wx，wy，a}，在此，wx，wy，均设为固定值d1，a是速度的尺度变换因子，样本集合的更新通过系统状态变化传播方程st＝Ast+wt‑1实现；在本发明专利技术中并给出了粒子滤波算法步骤；e.鼠标位置转换。本发明专利技术提出了更加有效的特征，并且进行特征融合，再结合角点检测来达到实时精确的跟踪目的的有益效果。

【技术实现步骤摘要】
一种3D手势鼠标的生成方法
本专利技术涉及计算机
，具体是指一种3D手势鼠标的生成方法。
技术介绍
鼠标是计算机的一种输入设备，也是计算机显示系统纵横坐标定位的指示器，因形似老鼠而得名。鼠标的使用是为了使计算机的操作更加简便快捷，来代替键盘那繁琐的指令。鼠标的发展历程从原始鼠标、机械鼠标、光电鼠标(光学鼠标，激光鼠标)再到如今的触控鼠标，鼠标技术经历了漫漫征途终于修成正果。在早些年，大多数用户都只愿意在鼠标身上花费不超过20元投资，当然此种情况今天已难得一见，应用的进步让人们对鼠标开始提出更多的要求，包括舒适的操作手感、灵活的移动和准确定位、可靠性高、不需经常清洁，鼠标的美学设计和制作工艺也逐渐为人所重视。在电脑中，鼠标的操纵性往往起到关键性的作用，而鼠标制造商迎合这股风潮开始大刀阔斧的技术改良，从机械到光学、从有线到无线，造型新颖、工艺细腻的高端产品不断涌现。而现在本专利技术提出了一种基于指尖识别跟踪的3D鼠标方法，通过该方法可以跟踪获得手指指尖的3维信息，从而建立一个3维的鼠标。
技术实现思路
本专利技术针对上述
技术介绍
，提出了一种基于指尖识别跟踪的3D鼠标方法，通过该方法可以本文档来自技高网...

【技术保护点】
1.一种3D手势鼠标的生成方法，其特征在于，包括以下步骤，a.视频输入采用Kinect获取视频流，根据其手部节点位置获取手部的大致范围，分别提取手部的深度图像和RGB图像；b.特征提取对于从步骤a中获取的两种图像将分别提取不同的特征用于后续的指尖跟踪，b‑1.模板提取，对于步骤a中的深度图像和RGB图像，从中选取不同大小的图像区域作为特征提取模板，分别用Mdepth，Mrgb表示，模板值分别为设定为Mdepth＝40X40，Mrgb＝80X90；对于获取的深度图像提取手部的指尖部分，即感兴趣区域Mdepth，大小为40X40，对该图像进行二值化处理，从而得到指尖的一副大小为40X40的二值图像...

【技术特征摘要】
1.一种3D手势鼠标的生成方法，其特征在于，包括以下步骤，a.视频输入采用Kinect获取视频流，根据其手部节点位置获取手部的大致范围，分别提取手部的深度图像和RGB图像；b.特征提取对于从步骤a中获取的两种图像将分别提取不同的特征用于后续的指尖跟踪，b-1.模板提取，对于步骤a中的深度图像和RGB图像，从中选取不同大小的图像区域作为特征提取模板，分别用Mdepth，Mrgb表示，模板值分别为设定为Mdepth＝40X40，Mrgb＝80X90；对于获取的深度图像提取手部的指尖部分，即感兴趣区域Mdepth，大小为40X40，对该图像进行二值化处理，从而得到指尖的一副大小为40X40的二值图像，其中白色(像素值255)表示指尖，黑色(像素值0)表示非指尖部分，将整个二值图像作出如下划分，整个图像的像素点数记为Ci，人体手指部分像素个数记为Ti，其中i为感兴趣区域的编号，则每个区域的指尖像素比如下：对于彩色(RGB)图像，提取手部区域Mrgb＝80X90(区域包含整个手掌)，从该模板中提取边缘梯度信息作为另一个特征，提取边缘梯度信息的方法步骤和参数如下：将彩色图像转换成灰度图像，利用canny算子进行边缘检测，得到该模板中明显的边缘点，然后用sobel算子与图像进行卷积操作，得到水平和垂直方向上的差分图像，分别标记为分别标记为Gx(xi)和Gy(xi)，那么边缘点的梯度幅值和方向分别为其中θ∈{0，360°}xi为像素点的坐标向量；接着，对边缘点的方向指进行量化，一般量化级越高，匹配时越精确，由于是对指尖的小区域求边缘方向，边缘点数量不大，选取量化间隔为45°，量化级为8，为了提高边缘信息的可靠性，利用梯度幅值加权比重计算边缘直方图，以θ(xi)作为直方图的横坐标，则直方图的纵坐标取值如下式式中：k＝0，1，...8；为狄拉克函数；b-2.特征提取，对从深度图中获取到的二值像素比信息，设定新的相似度衡量方式，将不同的感兴趣区域中的像素占比度进行比较，得到他们的相对差值，作为新的相似度衡量方式，表达式如下：其中，ρ(y)表示两个模板指尖的像素比特征相性度，为目标模板的像素度比例，为当前第第i个模板的指尖像素比：当ρ(y)越大时，表示与我们需要追踪的目标越相似，特征匹配度越高；对于从RGB图像获得边缘特征，采用巴氏距离衡量候选模型与目标模型之间的相似度，其公式如下：其中表示第i个候选模型的边缘方向直方图，表示目标模型的边缘方向直方图，ρ(y)的值越小，代表候选模型与目标模型越相似；c.特征融合以获得观测模型在变化的场景中，两种特征的表现性能不同，为了综合两者的优点，采用线性加权的方法联合两种特征的权重，对于式(5)和式(6)，令如果某个特征的表现性越好，则与目标模型越相似，权重就越大，则联合特征密度可表示为ρsum(y)＝α1(1-ρ1)+α2ρ2(9)d.粒子滤波跟踪采用的粒子滤波方法过程明细如下：粒子样本集合描述，设粒子集合模型S＝{x，y，vx，vy，wx，wy，a}其中x、y是粒子的中心位置，vx，vy是粒子在x，y方向上的移动速度，wx，wy，表示粒子所在区域的宽和高，在此，wx，wy，均设为固定值d1，a是速度的尺度变换因子，样本集合的更新通过系统状态变化...

【专利技术属性】
技术研发人员：冯志全，曾波涛，
申请(专利权)人：济南大学，
类型：发明
国别省市：山东,37