一种基于视频图像处理的手势识别系统及其方法技术方案

一种基于视频图像处理的手势识别系统及其方法属于图像处理领域；包括摄像头采集模块、摄像头配置模块、预处理模块、DDR存储器、手势检测与分割模块、手势特征提取模块和手势识别模块；所述预处理模块包括中值滤波模块、颜色域转换模块，手势检测与分割模块包括图像二值化模块、滤波模块和边缘检测模块；所述摄像头配置模块连接摄像头采集模块，所述摄像头采集模块依次连接中值滤波模块、颜色域转换模块、DDR存储器、图像二值化模块、滤波模块、边缘检测模块、手势特征提取模块和手势识别模块；本发明专利技术有效的解决了现有技术当中识别时间长，反应慢的技术问题。

A Gesture Recognition System Based on Video Image Processing and Its Method

【技术实现步骤摘要】
一种基于视频图像处理的手势识别系统及其方法
本专利技术属于图像处理领域，尤其涉及一种基于视频图像处理的手势识别系统及其方法。
技术介绍
随着人机交互技术的飞速发展，各种新型的人机交互方式不断涌现，基于手势识别的人机交互方式作为其中一个分支，随着各种新算法的提出及改进，其重要性日益凸显，并将在不远的将来走进千家万户，成为家庭中人机交互的主要方式。然而，手势识别这类基于数字图像处理的人机交互方式，一直面临着一个难以解决的问题，即识别时间长，反应慢的技术问题。
技术实现思路
本专利技术克服了上述现有技术的不足，提供一种基于视频图像处理的手势识别系统及其方法。本专利技术的技术方案：一种基于视频图像处理的手势识别系统，包括摄像头采集模块、摄像头配置模块、预处理模块、DDR存储器、手势检测与分割模块、手势特征提取模块和手势识别模块；所述预处理模块包括中值滤波模块、颜色域转换模块，手势检测与分割模块包括图像二值化模块、滤波模块和边缘检测模块；所述摄像头配置模块连接摄像头采集模块，所述摄像头采集模块依次连接中值滤波模块、颜色域转换模块、DDR存储器、图像二值化模块、滤波模块、边缘检测模块、手势特征提取模块和手势识别模块。一种基于所述基于视频图像处理的手势识别系统实现的手势识别方法，包括下列步骤：步骤a、摄像头采集模块对手势图像进行采集，对手势图像进行中值滤波和颜色域转换，输出YCrCb格式的图像到手势检测与分割模块；步骤b、手势检测与分割模块对所述图像利用最大类间方差法的自适应阈值的二值化算法进行二值化；步骤c、对二值化后的图像进行均值滤波运算和先腐蚀后膨胀的形态学滤波进行降噪处理；步骤d、对降噪处理后的图像采用Sobel算子利用边缘上像素值的梯度变化确定并提取手势的轮廓；步骤e、进行特征提取：特征包括手部的面积周长比、手指根数及预置10种手势的7阶Hu矩；步骤f、设定手部图像面积为S、手部图像周长L的比值为C，步骤g、面积S的求法是在二值化的手部图像上，计算手部就是计算所有白色像素点的个数，以此作为面积，通过对二值图像进行扫描得到：步骤h、周长L的求法是手部轮廓边界线上所有像素点之和，对手势轮廓中的手势区域进行扫描并且计算出白色点的个数，即为周长：步骤i、通过手指的根数F和手势轮廓的7个不变矩作为特征参数，运用分类决策树和手势特征集中预置的多种手势的手势特征进行匹配从而识别手势。进一步地，所述中值滤波方法包括把一帧图片里的任意一点像素的亮度值被该点模板邻域各点的亮度值的中值取代，采用3×3模板来实现中值滤波。进一步地，所述颜色域转换为RGB颜色空间转换为与亮度呈非线性关系的颜色空间YCrCb颜色空间，其中Y表示亮度，Cr表示RGB中红色分量与亮度值之间的差异，Cb表示RGB蓝色分量与亮度值之间的差异。进一步地，所述最大类间方差法的自适应阈值的二值化算法根据图像目标和背景的方差来区别出图像的目标和背景。进一步地，所述形态学滤波方法包括先腐蚀后膨胀，腐蚀为用3阶矩阵模板与图像中的每一个像素进行计算，即模板与模板覆盖的像素进行与运算，如果都为1，则该像素为1，否则该像素为0，公式为其中X表示原图像，B表示处理模板；膨胀为腐蚀的反操作，用3阶矩阵模板扫描图像中的每一个像素，即模板与模板覆盖的像素进行或运算，如果都为0，则该像素为0，否则该像素为1，公式为进一步地，所述Sobel算子包含两组3阶矩阵，分别用于检测图像的水平边缘和垂直边缘，设I表示待处理图像，Gx与Gy分别表示水平和垂直边缘检测的图像，公式如下：结合以上两式，针对图像的每个像素点求出近似梯度：进一步地，运用分类决策树和手势特征集中预置的多种手势的手势特征进行匹配从而识别手势的方法为建立分类决策树，根据面积周长比的值C参数对不同手势第一次进行区分，对处在同一C参数区间的手势再通过手指根数F参数进行区分，若依然无法区分则利用Hu矩参数信息与预置于手势特征集中的手势进行最小欧氏距离进行匹配，最终实现快速精确的识别预先定义的十种手势。本专利技术相对于现有技术具有以下有益效果：本专利技术公开了一种基于视频图像处理的手势识别系统及其方法，通过摄像头采集模块对手势图像进行采集，输出RGB格式图像传输至预处理模块进行预处理；对图像进行中值滤波，去除掉图像中的椒盐噪声，然后再对图像进行颜色域转换，把图像转换成YCrCb格式的数据经过预处理模块后的图像缓存到DDR存储器中，图像二值化模块从DDR存储器中读取到的图像数据经过自适应阈值的界定，进行图像的二值化，用以简化计算和资源消耗；通过滤波模块进行降噪处理，滤波模块包括均值滤波和形态学滤波，均值滤波用于取出白噪声和环境噪声，形态学滤波(腐蚀膨胀)用于去除二值化后的噪点，通过边缘检测模块对图像完成手势分割；通过手势特征提取模块提取手势图像特征；通过手势识别模块对手势图像特征进行手势识别运算，快速完成手势识别；本专利技术有效的解决了现有技术当中识别时间长，反应慢的技术问题。附图说明图1是一种基于视频图像处理的手势识别系统结构图；图2是一种基于视频图像处理的手势识别方法流程图；图3是中值滤波流程图；图4是腐蚀过程演示图；图5是膨胀过程演示图；图6是决策树示意图图；图7是预设十种手势对比图；图8是系统工作原理图。具体实施方式以下将结合附图对本专利技术进行详细说明。具体实施方式一一种基于视频图像处理的手势识别系统，如图1所示，包括摄像头采集模块、摄像头配置模块、预处理模块、DDR存储器、手势检测与分割模块、手势特征提取模块和手势识别模块；所述预处理模块包括中值滤波模块和颜色域转换模块，手势检测与分割模块包括图像二值化模块、滤波模块和边缘检测模块；所述摄像头配置模块连接摄像头采集模块，所述摄像头采集模块依次连接中值滤波模块、颜色域转换模块、DDR存储器、图像二值化模块、滤波模块、边缘检测模块、手势特征提取模块和手势识别模块。工作过程：如图8所示，通过摄像头配置模块对摄像头采集模块配置，使用FPGA驱动摄像头采集模块对手势图像进行采集，输出RGB格式图像传输至预处理模块进行预处理；对图像进行中值滤波，去除掉图像中的椒盐噪声，然后再对图像进行颜色域转换，把图像转换成YCrCb格式的数据经过预处理模块后的图像缓存到DDR存储器中，图像二值化模块从DDR存储器中读取到的图像数据经过自适应阈值的界定，进行图像的二值化，用以简化计算和资源消耗；通过滤波模块进行降噪处理，滤波模块包括均值滤波和形态学滤波，均值滤波用于取出白噪声和环境噪声，形态学滤波(腐蚀膨胀)用于去除二值化后的噪点，通过边缘检测模块对图像完成手势分割；通过手势特征提取模块提取手势图像特征；通过手势识别模块对手势图像特征进行手势识别运算，完成手势识别。具体实施方式二一种基于所述基于视频图像处理的手势识别系统实现的手势识别方法，如图2所示，包括下列步骤：步骤a、摄像头采集模块对手势图像进行采集，对手势图像进行中值滤波和颜色域转换，输出YCrCb格式的图像到手势检测与分割模块；步骤b、手势检测与分割模块对所述图像利用最大类间方差法的自适应阈值的二值化算法进行二值化；步骤c、对二值化后的图像进行均值滤波运算和先腐蚀后膨胀的形态学滤波进行降噪处理；步骤d、对降噪处理后的图像采用Sobel算子利用边缘上像素值的梯度变化本文档来自技高网...

【技术保护点】
1.一种基于视频图像处理的手势识别系统，其特征在于，包括摄像头采集模块、摄像头配置模块、预处理模块、DDR存储器、手势检测与分割模块、手势特征提取模块和手势识别模块；所述预处理模块包括中值滤波模块、颜色域转换模块，手势检测与分割模块包括图像二值化模块、滤波模块和边缘检测模块；所述摄像头配置模块连接摄像头采集模块，所述摄像头采集模块依次连接中值滤波模块、颜色域转换模块、DDR存储器、图像二值化模块、滤波模块、边缘检测模块、手势特征提取模块和手势识别模块。

【技术特征摘要】
1.一种基于视频图像处理的手势识别系统，其特征在于，包括摄像头采集模块、摄像头配置模块、预处理模块、DDR存储器、手势检测与分割模块、手势特征提取模块和手势识别模块；所述预处理模块包括中值滤波模块、颜色域转换模块，手势检测与分割模块包括图像二值化模块、滤波模块和边缘检测模块；所述摄像头配置模块连接摄像头采集模块，所述摄像头采集模块依次连接中值滤波模块、颜色域转换模块、DDR存储器、图像二值化模块、滤波模块、边缘检测模块、手势特征提取模块和手势识别模块。2.一种基于权利要求1所述基于视频图像处理的手势识别系统实现的手势识别方法，其特征在于，包括下列步骤：步骤a、摄像头采集模块对手势图像进行采集，对手势图像进行中值滤波和颜色域转换，输出YCrCb格式的图像到手势检测与分割模块；步骤b、手势检测与分割模块对所述图像利用最大类间方差法的自适应阈值的二值化算法进行二值化；步骤c、对二值化后的图像进行均值滤波运算和先腐蚀后膨胀的形态学滤波进行降噪处理；步骤d、对降噪处理后的图像采用Sobel算子利用边缘上像素值的梯度变化确定并提取手势的轮廓；步骤e、进行特征提取：特征包括手部的面积周长比、手指根数及预置10种手势的7阶Hu矩；步骤f、设定手部图像面积为S、手部图像周长L的比值为C，步骤g、面积S的求法是在二值化的手部图像上，计算手部就是计算所有白色像素点的个数，以此作为面积，通过对二值图像进行扫描得到：步骤h、周长L的求法是手部轮廓边界线上所有像素点之和，对手势轮廓中的手势区域进行扫描并且计算出白色点的个数，即为周长：步骤i、通过手指的根数F和手势轮廓的7个不变矩作为特征参数，运用分类决策树和手势特征集中预置的多种手势的手势特征进行匹配从而识别手势。3.根据权利要求2所述基于视频图像处理的手势识别方法，其特征在于，所述中值滤波方法包括把...

【专利技术属性】
技术研发人员：王鹏，张强，薛楠，宋成伟，
申请(专利权)人：哈尔滨理工大学，
类型：发明
国别省市：黑龙江,23