一种基于傅里叶描述子的手势识别方法技术

一种基于傅里叶描述子的手势识别方法是一种通过傅里叶描述子和人工神经网络识别手势的方法，包括步骤：读人手图像数据集；检测肤色和二值化图像；跟踪搜索人手轮廓；根据坐标转换关系，重新计算人手轮廓横纵坐标，建立新人手轮廓；用复数描述新人手轮廓，并应用傅里叶变换算出傅里叶描述子，将傅里叶描述子归一化；取若干个经归一化处理的傅里叶描述子作手势特征，通过人工神经网络训练出一组权重和偏置值；使用包含所述权重和偏置值的人工神经网络识别待识别的手势。本发明专利技术可以识别形状相同但旋转角度不同的手势，具有性能优越和鲁棒性强特点。强特点。强特点。

【技术实现步骤摘要】
一种基于傅里叶描述子的手势识别方法


[0001]本研究涉及计算机视觉和人工智能
，尤其涉及一种基于傅里叶描述子的手势识别方法。

技术介绍

[0002]自汽车被专利技术以来，其人车交互方式一直在不断地发生变化。语音交互是当前常见的智能人车交互方式，但对聋哑人、小孩和老人等语言障碍人士而言，其用户体验并不够友好。随着手势识别技术不断地发展，手势识别也成为汽车新的人车交互方式。通过手势识别技术，驾驶员和乘客可以使用不同手势同车载设备交互享用形形色色的功能，例如，手势挂接电话、播放音乐、开关车窗，以及调节空调温度、座椅位置等功能。由于人手姿势千变万化，且其易受光线、肤色、背景等因素影响，因此准确、实时和稳定地识别出手势成为待解决的关键问题。
[0003]一种基于傅里叶描述子的手势识别方法主要利用傅里叶描述子描述手势轮廓形状，并用人工神经网络对手势轮廓形状分类。由于傅里叶描述子具有旋转不变性等特性，因此相同形状但旋转角度不同的手势轮廓被归为相同手势。这样的方法只关注手势轮廓形状而省略掉手势轮廓旋转方向。就车载设备控制而言，手势轮廓旋转方向对用户体验具有重要意义，例如，手握拳头伸出食指的手势，食指偏左和偏右可以很直观地表示调高和调低空调温度或调高和高低音量。针对此类问题，本专利提出一种能区别手势轮廓旋转方向的计算方法，以此辨别人手姿势，具有识别率高、性能优越和鲁棒性好优点。

技术实现思路

[0004]本专利技术的目标在于提供一种基于傅里叶描述子的手势识别方法，解决手势识别过程常遇到的手势分类、实时性、鲁棒性问题。
[0005]为实现上述目的，本专利技术提供一种基于傅里叶描述子的手势识别方法，主要包括以下步骤：
①
读出不同手势动作数据集图像并提取手势轮廓；
②
按坐标转换关系，重新计算手势轮廓点坐标，建立新手势轮廓；
③
计算新手势轮廓的傅里叶描述子；
④
以所述傅里叶描述子为手势动作特征，经人工神经网络训练获取手势识别神经网络模型，基于所述手势识别神经网络模型识别待识别的手势动作。
[0006]所述一种基于傅里叶描述子的手势识别方法，所述步骤
①
手势轮廓提取步骤如下：
⑴
将RGB颜色空间图像转换成HSV颜色空间图像；
⑵
利用肤色在HSV颜色空间的分布特点提取肤色,获取肤色图像；
⑶
将肤色图像二值化，获取二值化图像；
⑷
通过边界跟踪方法搜索二值化图像中的人手边界，所述人手边界即为手势轮
廓。
[0007]所述一种基于傅里叶描述子的手势识别方法，所述步骤
②
新手势轮廓建立步骤如下：
⑴
设（ contourX(i),contourY(i) ）为手势轮廓第i个轮廓点的横纵坐标值，0<=i<L，L为手势轮廓点数量；
⑵
新旧坐标转换公式，newContourX(i)= contourX(i)，newContourY(i)= contourX(i)+ contourY(i)；
⑶
( newContourX(i)，newContourY(i) )为新手势轮廓第i个轮廓点的横纵坐标值；
⑷
全部（ newContourX，newContourY ）轮廓点组成新手势轮廓。
[0008]所述一种基于傅里叶描述子的手势识别方法，所述步骤
③
新手势轮廓傅里叶描述子计算步骤如下：
⑴ꢀ⑵ꢀ
式中s(i)为新手势轮廓第i个轮廓点的复数形式；
⑶
；
⑷
式中a被称为傅里叶描述子，是利用傅里叶变换对s变换后的值；
⑸
；
⑹
是第w个傅里叶描述子的模，F(w)是第w个经过归一化处理的傅里叶描述子，w值为1至N，N取统一值，取值范围为[8,L)，归一化处理后的傅里叶描述子为新手势轮廓的傅里叶描述子。
[0009]所述一种基于傅里叶描述子的手势识别方法，所述步骤
④
将新手势轮廓的第1至第N个F(w)作为BP人工神经网络输入，利用BP人工神经网络训练所述不同手势动作数据集图像，得到一组经过训练后的人工神经网络权值和偏置权，包含所述人工神经网络权植和偏置权的BP人工神经网络为手势识别神经网络模型，所述手势识别神经网络模型用于识别手势动作。
[0010]通过以上方案，本专利技术的有益效果在于：可以区分形状相同但旋转角度不同的手势，能识别更多手势动作；具有识别性能和鲁棒性优势。
附图说明
[0011]图1为本专利技术手势训练流程图。
[0012]图2为本专利技术手势识别流程图。
[0013]图3为本专利技术预定义手势示意图。
[0014]图4为本专利技术形状相同但旋转角度不同的手势轮廓示意图。
具体实施方式
[0015]下面结合本专利技术附图，向本领域技术人员完整描述本专利技术技术方案，使本专利技术的
技术实现思路
更加易于理解，其目的在于让开发者能够根据本专利技术方案开发新产品。凡根据本专利技术精神实质所作的变动，都属于本专利技术的保护范围。
[0016]实施示例
‑
手势训练。
[0017]手势训练过程如图1所示。
[0018]步骤Step1读取人手图像数据集。本实施示例基于OpenCV实现，OpenCV是开源的跨平台计算机视觉库，可以在 Windows、Linux、Android等系统运行，支持Java和Python等开发语言。所述人手图像数据集预定义23个手势，每个手势1张图像，图像是640*480和RGB颜色的PNG文件，所述人手图像数据集预定义23个手势如图3所示。通过调用OpencCV中的方法imread读出人手图像数据集文件。
[0019]步骤Step2 提取肤色。通过调用OpenCV中的方法cvtColor将人手图像的颜色空间从RGB空间转换为HSV空间。设置下限阈值[100, 20, 20]和上限阈值[135, 255, 255]，通过调用OpenCV中的方法inRange将HSV人手图像中的肤色搜索出来，并新建二值人手图像，用白色表示肤色（人手），用黑色表示非肤色（背景）。
[0020]步骤Step3 提取手势轮廓。通过调用OpenCV中的方法findContours找出所述二值人手图像的轮廓，所述轮廓为手势轮廓。
[0021]步骤Step4遍历所述手势轮廓，读出第i个轮廓点的横纵坐标（ x(i),y(i) ），将所述横纵坐标转换成新横纵坐标，newContourX(i)=x(i), newContourY(i)=x(i)+y(i)，0<=i<L，L为组成所述手势轮廓的轮廓点数量, （ newContourX(i), newContourY(i) ）为新轮廓点横纵坐标，由全部新轮廓点组成的轮廓称为新手势轮廓。
[0022]步骤本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于傅里叶描述子的手势识别方法，主要包括以下步骤：
①
读出不同手势动作数据集图像并提取手势轮廓；
②
按坐标转换关系，重新计算手势轮廓点坐标，建立新手势轮廓；
③
计算新手势轮廓的傅里叶描述子；
④
以所述傅里叶描述子为手势动作特征，经人工神经网络训练获取手势识别神经网络模型，基于所述手势识别神经网络模型识别待识别的手势动作。2.根据权利要求1所述的一种基于傅里叶描述子的手势识别方法，其特征在于，所述步骤
①
手势轮廓提取步骤如下：
⑴
将RGB颜色空间图像转换成HSV颜色空间图像；
⑵
利用肤色在HSV颜色空间的分布特点提取肤色,获取肤色图像；
⑶
将肤色图像二值化，获取二值化图像；
⑷
通过边界跟踪方法搜索二值化图像中的人手边界，所述人手边界即为手势轮廓。3.根据权利要求1所述的一种基于傅里叶描述子的手势识别方法，其特征在于，所述步骤
②
新手势轮廓建立步骤如下：
⑴
设（ contourX(i),contourY(i) ）为手势轮廓第i个轮廓点的横纵坐标值，0<=i<L，L为手势轮廓点数量；
⑵
新旧坐标转换公式，newContourX(i)= contourX(i)，ne...

【专利技术属性】
技术研发人员：邢益良，雷华军，
申请(专利权)人：海南软件职业技术学院，
类型：发明
国别省市：