一种基于VR眼镜的手势识别系统及方法技术方案

本发明专利技术提出一种基于VR眼镜的手势识别系统及方法，所述手势识别系统包括用于获取第一视频数据的数据获取模块、数据处理模块、指纹识别模块和手势识别模块。通过将获取到的第一视频数据进行处理后，再进行分割、提取得到第一手部区域，然后利用指纹与手势识别模型间的对应关系，根据所述第一指纹图像信息确定第一手势识别模型，再利用所述第一手势识别模型对所述第一手部区域进行手势识别，得到第一手势识别结果，不仅识别手势的速度快，而且能保证高标准的识别率。高标准的识别率。高标准的识别率。

【技术实现步骤摘要】
一种基于VR眼镜的手势识别系统及方法


[0001]本专利技术涉及虚拟现实
，具体涉及一种基于VR眼镜的手势识别系统及方法。

技术介绍

[0002]虚拟现实(Virtual Reality，VR)交互技术是一门新兴的综合信息技术，使用以计算机技术为核心的现代高科技，生成逼真的视觉、听觉、触觉一体化的特定范围的虚拟环境，用户借助必要的设备以自己的方式与虚拟环境中的对象进行交互作用、互相影响，从而产生与亲临等同真实环境的感受和体验。它融合了数字图像处理、多媒体技术、计算机图形学、传感器技术等多方面信息技术。它通过计算机图形学构成三维数字模型，在视觉上给用户一种立体的虚拟环境。
[0003]VR手势交互是指用户可以通过在手势对虚拟现实眼镜的显示界面上显示的内容或者与虚拟现实眼镜的其他终端进行控制。VR手势交互需要终端设备对用户手势进行识别，然而在现有的手势识别方法中，存在识别速度不快、识别结果不准确的问题。

技术实现思路

[0004]本专利技术正是基于上述问题，提出了一种基于VR眼镜的手势识别系统及方法，通过将获取到的第一视频数据进行处理后，再进行分割、提取得到第一手部区域，然后利用指纹与手势识别模型间的对应关系，根据所述第一指纹图像信息确定第一手势识别模型，再利用所述第一手势识别模型对所述第一手部区域进行手势识别，得到第一手势识别结果，不仅识别手势的速度快，而且能保证高标准的识别率。
[0005]有鉴于此，本专利技术的一方面提出了一种基于VR眼镜的手势识别系统，包括：用于获取第一视频数据的数据获取模块、数据处理模块、指纹识别模块和手势识别模块；其中，
[0006]所述数据获取模块被配置为：获取背景图像数据，建立包含背景样本像素值的背景像素库；
[0007]所述数据处理模块被配置为：
[0008]从所述第一视频数据中提取第一视频图像序列；
[0009]对所述第一视频图像序列进行处理，将背景与人体进行分割，得到第一分割图像；
[0010]确定所述第一分割图像中的连通域并对所述连通域进行标识；
[0011]根据预设的手部区域大小范围值，从所述连通域中确定第一手部区域；
[0012]所述指纹识别模块被配置为：从所述第一手部区域中提取第一指纹图像信息；
[0013]所述手势识别模块被配置为：
[0014]根据所述第一指纹图像信息确定第一手势识别模型；
[0015]利用所述第一手势识别模型对所述第一手部区域进行手势识别，得到第一手势识别结果。
[0016]可选地，在所述对所述第一视频图像序列进行处理，将背景与人体进行分割，得到
第一分割图像的步骤，所述数据处理模块具体被配置为：
[0017]从所述第一视频图像序列中按预设的顺序中提取当前像素点；
[0018]将所述当前像素点的像素值与所述背景像素库中的所有所述背景样本像素值进行比较；
[0019]确定与所述当前像素点的像素值的差值在第一预设范围内的所述背景样本像素值的第一数量；
[0020]若所述第一数量大于第一预设阈值，则确定所述当前像素点属于背景点；
[0021]重复上述步骤，直到将所述第一视频图像序列比较完成，得到当前背景点集；
[0022]根据所述当前背景点集，确定所述第一视频图像序列中的背景图像区域；
[0023]将所述背景图像区域从所述第一视频图像序列中提取出来，实现背景与人体的分割，得到所述第一分割图像。
[0024]可选地，所述确定所述第一分割图像中的连通域并对所述连通域进行标识的步骤之后、所述根据预设的手部区域大小范围值，从所述连通域中确定第一手部区域的步骤之前，所述数据处理模块被配置为：
[0025]将所述第一分割图像压缩成像素值为64*64的图像并进行灰度化处理；
[0026]将处理后的图像输入训练好的卷积神经网络模型得到人脸图像区域；
[0027]将所述人脸图像区域从所述连通域中删除。
[0028]可选地，所述从所述第一手部区域中提取第一指纹图像信息的步骤，所述指纹识别模块具体被配置为：
[0029]从所述第一手部区域中提取第一指头图像；
[0030]从所述第一指头图像中检测并提取第一指纹图像；
[0031]对所述第一指纹图像进行灰度化、归一化处理得到第二指纹图像；
[0032]对所述第二指纹图像进行二值化处理得到第三指纹图像；
[0033]对所述第三指纹图像进行增强和细化处理得到第四指纹图像；
[0034]从所述第四指纹图像中提取特征点；
[0035]将所述特征点与预先存储的指纹数据库中的指纹样本的进行特征点匹配；
[0036]当匹配值达到预设匹配值时，确定对应的指纹样本的信息为所述第一指纹图像信息。
[0037]可选地，还包括控制模块；所述利用所述第一手势识别模型对所述第一手部区域进行手势识别，得到第一手势识别结果的步骤之后，所述控制模块被配置为：
[0038]根据所述第一识别结果生成第一控制指令；
[0039]将所述第一控制指令发送至待控制终端；
[0040]控制显示所述待控制终端执行所述第一控制指令的执行状态。
[0041]本专利技术的另一方面提供一种基于VR眼镜的手势识别方法，包括：
[0042]获取背景图像数据，建立包含背景样本像素值的背景像素库；
[0043]获取第一视频数据；
[0044]从所述第一视频数据中提取第一视频图像序列；
[0045]对所述第一视频图像序列进行处理，将背景与人体进行分割，得到第一分割图像；
[0046]确定所述第一分割图像中的连通域并对所述连通域进行标识；
[0047]根据预设的手部区域大小范围值，从所述连通域中确定第一手部区域；
[0048]从所述第一手部区域中提取第一指纹图像信息；
[0049]根据所述第一指纹图像信息确定第一手势识别模型；
[0050]利用所述第一手势识别模型对所述第一手部区域进行手势识别，得到第一手势识别结果。
[0051]可选地，所述对所述第一视频图像序列进行处理，将背景与人体进行分割，得到第一分割图像的步骤，包括：
[0052]从所述第一视频图像序列中按预设的顺序中提取当前像素点；
[0053]将所述当前像素点的像素值与所述背景像素库中的所有所述背景样本像素值进行比较；
[0054]确定与所述当前像素点的像素值的差值在第一预设范围内的所述背景样本像素值的第一数量；
[0055]若所述第一数量大于第一预设阈值，则确定所述当前像素点属于背景点；
[0056]重复上述步骤，直到将所述第一视频图像序列比较完成，得到当前背景点集；
[0057]根据所述当前背景点集，确定所述第一视频图像序列中的背景图像区域；
[0058]将所述背景图像区域从所述第一视频图像序列中提取出来，实现背景与人体的分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于VR眼镜的手势识别系统，其特征在于，包括：用于获取第一视频数据的数据获取模块、数据处理模块、指纹识别模块和手势识别模块；其中，所述数据获取模块被配置为：获取背景图像数据，建立包含背景样本像素值的背景像素库；所述数据处理模块被配置为：从所述第一视频数据中提取第一视频图像序列；对所述第一视频图像序列进行处理，将背景与人体进行分割，得到第一分割图像；确定所述第一分割图像中的连通域并对所述连通域进行标识；根据预设的手部区域大小范围值，从所述连通域中确定第一手部区域；所述指纹识别模块被配置为：从所述第一手部区域中提取第一指纹图像信息；所述手势识别模块被配置为：根据所述第一指纹图像信息确定第一手势识别模型；利用所述第一手势识别模型对所述第一手部区域进行手势识别，得到第一手势识别结果。2.根据权利要求1所述的基于VR眼镜的手势识别系统，其特征在于，在所述对所述第一视频图像序列进行处理，将背景与人体进行分割，得到第一分割图像的步骤中，所述数据处理模块具体被配置为：从所述第一视频图像序列中按预设的顺序中提取当前像素点；将所述当前像素点的像素值与所述背景像素库中的所有所述背景样本像素值进行比较；确定与所述当前像素点的像素值的差值在第一预设范围内的所述背景样本像素值的第一数量；若所述第一数量大于第一预设阈值，则确定所述当前像素点属于背景点；重复上述步骤，直到将所述第一视频图像序列比较完成，得到当前背景点集；根据所述当前背景点集，确定所述第一视频图像序列中的背景图像区域；将所述背景图像区域从所述第一视频图像序列中提取出来，实现背景与人体的分割，得到所述第一分割图像。3.根据权利要求2所述的基于VR眼镜的手势识别系统，其特征在于，所述确定所述第一分割图像中的连通域并对所述连通域进行标识的步骤之后、所述根据预设的手部区域大小范围值，从所述连通域中确定第一手部区域的步骤之前，所述数据处理模块被配置为：将所述第一分割图像压缩成像素值为64*64的图像并进行灰度化处理；将处理后的图像输入训练好的卷积神经网络模型得到人脸图像区域；将所述人脸图像区域从所述连通域中删除。4.根据权利要求1所述的基于VR眼镜的手势识别系统，其特征在于，所述从所述第一手部区域中提取第一指纹图像信息的步骤，所述指纹识别模块具体被配置为：从所述第一手部区域中提取第一指头图像；从所述第一指头图像中检测并提取第一指纹图像；对所述第一指纹图像进行灰度化、归一化处理得到第二指纹图像；对所述第二指纹图像进行二值化处理得到第三指纹图像；
对所述第三指纹图像进行增强和细化处理得到第四指纹图像；从所述第四指纹图像中提取特征点；将所述特征点与预先存储的指纹数据库中的指纹样本的进行特征点匹配；当匹配值达到预设匹配值时，确定对应的指纹样本的信息为所述第一指纹图像信息。5.根据权利要求4所述的基于VR眼镜的手势识别系统，其特征在于，还包括控制模块；所述利用所述第一手势识别模型对所述第一手部区域进行手势识别，得到第一手势识别结果的步骤之后，所述控制模块被配置...

【专利技术属性】
技术研发人员：顾金鑫，常安群，邓小军，
申请(专利权)人：深圳市新联优品科技有限公司，
类型：发明
国别省市：