一种基于深度相机和轮廓提取的手势识别方法及系统技术方案

本发明专利技术属于光信息处理以及计算机视觉等技术领域，具体涉及一种基于深度相机和轮廓提取的手势识别方法及系统，包括：获取手势点云数据；使用手势点云数据处理算法对手势点云数据进行预处理；对预处理后的手势点云数据进行主成分分析和轮廓提取得到压缩后的手势点云数据；将处理后的手势点云数据划分为多个数据集，利用手势点云数据识别算法对上述数据集进行训练和测试，训练得到手势识别模型，所述手势识别模型的输入是手势点云数据，输出是手势的类别信息，测试得到手势识别结果。本发明专利技术极大提高了手势点云数据识别算法的处理速度，在移动设备、智能家居、智能控制等领域有较大的应用前景。应用前景。应用前景。

【技术实现步骤摘要】
一种基于深度相机和轮廓提取的手势识别方法及系统


[0001]本专利技术属于光信息处理和计算机视觉
，特别涉及一种基于深度相机和轮廓提取的手势识别方法及系统。

技术介绍

[0002]手势识别技术在人机交互、智能家居、机器人控制、聋哑人交流等领域有着广泛的应用。实用的手势识别算法通常具有适用场景广泛、鲁棒性好、处理速度快以及可扩展性强等特点。目前，大部分识别算法均采用灰度图像或彩色图像作为原始数据，环境光照发生变化或者完全黑暗条件下，手势识别的鲁棒性会受到较大的影响。深度相机作为主动测量设备，不易受到环境光照变化的影响，并且可在黑暗环境下正常工作。综上所述，深度相机作为数据采集设备具有很大的应用潜力。
[0003]深度相机直接获取的手势点云数据通常包含背景、噪声以及离群点等干扰，需要对上述冗余信息等进行去除。此外，原始手势点云数据中点的数据量大，在保证识别准确率的前提下，现有方法的计算速度不高，影响应用场景的推广。

技术实现思路

[0004]本专利技术的目的是提出一种基于深度相机和轮廓提取的手势识别方法及系统，以实现复杂光照环境和黑暗条件下的准确手势识别，在保证高识别准确率的前提下极大地提高了算法处理速度。
[0005]本专利技术采用的技术方案具体为：
[0006]一种基于深度相机和轮廓提取的手势识别方法，包括：
[0007]获取手势点云数据；
[0008]使用手势点云数据处理算法对手势点云数据进行预处理；
[0009]手势点云数据压缩，对预处理后的手势点云数据进行主成分分析和轮廓提取得到压缩后的手势点云数据；
[0010]将处理后的手势点云数据划分为多个数据集，利用手势点云数据识别算法对上述数据集进行训练和测试，训练得到手势识别模型，所述手势识别模型的输入是手势点云数据，输出是手势的类别信息，测试得到手势识别结果。
[0011]作为本专利技术的进一步改进，所述获取手势点云数据包括：
[0012]根据手势识别任务，给出待识别手势；
[0013]使用深度相机采集待识别手势对应的手势点云数据；
[0014]重复采集所有类型的手势点云数据并保存。
[0015]作为本专利技术的进一步改进，所述深度相机为飞行时间深度相机或结构光深度相机。
[0016]作为本专利技术的进一步改进，所述使用手势点云数据处理算法对手势点云数据进行预处理，包括：
[0017]整理和划分采集到的不同类型的手势点云数据；
[0018]对手势点云数据进行裁剪处理：设置深度阈值，依据深度阈值裁剪掉背景和冗余的手势点云数据信息，得到只包含关键手势的手势点云数据；
[0019]对裁剪处理后的手势点云数据进行滤波处理：设置手势点云数据的近邻点数目和标准差比值两个参数，通过近邻点数目和标准差比值进行滤波处理，完成预处理。
[0020]作为本专利技术的进一步改进，所述对预处理后的手势点云数据进行主成分分析和轮廓提取，即手势点云数据压缩得到压缩后的手势点云数据，包括：
[0021]手势点云数据压缩步骤一：手势点云数据包含三个维度，在三维笛卡尔坐标系中用(x,y,z)表示；主成分分析分两步执行：第一步对手势点云数据降维，得到二维手势点云数据和主成分向量；第二步使用主成分向量将二维手势点云数据转换为三维平面手势点云数据；
[0022]手势点云数据压缩步骤二：在三维平面手势点云数据基础上，提取手势点云数据的轮廓。
[0023]作为本专利技术的进一步改进，所述将处理后的手势点云数据划分为多个数据集，利用手势点云数据识别算法对上述数据集进行训练和测试，训练得到手势识别模型，所述手势识别模型的输入是手势点云数据，输出是手势的类别信息，测试得到手势识别结果，包括：
[0024]将经过处理的手势点云数据划分为多个数据集，其方法为：
[0025]根据手势的类别和样本容量，将所有手势点云数据划分为训练集、验证集和测试集；
[0026]对手势识别模型进行训练和验证，其方法为：
[0027]将训练数据集和验证数据集输入到手势点云数据识别算法中，训练并得到手势识别模型；
[0028]对手势点云数据识别算法进行测试，其方法为：
[0029]将测试集输入到训练好的各种手势识别模型中，对不同模型进行识别，得到手势识别结果。
[0030]作为本专利技术的进一步改进，所述手势点云数据识别算法包括支持向量机机器学习算法、决策树机器学习算法，以及深度学习算法。
[0031]一种基于深度相机和轮廓提取的手势识别系统，包括：
[0032]获取模块，用于获取手势点云数据；
[0033]预处理模块，用于使用手势点云数据处理算法对手势点云数据进行预处理；
[0034]数据压缩模块，用于对预处理后的手势点云数据进行主成分分析和轮廓提取得到处理后的手势点云数据；
[0035]识别模块，用于将处理后的手势点云数据划分为多个数据集，利用手势点云数据识别算法对上述数据集进行训练和测试，训练得到手势识别模型，所述手势识别模型的输入是手势点云数据，输出是手势的类别信息，测试得到手势识别结果。
[0036]一种基于深度相机和轮廓提取的手势识别设备，包括：
[0037]存储器，
[0038]处理器，
[0039]所述处理器被配置为：执行所述的基于深度相机和轮廓提取的手势识别方法。
[0040]一种计算机可读存储介质，其特征在于，当所述存储介质中的指令由处理器执行时，使得处理器能够执行所述的基于深度相机和轮廓提取的手势识别方法。
[0041]相较于现有技术，本专利技术的优点和有益效果：
[0042]本专利技术使用手势点云数据裁剪和滤波等预处理方法，可以去除手势点云数据的背景和噪声。利用主成分分析和轮廓提取进一步对手势点云数据进行压缩处理，极大地减少了手势点云数据的数据量。使用的手势点云数据识别算法扩展性强，可以实现手势点云数据的快速准确识别。本专利技术提出的基于深度相机和轮廓提取的手势识别算法，不仅适用场景更加广泛，在保证高识别准确率的前提下极大地提高了算法处理速度。本专利技术可以识别多种类型的手势，对于人机交互、智能家居和机器人控制等领域有较大应用前景。
[0043]进一步，本专利技术使用深度相机作为数据采集设备，不易受到环境光照变化的影响，并可以在黑暗环境下工作。
附图说明
[0044]图1是本专利技术的一种实施例。101手势是数据采集的对象，102手势示例是数字5的形状示例，103深度相机是数据采集设备，104是数据采集过程，105手势点云数据是相机采集的一种数据类型，106手势点云数据示例是数字5的手势点云数据图，107是数据预处理过程，108是数字5经过预处理的手势点云数据示例，109是后续的数据处理过程。
[0045]图2是本专利技术的流程图，具体为使用深度相机采集手势点云数据、对手势点云数据进行裁剪和滤波等预处理操作、对预处理后的手势点云数据进行主成分分析和轮廓提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度相机和轮廓提取的手势识别方法，其特征在于，包括：获取手势点云数据；使用手势点云数据处理算法对手势点云数据进行预处理；对预处理后的手势点云数据进行主成分分析和轮廓提取得到压缩后的手势点云数据；将处理后的手势点云数据划分为多个数据集，利用手势点云数据识别算法对上述数据集进行训练和测试，训练得到手势识别模型，所述手势识别模型的输入是手势点云数据，输出是手势的类别信息，测试得到手势识别结果。2.根据权利要求1所述的一种基于深度相机和轮廓提取的手势识别方法，其特征在于，所述获取手势点云数据包括：根据手势识别任务，给出待识别手势；使用深度相机采集待识别手势对应的手势点云数据；重复采集所有类型的手势点云数据并保存。3.根据权利要求2所述的一种基于深度相机和轮廓提取的手势识别方法，其特征在于，所述深度相机为飞行时间深度相机或结构光深度相机。4.根据权利要求1所述的一种基于深度相机和轮廓提取的手势识别方法，其特征在于，所述使用手势点云数据处理算法对手势点云数据进行预处理，包括：整理和划分采集到的不同类型的手势点云数据；对手势点云数据进行裁剪处理：设置深度阈值，依据深度阈值裁剪掉背景和冗余的手势点云数据信息，得到只包含关键手势的手势点云数据；对裁剪处理后的手势点云数据进行滤波处理：设置手势点云数据的近邻点数目和标准差比值两个参数，通过近邻点数目和标准差比值进行滤波处理，完成预处理。5.根据权利要求1所述的一种基于深度相机和轮廓提取的手势识别方法，其特征在于，所述对预处理后的手势点云数据进行主成分分析和轮廓提取，得到处理后的手势点云数据，包括：手势点云数据包含三个维度，在三维笛卡尔坐标系中用(x,y,z)表示；主成分分析分两步执行：第一步对手势点云数据降维，得到二维手势点云数据和主成分向量；第二步使用主成分向量将二维手势点云数据转换为三维平面手势点云数据；在三维平面手势点云数据基础上，提取手势点云数据的轮廓。6....

【专利技术属性】
技术研发人员：岳洋，安栋，许天旭，张译文，王晓妍，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：