一种基于高光谱成像的手势识别方法及装置制造方法及图纸

本发明专利技术公开了一种基于高光谱成像的手势识别方法及装置，其中，手势识别方法包括：通过高光谱成像系统采集处于可见光源和红外光源共同照射下的手势的图像，获得高光谱图像；对多通道高光谱图像进行目标特征融合，形成单通道图像；对所述单通道图像去噪处理，得到去噪图像；通过图像识别和动作追踪算法对所述去噪图像进行识别，获取手势识别结果。本发明专利技术可以同时采集可见光波段和红外光波段的手势图像信息，在手势识别中对多通道高光谱图像进行目标特征的有效融合，使得目标特征区域对比度增强，从而有效地进行图像分割，提取手的轮廓信息进行后续的手势识别，有助于提高手势识别的准确性和有效性。

A Gesture Recognition Method and Device Based on Hyperspectral Imaging

The invention discloses a gesture recognition method and device based on Hyperspectral imaging, in which the gesture recognition method includes: acquiring the gesture image under the co-irradiation of visible light source and infrared light source by hyperspectral imaging system, obtaining hyperspectral image; fusing target features of multi-channel hyperspectral image to form a single channel image; and denoising the single channel image. The denoised image is obtained by processing. The denoised image is recognized by image recognition and motion tracking algorithm, and the gesture recognition result is obtained. The invention can simultaneously collect gesture image information in visible and infrared bands, effectively fuse multi-channel hyperspectral images in gesture recognition, enhance the contrast of target feature regions, effectively segment images, extract contour information of hands for subsequent gesture recognition, and help to improve the accuracy and effectiveness of gesture recognition. \u3002

【技术实现步骤摘要】
【国外来华专利技术】一种基于高光谱成像的手势识别方法及装置
本专利技术属于手势识别
，具体涉及一种基于高光谱成像的手势识别方法，同时涉及一种基于高光谱成像的手势识别装置。
技术介绍
在计算机科学中，手势识别是通过数学算法来识别人类手势的一个议题。用户可以使用简单的手势来控制设备或与设备交互，让计算机理解人类的行为。其核心技术为手势分割算法、手势分析算法以及手势识别算法。随着图像识别和动作追踪的技术的不断成熟，越来越多的设备都可以通过手势进行操作和交互。相比于传统鼠标键盘输入，手势操作更加方便，交互种类更加多样，交互过程更加直观。当今市场已出现多款通过手势控制的商用产品，比如微软的Kinect，谷歌的GoogleGlass，LeapMotion。用户对交互多样性的要求正在不断提升，手势识别的引用范围也会越来越广。一般的手势识别过程为：图像采集，特征提取，分类匹配。目前常见产品大多都是基于可见光的识别系统，缺少其他波段光的成像结果，一旦使用场景过暗或者背景与手比较相似，信噪比较高，其识别的准确性和有效性都大大下降。即使使用主动红外成像设备，也有可能因为采集设备敏感程度过高而产生过曝和噪点的问题，影响之后识别效果。
技术实现思路
为解决现有技术中基于可见光的识别系统准确性和有效性不足的问题，本专利技术公开了一种基于高光谱成像的手势识别方法，以提高准确性和有效性；同时相应公开一种基于高光谱成像的手势识别装置。本专利技术公开的一种基于高光谱成像的手势识别方法，包括以下步骤：通过高光谱成像系统采集处于可见光源和红外光源共同照射下的手势的图像，获得高光谱图像；对所述高光谱图像进行目标特征融合处理，形成单通道图像；对所述单通道图像去噪处理，得到去噪图像；通过图像识别和动作追踪算法对所述去噪图像进行识别，获取手势识别结果。进一步方案中，对所述高光谱图像进行目标特征融合处理，形成单通道图像的步骤包括：将所述高光谱图像中不同波段的图像依据目标特征的匹配机制执行，剔除目标特征不符合匹配机制的波段的图像，并将目标特征符合匹配机制的波段的图像融合成单通道图像。进一步方案中，所述匹配机制采用经过训练的卷积神经网络算法，所述匹配机制基于卷积神经网络算法将所述高光谱图像中不同波段图像的目标特征与训练集中各波段图像的目标特征做匹配。进一步方案中，所述卷积神经网络算法的训练包括：将输入的各波段图像的目标特征与训练集中预置的各波段图像的目标特征作匹配，将匹配度大于预设匹配度阈值的图像更新至训练集中。进一步方案中，所述图像识别和动作追踪算法具体采用卷积神经网络算法。当然，也可以采用其他适合手势图像识别或动作追踪的算法。本专利技术相应公开的一种基于高光谱成像的手势识别装置，包括可见光源、红外光源、高光谱成像系统、图像处理单元以及手势识别单元；其中，所述可见光源和红外光源共同照射目标手势；所述高光谱成像系统采集处于可见光源和红外光源共同照射下的手势的图像，获得高光谱图像；所述图像处理单元对所述高光谱图像进行目标特征融合处理，形成单通道图像，以及对所述单通道图像去噪处理，得到去噪图像；所述手势识别单元通过图像识别和动作追踪算法对所述去噪图像进行识别，获取手势识别结果。进一步方案中，还包括数据库单元，所述数据库单元存储有卷积神经网络算法训练集。进一步方案中，所述图像处理单元基于卷积神经网络算法将所述高光谱图像中不同波段的图像依据目标特征与训练集中各波段图像的目标特征做匹配，并将目标特征符合匹配机制的波段的图像融合成单通道图像。进一步方案中，所述高光谱成像系统为单个高光谱相机。进一步方案中，所述高光谱成像系统为多个高光谱相机，分别采集不同波段的高光谱图像。本专利技术至少具备以下有益效果：(1)本专利技术可以同时采集可见光波段和红外光波段的手势图像信息，在手势识别中对多通道高光谱图像进行目标特征的有效融合，使得目标特征区域对比度增强，从而有效地进行图像分割，提取手的轮廓信息进行后续的手势识别，有助于提高手势识别的准确性和有效性。(2)通过目标特征融合处理，可以消除遮挡或暗斑，减少环境的干扰。附图说明图1是本专利技术实施例一公开的基于高光谱成像的手势识别方法整体流程示意图。图2是图1步骤S100至步骤S300的一种原理示意图。图3是图1步骤S400的一种原理示意图。图4是图2中目标特征融合步骤的一种原理示意图。图5是本专利技术实施例一公开的基于高光谱成像的手势识别方法中卷积神经网络算法训练原理示意图。图6是本专利技术实施例二公开的基于高光谱成像的手势识别方法整体流程示意图。图7是本专利技术实施例三公开的基于高光谱成像的手势识别方法整体流程示意图。图8是本专利技术实施例四公开的基于高光谱成像的手势识别方法整体流程示意图。图9是本专利技术实施例五公开的基于高光谱成像的手势识别装置结构框图。具体实施方式为了使本专利技术所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。实施例一请参阅图1至图5所示，本实施例公开的一种基于高光谱成像的手势识别方法，主要包括以下步骤S100至S400：S100、通过高光谱成像系统采集处于可见光源和红外光源共同照射下的手势的图像，获得高光谱图像。步骤S100如图2所示，用户的手部处于带有背景影响的环境中，使用可见光源和红外光源共同照射，而后通过高光谱成像系统进行图像采集，得到高光谱图像(即具有多个通道的图像)。S200、将高光谱图像做目标特征融合处理，形成单通道图像。步骤S200同样如图2所示，其包括：将高光谱图像中不同波段的图像依据目标特征的匹配机制执行(匹配机制如图4所示)，剔除目标特征不符合匹配机制的波段的图像，并将目标特征符合匹配机制的波段的图像融合成单通道图像。本实施例中，目标特征可选取目标特征，匹配机制可采用经过训练的卷积神经网络算法(CNN)，该匹配机制基于卷积神经网络算法将高光谱图像中不同波段图像的目标特征与训练集中各波段图像的目标特征做匹配，而后剔除目标特征不符合匹配机制的波段的图像，并将目标特征符合匹配机制的波段的图像融合成单通道图像。如图4所示的一种目标特征融合示意图中：剔除不符合匹配机制的可见光波段1图像和可见光波段2图像，将符合匹配机制的红外波段图像与紫外波段图像融合成单通道图像。如图5所示，卷积神经网络算法的训练包括：将输入的各波段图像的目标特征与训练集中预置的各波段图像的目标特征作匹配，将匹配度大于预设匹配度阈值的图像更新至训练集中。S300、对单通道图像去噪处理，得到去噪图像。S400、通过图像识别和动作追踪算法对去噪图像进行识别，获取手势识别结果。步骤S400的图像识别和动作追踪算法同样可采用卷积神经网络算法，当然，也可以采用其他适合手势图像识别或动作追踪的算法。因此，本实施例至少具备以下有益效果：(1)可以同时采集可见光波段和红外光波段的手势图像信息，在手势识别中除了可以使用可见光波段的图像信息之外还可以使用红外光波段的图像信息进行识别，有助于提高手势识别的准确性和有效性。(2)通过目标特征融合处理，可以消除遮挡或暗斑，减少环境的干扰。实施例二随着智能显示设备在交互式技术方向的发展越来越先进，目前有许多电视或电脑等显示可通过手势来控制，本文档来自技高网...

【技术保护点】
1.一种基于高光谱成像的手势识别方法，其特征在于，包括以下步骤：通过高光谱成像系统采集处于可见光源和红外光源共同照射下的手势的图像，获得高光谱图像；对所述高光谱图像进行目标特征融合处理，形成单通道图像；对所述单通道图像去噪处理，得到去噪图像；通过图像识别和动作追踪算法对所述去噪图像进行识别，获取手势识别结果。

【技术特征摘要】
【国外来华专利技术】1.一种基于高光谱成像的手势识别方法，其特征在于，包括以下步骤：通过高光谱成像系统采集处于可见光源和红外光源共同照射下的手势的图像，获得高光谱图像；对所述高光谱图像进行目标特征融合处理，形成单通道图像；对所述单通道图像去噪处理，得到去噪图像；通过图像识别和动作追踪算法对所述去噪图像进行识别，获取手势识别结果。2.根据权利要求1所述的基于高光谱成像的手势识别方法，其特征在于，对所述高光谱图像进行目标特征融合处理，形成单通道图像：将所述高光谱图像中不同波段的图像依据目标特征的匹配机制执行，剔除目标特征不符合匹配机制的波段的图像，并将目标特征符合匹配机制的波段的图像融合成单通道图像。3.根据权利要求2所述的基于高光谱成像的手势识别方法，其特征在于，所述匹配机制采用经过训练的卷积神经网络算法，所述匹配机制基于卷积神经网络算法将所述高光谱图像中不同波段图像的目标特征与训练集中各波段图像的目标特征做匹配。4.根据权利要求3所述的基于高光谱成像的手势识别方法，其特征在于，所述卷积神经网络算法的训练包括：将输入的各波段图像的目标特征与训练集中预置的各波段图像的目标特征作匹配，将匹配度大于预设匹配度阈值的图像更新至训练集中。5.根据权利要求1-4任一项所述的基于高光谱成像的手势识别方法，其特征在于，所述图像识别...

【专利技术属性】
技术研发人员：王星泽，李梓彤，蒲庆，舒远，阮思纯，徐炜文，
申请(专利权)人：合刃科技深圳有限公司，
类型：发明
国别省市：广东,44