一种TOF传感器及单目摄像头融合手势识别装置及手势识别方法制造方法及图纸

本发明专利技术提出一种TOF传感器及单目摄像头融合手势识别装置及手势识别方法，所述方法首先利用目标场景的TOF稀疏采样数据分割主体目标，随后利用单目摄像头所采集图像提取手部特征，进而分析得到手势命令。所述装置包括一个或多个TOF传感器、单目摄像头和计算平台；所述装置整体集成为一个模块；所述计算平台为嵌入式计算平台；所述单目摄像头配合一个或多个TOF传感器捕获用户手势动作，所述用户手势动作经计算平台处理后转化为相应的控制指令发送至受控设备；本发明专利技术所述方法及装置可在复杂环境下准确捕获用户手势动作，总体成本低、模块化程度高、体积小、功耗低、扩展性好，并可根据应用场景进行定制。

【技术实现步骤摘要】
一种TOF传感器及单目摄像头融合手势识别装置及手势识别方法
本专利技术属于手势识别
，特别是涉及一种TOF传感器及单目摄像头融合手势识别装置及手势识别方法。
技术介绍
用于手势识别的传感器主要包括单目/多目摄像头、TOF和结构光传感器等。各类传感器在性能、精度、成本各有不同，在不同场景中有着独特的应用。因此，为了满足复杂场景及应用需求往往将多种传感器组合应用，协同进行检测与识别。另一方面，手势识别的设备成本随着传感器数量的增加而增加，因此需要在传感器类型、数量和处理算法复杂度间寻找平衡。针对当下手势识别小型化、模块化的趋势，低成本、低复杂度的手势识别方案具有重要的应用价值。目前采用多传感器融合的检测及识别方案通常硬件成本较高，融合算法较为复杂，不适用于低成本应用场景。部分方案则采用多个传感器简单叠加重复检测，未能根据手势识别的特点与需求充分发挥传感器的效能。
技术实现思路
本专利技术目的是为了解决现有技术中的问题，提出了一种TOF传感器及单目摄像头融合手势识别装置及手势识别方法。本专利技术所述方法首先利用目标场景的TOF稀疏采样数据分割主体目标，随后利用单目摄像头所采集图像提取手部特征，进而分析得到手势命令。本专利技术所述方法及装置可在复杂环境下准确捕获用户手势动作，总体成本低、模块化程度高、体积小、功耗低、扩展性好，并可根据应用场景进行定制。本专利技术是通过以下技术方案实现的，本专利技术提出一种TOF传感器及单目摄像头融合手势识别装置，所述装置包括一个或多个TOF传感器、单目摄像头和计算平台；所述装置整体集成为一个模块；所述计算平台为嵌入式计算平台；所述单目摄像头配合一个或多个TOF传感器捕获用户手势动作，所述用户手势动作经计算平台处理后转化为相应的控制指令发送至受控设备；所述装置还包括红外补光灯，所述装置根据当前场景光照强度自动调节红外补光灯开关及TOF传感器参数。进一步地，所述装置通过USB、串口、蓝牙、WiFi或ZigBee通信方式连接至受控设备。本专利技术还提出一种TOF传感器及单目摄像头融合手势识别装置的手势识别方法，所述方法包括如下步骤：步骤1、从TOF传感器和单目摄像头获取捕获数据；步骤2、从TOF传感器获取的捕获数据中提取采样点；步骤3、根据步骤2中所得采样点对单目摄像头捕获图像进行区域分割；步骤4、由区域分割结果进行手部边缘及特征点提取；步骤5、将手部边缘与特征点进行比对，判断是否为误检，如为误检，执行步骤8，否则执行步骤6；步骤6、分析手部特征，转换至对应的手势控制指令；步骤7、输出手势控制指令；步骤8、结束。进一步地，所述采样点提取具体为：步骤21、从TOF传感器获取各个空间点数据；步骤22、根据预设的阈值对各个空间点进行筛选，符合阈值的作为采样点保留；步骤23、根据TOF传感器与单目摄像头间的空间关系，将采样点空间坐标变换至单目图像坐标；步骤24、输出变换后的采样点坐标。进一步地，所述区域分割具体为：步骤31、读取变换后的采样点坐标及单目图像；步骤32、在单目图像中寻找各个采样点的邻域，从而将单目图像分为多个区域；步骤33、输出分割结果。进一步地，所述手部边缘提取具体为：步骤411、读取区域分割结果；步骤412、由区域分割结果得到各个区域间的分割线，在分割线中选取包含所有采样点的外包络作为手部边缘线；步骤413、输出手部边缘。进一步地，所述特征点提取具体为：步骤421、读取变换后的采样点坐标及单目图像；步骤422、选择包络所有采样点的最小矩形作为手部感兴趣区域ROI；步骤423、将ROI区域内的单目图像与预设模型匹配，并从所匹配的模型中得到手部各个特征点；步骤424、输出特征点。进一步地，所述误检判断具体为：步骤51、读取手部边缘和特征点；步骤52、将手部边缘重新采样，使边缘点数目等同于特征点数目，随后以最接近图像上边缘的点为起点，按逆时针方向计算各个边缘点与特征点的坐标差，所有坐标差的平均值作为手部边缘与特征点之间的相似度。进一步地，所述手部特征分析具体为：步骤61、读取手部特征点及前序手势控制指令；步骤62、计算手部特征点位置以及所有特征点组成几何形状、指向和特征点像素值，并与预设值进行匹配，得到单帧手势控制指令；将单帧手势控制指令与前序手势控制指令结合，再次与时序相关的预设值匹配，得到总体手势控制指令。本专利技术带来的有益效果：1、将TOF传感器与单目摄像头结合，可在复杂环境下准确捕获用户手势动作；2、利用TOF传感器对目标场景进行稀疏采样，处理算法复杂度低，从而有效降低总体成本；3、模块化程度高，数据捕获、处理、识别均在模块内部完成；4、体积小、功耗低；5、扩展性好，可根据应用场景不同调整传感器设置及处理流程。附图说明图1为本专利技术所述的TOF传感器及单目摄像头融合手势识别装置的总体组成框图；图2为本专利技术所述的TOF传感器及单目摄像头融合手势识别装置的手势识别方法的流程图；图3为采样点提取流程图；图4为区域分割流程图；图5为手部边缘提取流程图；图6为手部特征点提取流程图；图7为误检判断流程图；图8为手部特征分析流程图；图9为手势控制器整体结构示意图。具体实施方式下面将结合本专利技术实施例中的附图对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。结合图1，本专利技术提出一种TOF传感器及单目摄像头融合手势识别装置，所述装置包括一个或多个TOF传感器、单目摄像头和计算平台；所述装置整体集成为一个模块；所述计算平台为嵌入式计算平台；所述单目摄像头配合一个或多个TOF传感器捕获用户手势动作，所述用户手势动作经计算平台处理后转化为相应的控制指令发送至受控设备；所述装置还包括红外补光灯，所述装置根据当前场景光照强度自动调节红外补光灯开关及TOF传感器参数。所述装置通过USB、串口、蓝牙、WiFi或ZigBee通信方式连接至受控设备。结合图2，本专利技术还提出一种TOF传感器及单目摄像头融合手势识别装置的手势识别方法，所述方法包括如下步骤：步骤1、从TOF传感器和单目摄像头获取捕获数据；步骤2、从TOF传感器获取的捕获数据中提取采样点；步骤3、根据步骤2中所得采样点对单目摄像头捕获图像进行区域分割；步骤4、由区域分割结果进行手部边缘及特征点提取；步骤5、将手部边缘与特征点进行比对，判断是否为误检，如为误检，执行步骤8，否则执行步骤6；步骤6、分析手部特征，本文档来自技高网...

【技术保护点】
1.一种TOF传感器及单目摄像头融合手势识别装置，其特征在于：所述装置包括一个或多个TOF传感器、单目摄像头和计算平台；所述装置整体集成为一个模块；所述计算平台为嵌入式计算平台；所述单目摄像头配合一个或多个TOF传感器捕获用户手势动作，所述用户手势动作经计算平台处理后转化为相应的控制指令发送至受控设备；所述装置还包括红外补光灯，所述装置根据当前场景光照强度自动调节红外补光灯开关及TOF传感器参数。/n

【技术特征摘要】
1.一种TOF传感器及单目摄像头融合手势识别装置，其特征在于：所述装置包括一个或多个TOF传感器、单目摄像头和计算平台；所述装置整体集成为一个模块；所述计算平台为嵌入式计算平台；所述单目摄像头配合一个或多个TOF传感器捕获用户手势动作，所述用户手势动作经计算平台处理后转化为相应的控制指令发送至受控设备；所述装置还包括红外补光灯，所述装置根据当前场景光照强度自动调节红外补光灯开关及TOF传感器参数。


2.根据权利要求1所述的装置，其特征在于：所述装置通过USB、串口、蓝牙、WiFi或ZigBee通信方式连接至受控设备。


3.一种如权利要求1所述的TOF传感器及单目摄像头融合手势识别装置的手势识别方法，其特征在于：所述方法包括如下步骤：
步骤1、从TOF传感器和单目摄像头获取捕获数据；
步骤2、从TOF传感器获取的捕获数据中提取采样点；
步骤3、根据步骤2中所得采样点对单目摄像头捕获图像进行区域分割；
步骤4、由区域分割结果进行手部边缘及特征点提取；
步骤5、将手部边缘与特征点进行比对，判断是否为误检，如为误检，执行步骤8，否则执行步骤6；
步骤6、分析手部特征，转换至对应的手势控制指令；
步骤7、输出手势控制指令；
步骤8、结束。


4.根据权利要求3所述的方法，其特征在于：所述采样点提取具体为：
步骤21、从TOF传感器获取各个空间点数据；
步骤22、根据预设的阈值对各个空间点进行筛选，符合阈值的作为采样点保留；
步骤23、根据TOF传感器与单目摄像头间的空间关系，将采样点空间坐标变换至单目图像坐标；
步骤24、输出变换后的采样点坐标。


5....

【专利技术属性】
技术研发人员：杜国铭，孙晅，冯大志，
申请(专利权)人：哈尔滨拓博科技有限公司，
类型：发明
国别省市：黑龙;23