手语提取方法及计算机可读存储介质、电子设备技术

本发明专利技术提供一种手语提取方法及计算机可读存储介质、电子设备，本技术方案需要利用Kinect体感设备，实时返回骨骼节点信息和深度信息，包括步骤：利用Kinect体感设备获取手心骨骼节点在成像平面的坐标信息以及体感设备与人体之间距离的深度信息；以手心节点为中心，计算手型区域；根据手型区域内深度信息与手心深度值的差值阈值计算出完整手型；对所述完整手型提取手型特征，在所述手型特征中分类手语的关键动作帧和非关键动作帧；对所述关键动作帧进行分析，获得手语语义。本发明专利技术主要采用关键动作提取的手语识别方式，利用传感器提供深度信息和骨骼信息作手语形状确认，相对于肤色建模，更加准确，高效。

【技术实现步骤摘要】
手语提取方法及计算机可读存储介质、电子设备
本专利技术涉及视频处理
，具体涉及手语视频的语义自动分析技术。
技术介绍
手语识别技术中，利用体感设备返回的深度信息和肤色信息构造数据模型已经成为主流，但是不同手语者也伴随不同的行为习惯，无意中增大识别难度；对于手势特征较为明显手语动作，根据肤色模型建模，增大了识别成本和算法运算时间。(1)对于手势特征明显的手语动作，采用肤色模型建模识别，算法运算时间长，成本高。(2)不同的用户，有不同的动作习惯，特别对于非专业手语人士，手语动作可能并不规范，如果采用传统无监督聚类算法，逐帧分析，算法时间复杂度较高；同时算法的阈值需要大量先验知识和实验获得，这些都对后期识别造成极大困难。
技术实现思路
本专利技术为了能够更加准确高效进行手语识别，本专利技术提出一种基于Kinect体感设备反馈的实时深度信息和骨骼节点信息的非特定人群手语关键动作的提取方法。根据模式分类的最优分类准则，采用自适应分组分类方式，提取手语中关键动作，合成关键动作序列，用于后期手语识别。为了解决本文档来自技高网...

【技术保护点】
1.一种手语提取方法，其特征在于，包括步骤：/n实时接收手心骨骼节点在成像平面的坐标信息以及体感设备与人体之间距离的深度信息；/n以手心节点为中心，计算手型区域；/n根据手型区域内深度信息与手心深度值的差值阈值计算出完整手型；/n对所述完整手型提取手型特征，在所述手型特征中分类手语的关键动作帧和非关键动作帧；/n对所述关键动作帧进行分析，获得手语语义。/n

【技术特征摘要】
1.一种手语提取方法，其特征在于，包括步骤：
实时接收手心骨骼节点在成像平面的坐标信息以及体感设备与人体之间距离的深度信息；
以手心节点为中心，计算手型区域；
根据手型区域内深度信息与手心深度值的差值阈值计算出完整手型；
对所述完整手型提取手型特征，在所述手型特征中分类手语的关键动作帧和非关键动作帧；
对所述关键动作帧进行分析，获得手语语义。


2.根据权利要求1所述的手语提取方法，其特征为，还包括步骤：提取关键动作帧的方法包括：根据提取的前一关键动作帧作为参照帧，提取与所述参照帧不同的帧为下一关键动作帧，直至提取所有关键动作帧。


3.根据权利要求2所述的手语提取方法，其特征为，第一帧提取的所述前一关键动作帧为第一关键动作帧，提取第一关键动作帧的方法包括：
计算与第一帧动作不同的帧作为第一关键动作帧。


4.根据权利要求1所述的手语提取方法，其特征为，选取连续的若干帧作为一组，对所有视频序列的帧分为若干组，对每一组进行关键动作帧和非关键动作帧的分类。


5.根据权利要求2或3或4所述的手语提取方法，其特征为，
以第一帧作为参照帧，将其他帧与所述第一帧进行比较，计算出与第一帧相似的其他帧分类为非关键动作帧组，以及和第一帧不相似的其他帧作为关键动作帧组；
选取所述关键动作帧组中的第一帧作为所述第一关键动作帧。


6.根据权利要求5所述的手语提取方法，其特征为，
将时间轴上在所述第一关键动作帧之前的其他帧从视频序列中删除，以所述第一关键动作帧作为参照帧，计算第二关键动作帧；
将剩余的帧继续分类关键动作帧组和非关键动作帧组，选取所述关键动作帧组中的第一帧作为第二个关键动作帧；
将第一关键动作与第二个关键动作之间的其他帧删除，以第二个关键动作帧作为参照帧，继续计算下一关键动作帧，以此计算，直至视频序列中剩余的帧少于分类要求。


7.根据权利要求1所述的手语提取方法，其特征为，以手心节点为中心，计算正方形手型区域，所述正方形手型区域计算根据线性关系计算：
y＝a-kx(a>0,k>0),x是手到摄...

【专利技术属性】
技术研发人员：郭鑫鹏，
申请(专利权)人：新华智云科技有限公司，
类型：发明
国别省市：浙江;33