手语提取方法及计算机可读存储介质、电子设备技术

本发明专利技术提供一种手语提取方法及计算机可读存储介质、电子设备，本技术方案需要利用Kinect体感设备，实时返回骨骼节点信息和深度信息，包括步骤：利用Kinect体感设备获取手心骨骼节点在成像平面的坐标信息以及体感设备与人体之间距离的深度信息；以手心节点为中心，计算手型区域；根据手型区域内深度信息与手心深度值的差值阈值计算出完整手型；对所述完整手型提取手型特征，在所述手型特征中分类手语的关键动作帧和非关键动作帧；对所述关键动作帧进行分析，获得手语语义。本发明专利技术主要采用关键动作提取的手语识别方式，利用传感器提供深度信息和骨骼信息作手语形状确认，相对于肤色建模，更加准确，高效。

【技术实现步骤摘要】
手语提取方法及计算机可读存储介质、电子设备
本专利技术涉及视频处理
，具体涉及手语视频的语义自动分析技术。
技术介绍
手语识别技术中，利用体感设备返回的深度信息和肤色信息构造数据模型已经成为主流，但是不同手语者也伴随不同的行为习惯，无意中增大识别难度；对于手势特征较为明显手语动作，根据肤色模型建模，增大了识别成本和算法运算时间。(1)对于手势特征明显的手语动作，采用肤色模型建模识别，算法运算时间长，成本高。(2)不同的用户，有不同的动作习惯，特别对于非专业手语人士，手语动作可能并不规范，如果采用传统无监督聚类算法，逐帧分析，算法时间复杂度较高；同时算法的阈值需要大量先验知识和实验获得，这些都对后期识别造成极大困难。
技术实现思路
本专利技术为了能够更加准确高效进行手语识别，本专利技术提出一种基于Kinect体感设备反馈的实时深度信息和骨骼节点信息的非特定人群手语关键动作的提取方法。根据模式分类的最优分类准则，采用自适应分组分类方式，提取手语中关键动作，合成关键动作序列，用于后期手语识别。为了解决上述技术问题，本专利技术通过下述技术方案得以解决：一种手语提取方法，包括步骤：实时接收手心骨骼节点在成像平面的坐标信息以及体感设备与人体之间距离的深度信息；以手心节点为中心，计算手型区域；根据手型区域内深度信息与手心深度值的差值阈值计算出完整手型；对所述完整手型提取手型特征，在所述手型特征中分类手语的关键动作帧和非关键动作帧；对所述关键动作帧进行分析，获得手语语义。作为其中一种实施方式，还包括步骤：提取关键动作帧的方法包括：根据提取的前一关键动作帧作为参照帧，提取与所述参照帧不同的帧为下一关键动作帧，直至提取所有关键动作帧。作为其中一种实施方式，第一帧提取的所述前一关键动作帧为第一关键动作帧，提取第一关键动作帧的方法包括：计算与第一帧动作不同的帧作为第一关键动作帧。作为其中一种实施方式，选取连续的若干帧作为一组，对所有视频序列的帧分为若干组，对每一组进行关键动作帧和非关键动作帧的分类。作为其中一种实施方式，以第一帧作为参照帧，将其他帧与所述第一帧进行比较，计算出与第一帧相似的其他帧分类为非关键动作帧组，以及和第一帧不相似的其他帧作为关键动作帧组；选取所述关键动作帧组中的第一帧作为所述第一关键动作帧。作为其中一种实施方式，将时间轴上在所述第一关键动作帧之前的其他帧从视频序列中删除，以所述第一关键动作帧作为参照帧，计算第二关键动作帧；将剩余的帧继续分类关键动作帧组和非关键动作帧组，选取所述关键动作帧组中的第一帧作为第二个关键动作帧；将第一关键动作与第二个关键动作之间的其他帧删除，以第二个关键动作帧作为参照帧，继续计算下一关键动作帧，以此计算，直至视频序列中剩余的帧少于分类要求。作为其中一种实施方式，以手心节点为中心，计算正方形手型区域，所述正方形手型区域计算根据线性关系计算：y＝a-kx(a>0,k>0),x是手到摄像头的距离，y为正方形边长，a，k为常数。本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机指令，所述计算机指令被处理器执行时实现如权利要求1至10中任一项所述的手语提取方法的步骤。本专利技术还提供一种电子设备，用于实时接收并处理体感设备反馈的信息，输出手语解析结果，所述电子设备包括：处理器，以及存储器，所述存储器上存储有可由所述处理器运行的计算机程序；所述处理器运行所述计算机程序以实现如权利要求1至10中任一项所述的手语提取方法的步骤。本专利技术的有益效果：1、本专利技术提供了一种关键动作序列识别算法采用自适应方式对非专业手语人士较为友好，算法运行时间满足实时性要求，识别准确度较传统算法更高。2、本专利技术主要采用关键动作提取的手语识别方式，利用传感器提供深度信息和骨骼信息作手语形状确认，相对于肤色建模，更加准确，高效；3、本专利技术基于关键帧提取的手语识别方法，过滤掉非关键动作再日常识别过程中带来的负面影响，每个关键动作可以确定一个语义，关键动作特征明显，为后续识别提供优质素材。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是手语提取方法流程图；图2是体感设备获取的手型区域实例图；图3是手语邮局关键帧示例图；图4是非关键动作帧组分类结果示例图；图5是第一关键动作帧分类结果示例图；图6是第二关键动作帧分类结果示例图；图7是第三关键动作帧分类结果示例图。具体实施方式下面结合实施例对本专利技术做进一步的详细说明，以下实施例是对本专利技术的解释而本专利技术并不局限于以下实施例。一种手语提取方法，本技术方案需要利用Kinect体感设备，实时返回骨骼节点信息和深度信息，包括步骤：S100，利用Kinect体感设备获取手心骨骼节点在成像平面的坐标信息以及体感设备与人体之间距离的深度信息；S200，以手心节点为中心，计算手型区域；S300，根据手型区域内深度信息与手心深度值的差值阈值计算出完整手型；S400，对所述完整手型提取手型特征，在所述手型特征中分类手语的关键动作帧和非关键动作帧；S500，对所述关键动作帧进行分析，获得手语语义。其中S200还包括以手心节点为中心，计算正方形手型区域，所述正方形手型区域计算根据线性关系计算，：y＝a-kx(a>0,k>0),x是手到摄像头的距离，y为正方形边长，a，k为常数。其中S300还包括，所述阈值取正方形区域内最小深度值和手心深度值差的两倍。如图2所示，将原图转化为二值图像。具体的，本实施例中取值两倍是由于深度差两倍可以包含手部范围所有深度节点的信息。其中S400，手势区域特征的提取，采用Hu不变矩阵转换行为特征为数学特征，作为一帧手语图像的特征标识，以数学特征描述图像特征，包括如下步骤：对提取的正方形二值图像上的点f(i，j)，f(i，j)＝0表示该点为背景区域，f(i，j)＝255表示该点为手部区域，则点f(i，j)处的(p+q)阶几何矩mpq和中心矩μpq为：图像质心坐标为其中，规格化中心矩为：以单组矩组特征作为每一帧手语动作的七维特征向量，用于下一关键动作帧的提取。其中，提取关键动作帧的方法包括：根据提取的前一关键动作帧作为参照帧提取与所述参照帧不同的帧为下一关键动作帧，直至提取所有关键动作帧。第一步，选取第一关键动作帧：第一次提取的所述前一关键动作帧为第本文档来自技高网...

【技术保护点】
1.一种手语提取方法，其特征在于，包括步骤：/n实时接收手心骨骼节点在成像平面的坐标信息以及体感设备与人体之间距离的深度信息；/n以手心节点为中心，计算手型区域；/n根据手型区域内深度信息与手心深度值的差值阈值计算出完整手型；/n对所述完整手型提取手型特征，在所述手型特征中分类手语的关键动作帧和非关键动作帧；/n对所述关键动作帧进行分析，获得手语语义。/n

【技术特征摘要】
1.一种手语提取方法，其特征在于，包括步骤：
实时接收手心骨骼节点在成像平面的坐标信息以及体感设备与人体之间距离的深度信息；
以手心节点为中心，计算手型区域；
根据手型区域内深度信息与手心深度值的差值阈值计算出完整手型；
对所述完整手型提取手型特征，在所述手型特征中分类手语的关键动作帧和非关键动作帧；
对所述关键动作帧进行分析，获得手语语义。


2.根据权利要求1所述的手语提取方法，其特征为，还包括步骤：提取关键动作帧的方法包括：根据提取的前一关键动作帧作为参照帧，提取与所述参照帧不同的帧为下一关键动作帧，直至提取所有关键动作帧。


3.根据权利要求2所述的手语提取方法，其特征为，第一帧提取的所述前一关键动作帧为第一关键动作帧，提取第一关键动作帧的方法包括：
计算与第一帧动作不同的帧作为第一关键动作帧。


4.根据权利要求1所述的手语提取方法，其特征为，选取连续的若干帧作为一组，对所有视频序列的帧分为若干组，对每一组进行关键动作帧和非关键动作帧的分类。


5.根据权利要求2或3或4所述的手语提取方法，其特征为，
以第一帧作为参照帧，将其他帧与所述第一帧进行比较，计算出与第一帧相似的其他帧分类为非关键动作帧组，以及和第一帧不相似的其他帧作为关键动作帧组；
选取所述关键动作帧组中的第一帧作为所述第一关键动作帧。


6.根据权利要求5所述的手语提取方法，其特征为，
将时间轴上在所述第一关键动作帧之前的其他帧从视频序列中删除，以所述第一关键动作帧作为参照帧，计算第二关键动作帧；
将剩余的帧继续分类关键动作帧组和非关键动作帧组，选取所述关键动作帧组中的第一帧作为第二个关键动作帧；
将第一关键动作与第二个关键动作之间的其他帧删除，以第二个关键动作帧作为参照帧，继续计算下一关键动作帧，以此计算，直至视频序列中剩余的帧少于分类要求。


7.根据权利要求1所述的手语提取方法，其特征为，以手心节点为中心，计算正方形手型区域，所述正方形手型区域计算根据线性关系计算：
y＝a-kx(a>0,k>0),x是手到摄...

【专利技术属性】
技术研发人员：郭鑫鹏，
申请(专利权)人：新华智云科技有限公司，
类型：发明
国别省市：浙江;33