变电站虚拟环境中的精准手势识别方法技术

本发明专利技术提供一种变电站虚拟环境中的精准手势识别方法，方法步骤包括：首先预定义手势；然后分别捕捉视频信号和采集肌电信号，并进行信号处理；接着将处理好的手势信号与预定义的手势进行分类和匹配；最后融合两组信号的匹配结果，得到手势识别结果。本发明专利技术扩展了变电站虚拟环境中的可穿戴虚拟现实头盔的手势识别范围，实现了高精度高灵活性的手势识别。

Accurate gesture recognition method in substation virtual environment

【技术实现步骤摘要】
变电站虚拟环境中的精准手势识别方法
本专利技术涉及变电站仿真和计算机视觉领域，特别是一种变电站虚拟环境中的精准手势识别方法。
技术介绍
人机交互是目前研究的热点和难点，而数据融合作为人机交互任务的基础，已成为人机交互领域中至关重要的研究问题。HTCVIVE虚拟现实头显设备，是集虚拟现实场景展现、人机交互于一身的可穿戴智能眼镜设备，该设备可获取视频数据进行简单的手势交互，但其可识别手势有限。多传感器融合涉及数据融合技术，数据融合技术是指通过某种规则将多个传感器捕获到的在时间或空间上存在冗余或互补性的运动数据进行组合，得到比单一传感器通道更加丰富的信息，从而获得对被测目标进行描述或理解的一致性。多源数据融合可分为3种思路与方法：第一，数据层融合，即先对各模态的数据进行简单组合形成新的特征向量，再进行后续的常规分类或识别等过程。第二，特征层融合，即从单模态数据中提取有效互补的特征，通过时间尺度等规则将这些特征有机结合在一起，作为统一的多模态数据特征。第三，决策层融合，即从不同模态的数据中分别提取特征，通过模式识别过程获得识别结果与权重，再通过融合策略获得最后的判别或识别结果。HTCVIVE虚拟现实头显设备目前只可以识别手掌张开和手指点击两种手势，还存在交互受限等问题，目前不能结合肌电信号采集设备进行手势识别扩展，无法实现高精度高灵活性的手势识别。
技术实现思路
本专利技术的目的是：提供一种高精度、高灵活性的变电站虚拟环境中的精准手势识别方法，以增强虚拟现实头盔手势识别能力，并扩展其识别的手势种类。本专利技术的技术方案是：本专利技术的变电站虚拟环境中的精准手势识别方法，包括以下步骤：步骤1：预定义包括变电站虚拟仿真中需要识别的手势在内的手势集合；步骤2：分别采集各手势对应的视频信号和肌电信号；步骤3：对采集到的视频信号和肌电信号分别进行信号处理，得到视频信号的特征和肌电信号的特征；步骤4：基于视频信号的特征和肌电信号的特征，将对应的手势与预定义的手势进行分类和匹配；步骤5：融合两组信号的匹配结果，得到手势识别结果。进一步的方案是，上述步骤1所述的预定义手势集合为：定义手势集合Set，包括虚拟现实头盔HTCVIVE内置手势Set2和需要增加的手势集合Set1；需要增加的手势集合Set1中的手势包括：握拳、向左挥动手掌和向右挥动手掌。进一步的方案是：上述步骤2包括以下具体步骤：步骤2.1：实验者做出手势集合Set__D_；步骤2.2：通过虚拟现实头盔采集各手势对应的视频信号；步骤2.3：通过肌电信号采集装置采集各手势对应的肌电信号。进一步的方案是：上述步骤2述步骤3包括以下具体步骤：步骤3.1：对采集到的视频信号进行手势分割、特征提取，获得手势运动轨迹，作为视频信号的特征；步骤3.2：对采集到的肌电信号进行手势分割、特征提取，获得到肌电信号活动段中肌电信号的绝对值均值，作为肌电信号的特征。进一步的方案是：上述步骤2述步骤3.1包括以下具体步骤：步骤3.1.1：对于视频数据中包含手势运动的帧序列，逐帧使用肤色作为特征分割出手部区域；步骤3.1.2：根据分割得到的手势区域序列，获得初始的手部区域中心位置；步骤3.1.3：采用卡尔曼滤波算法进行手势跟踪，获得手势运动轨迹，作为视频信号的特征。进一步的方案是：上述步骤2述步骤3.2包括以下具体步骤：步骤3.2.1：通过肌电信号强度，检测手势动作的起始点和终止点；步骤3.2.2：根据手势动作的起始点和终止点，分割肌电信号活动段；步骤3.2.3：将肌电信号活动段中肌电信号的绝对值取均值，作为肌电信号的特征。进一步的方案是：上述步骤2述步骤4包括以下具体步骤：步骤4.1：将获得的视频信号的特征送入HMM分类器，得到初级视频信号分类结果C1以及对应的置信度Conf1；步骤4.2：将获得的肌电信号的特征送入NN分类器，得到初级肌电信号分类结果C2以及对应的置信度Conf2。进一步的方案是：上述步骤2述步骤5包括以下具体步骤：步骤5.1：若步骤4.1的视频信号识别结果不属于手势集合Set，则对步骤4.2的肌电信号识别结果进行判断：若肌电特征的初级分类结果的置信度Conf2大于0.8，则选择肌电特征为手势识别最终结果，否则放弃该组手势数据，不做任何响应操作；步骤5.2：若步骤4.1的视频信号识别结果属于手势集合Set，但步骤4.2的肌电信号识别结果不属于手势集合Set，则对步骤4.1的视频信号识别结果进行判断：若视频特征的初级分类结果的置信度Conf1大于0.8，则选择视频特征为手势识别最终结果，否则放弃该组手势数据，不做任何响应操作；步骤5.3、若该步骤4.1和步骤4.2的识别结果都属于手势集合Set，则定义以下规则：若视频特征的初级分类结果与肌电特征的初级分类结果均属于手势集合Set，且视频特征的初级分类结果的置信度大于0.6，则C1作为手势识别最终结果；若视频特征的初级分类结果与肌电特征的初级分类结果均属于手势集合Set，但不大于0.6，则放弃该组手势数据，不做任何响应操作；步骤5.4：根据得到的结果进行对应响应操作。本专利技术具有积极的效果：本专利技术的变电站虚拟环境中的精准手势识别方法，针对虚拟现实头盔HTCVIVE目前只可以识别手掌张开和手指点击两种手势、交互受限等问题，在虚拟现实头盔HTCVIVE原有手势识别功能的基础上，扩展了手势识别种类；本专利技术引入了肌电信号处理以及多传感器结合技术，加入了基于肌电信号的手势识别，使用肌电信号辅助可穿戴智能虚拟现实头盔HTCVIVE扩展其手势识别功能，同时实现高精度高灵活性的手势识别。具体实施方式下面结合具体实施方式对本专利技术作进一步详细的说明。(实施例1)本实施例的变电站虚拟环境中的精准手势识别方法，利用现有技术中可进行手势交互的智能眼镜HTCVIVE实施，该方法包括以下步骤：步骤1：预定义手势，具体如下：定义手势集合Set，包括虚拟现实头盔HTCVIVE内置手势Set2和需要增加的手势集合Set1；需要增加的手势集合Set1中的手势包括：握拳、向左挥动手掌和向右挥动手掌。步骤2：分别捕捉视频信号和采集肌电信号，具体如下：步骤2.1：实验者做出手势集合Set中的手势动作；步骤2.2：通过虚拟现实头盔HTCVIVE采集各手势对应的视频信号；步骤2.3：通过肌电信号采集装置采集各手势对应的肌电信号。步骤3：进行信号处理，具体如下：步骤3.1：对步骤2.2采集到视频信号进行手势分割、特征提取：步骤3.1.1：对于视频数据中包含手势运动的帧序列，逐帧使用肤色作为特征分割出手部区域；步骤3.1.2：根据分割得到的手势区域序列，获得初始的手部区域中心位置；步骤3.1.3：采用卡尔曼滤波算法进行手势跟踪，获得手势运动轨迹，作为视频信号的特征；步骤3.2：对步骤2.3采集到肌电信号进行手势分割、特征提取：步骤3.2.1：通过肌电信号强度，检测手势动作的起始点和终止点；步骤3.2.2：根据手势动作的起始点和终止点，分割肌电信号活动段；步骤3.2.3：将肌电信号活动段中肌电信号的绝对值均值，作为肌电信号的特征。步骤4：将处理好的手势信号与预定义的手势进行分类和匹配，具体如下：步骤4.1：将步骤3.1.3获得的视频信号的特征送入HMM分类器，得到初级视频信号分类结果C1以本文档来自技高网...

【技术保护点】
1.一种变电站虚拟环境中的精准手势识别方法，其特征在于，该方法包括以下步骤：步骤1：预定义包括变电站虚拟仿真中需要识别的手势在内的手势集合；步骤2：分别采集各手势对应的视频信号和肌电信号；步骤3：对采集到的视频信号和肌电信号分别进行信号处理，得到视频信号的特征和肌电信号的特征；步骤4：基于视频信号的特征和肌电信号的特征，将对应的手势与预定义的手势进行分类和匹配；步骤5：融合两组信号的匹配结果，得到手势识别结果。

【技术特征摘要】
1.一种变电站虚拟环境中的精准手势识别方法，其特征在于，该方法包括以下步骤：步骤1：预定义包括变电站虚拟仿真中需要识别的手势在内的手势集合；步骤2：分别采集各手势对应的视频信号和肌电信号；步骤3：对采集到的视频信号和肌电信号分别进行信号处理，得到视频信号的特征和肌电信号的特征；步骤4：基于视频信号的特征和肌电信号的特征，将对应的手势与预定义的手势进行分类和匹配；步骤5：融合两组信号的匹配结果，得到手势识别结果。2.根据权利要求1所述的变电站虚拟环境中的精准手势识别方法，其特征在于，步骤1所述的预定义手势集合为：定义手势集合Set，包括虚拟现实头盔HTCVIVE内置手势Set2和需要增加的手势集合Set1；需要增加的手势集合Set1中的手势包括：握拳、向左挥动手掌和向右挥动手掌。3.根据权利要求1所述的变电站虚拟环境中的精准手势识别方法，其特征在于，所述步骤2包括以下具体步骤：步骤2.1：实验者做出手势集合Set__D_；步骤2.2：通过虚拟现实头盔采集各手势对应的视频信号；步骤2.3：通过肌电信号采集装置采集各手势对应的肌电信号。4.根据权利要求1所述的变电站虚拟环境中的精准手势识别方法，其特征在于，所述步骤3包括以下具体步骤：步骤3.1：对采集到的视频信号进行手势分割、特征提取，获得手势运动轨迹，作为视频信号的特征；步骤3.2：对采集到的肌电信号进行手势分割、特征提取，获得到肌电信号活动段中肌电信号的绝对值均值，作为肌电信号的特征。5.根据权利要求4所述的变电站虚拟环境中的精准手势识别方法，其特征在于，所述步骤3.1包括以下具体步骤：步骤3.1.1：对于视频数据中包含手势运动的帧序列，逐帧使用肤色作为特征分割出手部区域；步骤3.1.2：根据分割得到的手势区域序列，获得初始的手部区域中心位置；步骤3.1.3：采用卡尔曼滤波算法进行手势跟踪，获得手势运动轨迹，作为视频信号的特征。6.根据权利要求4...

【专利技术属性】
技术研发人员：苏慧民，褚国伟，刘泽，戴黎明，
申请(专利权)人：国网江苏省电力有限公司常州供电分公司，国网江苏省电力有限公司，国家电网有限公司，
类型：发明
国别省市：江苏,32