一种基于体感技术的机车手信号操作训练方法技术

本发明专利技术公开了一种基于体感技术的机车手信号操作训练方法，属于虚拟现实中的虚拟训练范畴。本发明专利技术为解决目前手信号教学训练中存在的无法实时地反馈训练结果及人工成本增加等不足。基于体感技术，通过数据采集并建立标准模板库，采用模板匹配算法对训练进行实时评估，建立一个互动性较好的手信号作业训练系统。该方法主要包含标准信号库的建立和信号实时的匹配训练两个部分。本发明专利技术在一定程度上为铁路手信号的培训提供一种有效的方法。

A method of locomotive hand signal operation training based on somatosensory Technology

The invention discloses a locomotive hand signal operation training method based on somatosensory technology, which belongs to the virtual training category in the virtual reality. The present invention can solve the problem that the training result and the labor cost can not be feedback in real time in the teaching and training of hand signals. Based on the somatosensory technology, through the data acquisition and the establishment of standard template library, the template matching algorithm is used to evaluate the training in real time, and an interactive hand signal training system is established. The method consists of two parts: the establishment of standard signal library and the training of real-time signal matching. The invention provides an effective method for the training of railway hand signals to a certain extent.

【技术实现步骤摘要】
一种基于体感技术的机车手信号操作训练方法
本专利技术属于虚拟现实领域，涉及一种通过体感设备识别人体骨骼，用体感的方式实现机车的手信号训练。
技术介绍
手信号也是一种铁路移动信号，它们是由人直接挥动信号旗和信号灯来下达的各种命令。传统的机车人员培训仿真系统多采用三维图像技术结合虚拟仪表技术来模拟机车人员培训，并不能与机车信号人员更好的进行交互。而体感技术降低了成本，简化了训练的过程，依靠实时人体上肢识别评分达到训练目的。用这种最自然的方式实现训练系统，可以减轻培训师的任务，越来越受到重视。本专利技术采用的Kinect是微软公司于2014年发布的第二代KinectforWindows深度传感器，能提供深度图、彩色图、骨骼点坐标三种主要的数据。其中骨骼点坐标应用最为广泛，相比于一代，二代的人体骨架有25个骨骼点，每个骨骼点包括了其在Kinect骨骼坐标系中的三维坐标，以下称为骨骼点坐标。Kinect骨骼坐标系是右手螺旋的，Kinect传感器处于原点上，z坐标轴则与Kinect的朝向一致。y轴正半轴向上延伸，x轴正半轴(从Kinect传感器的视角来看)向左延伸。以往采用骨骼点数据作为特征值进行动作评价的方法中，如采用关节角作为特征值进行动作匹配评价的方法，只是从定性上进行评价且存在特征描述不准确、无法对识别结果客观评分、没有考虑到人体的差异等缺点。本专利技术提出通过利用深度传感器Kinect获取人体骨骼点数据，把Kinect骨骼坐标系转换成人体局部坐标系并选取特征骨骼向量并归一化处理后对手信号姿势进行描述，并将特定的动态动作视为一系列关键帧姿势按时间序列组成的集合，对处理后的特征向量赋予相应的分数实时评价分析，对人体上肢识别评分，用1台普通的计算机，借助体感设备，在Unity3D平台下即可实现信号人员姿势训练系统，满足最基本的信号动作培训。所述人体局部坐标系是以Kinect骨骼坐标系中的“Spine_Base”骨骼点(又称为“人体中心关节点”，大致位于人体肚脐位置)作为原点O，同时以人体右手向右平直伸展方向为X轴正方向，以头部垂直向上方向为坐标系的Y轴正方向，以人体正前方并垂直于XOY平面的法线方向为Z轴构建而成。
技术实现思路
本专利技术为克服当前机车手信号培训系统存在的成本高、交互体验差的问题，提出了一种一种基于体感技术的机车手信号操作训练方法，利用Kinect获取人的骨骼点数据，结合匹配算法对人的姿势进行实时评分的训练方法，能够对机车信号人员进行动作进行培训。本专利技术技术方案具体如下：一种基于体感技术的机车手信号训练方法，包括如下步骤：(1)根据输入指令，判别是否为需要录制新的标准姿势，是则转步骤(2)，进入录制模式，添加新的标准姿势到标准库；否则转步骤(3)，进入匹配训练模式；(2)采集标准姿势，先把采集数据所基于Kinect骨骼坐标系转换成人体局部坐标系，得到所述标准姿势在人体局部坐标系下的10个关键骨骼点，计算得到标准姿势特征，形成标准姿势数据并保存到标准姿势库文件；并对选取的姿势特征赋予不同的权值,转步骤(4)；Kinect可以采集到25个骨骼点，本专利技术中的姿势特征只需要用10个关键骨骼点；通过将在kinect骨骼坐标系下骨骼点的坐标减去人体中心关节点的坐标得到的向量就得到在人体局部坐标系下的坐标；所述标准姿势包括铁路技术管理规程中规定的62个手信号；所述手信号是一种铁路移动信号，指上肢动作加上旗语；所述人体局部坐标系是以同时以人体中心关节点为原点，右手向右平直伸展方向为X轴正方向，以头部垂直向上方向为坐标系的Y轴正方向，以人体正前方并垂直于XOY平面的法线方向为Z轴构建而成；所述人体中心关节点，在左右髋关节点连线的中间，对于大多数人，该点位于人体肚脐位置。所述姿势特征指归一化后的骨骼向量；所述骨骼向量是由选取的关键骨骼点与人体中心关节点构成的向量，人体中心关节点也称Spine_Base点，在本专利技术中定义为人体坐标系的原点；所述关键骨骼点，指上肢的10个骨骼点，包括Neck、Head、ShoulderLeft、ElbowLeft、WristLeft、HandLeft、ShoulderRight、ElbowRight、WristRight、HandRight，即头、颈、左右肩、左右肘、左右腕和左右手10个点；关节点都是在相应关节的中心位置，例如手是在掌心的位置，这是kinect自己捕捉的；列车信号员在发出信号时，只有上肢手臂在运动；(3)从标准姿势库中按照每个姿势的录制顺序提取标准姿势数据，在屏幕上提示受训人员做出相应的姿势，并实时提取受训者作规定姿势时的姿势特征，并与标准姿势进行实时匹配评分，直到完成预定的姿势训练；所述提示可以是文字的形式提示，比如屏幕上显示减速，训练的人就做减速的手势；(4)结束。优选地，所述标准动作库的建立步骤如下：(2.1)选取有代表性的不同体型的人，做出各种机车手信号并提取姿势特征值；(2.1)采集有代表性的不同体型的人所做出的各种机车手信号并提取姿势特征值；(2.2)选择Kinect识别的人体上肢10个关键骨骼点坐标，与人体中心关节点的坐标相减得到10个关键骨骼点与中心关节点构成的向量，来获取骨骼向量特征表示手信号，归一化后保存到标准姿势库文件中；(2.3)对选取不同体型的人的各个手信号标准姿势特征进行平均，平均后的姿势特征作为标准动作库中的姿势特征；对62个标准手信号进行采集并计算特征，得到标准动作库。优选地，所述步骤(2)中标准姿势特征计算步骤如下：将Kinect获取10个关键骨骼点坐标与中心关节点相减构成的向量来表示人体局部坐标系下的骨骼点；在上述人体局部坐标系中，将选取的特征向量进行归一化处理，得到每个姿势的特征值。优选地，所述步骤(2)中，各个姿势特征权值赋予具体方法为：受训者先做出标准“Tpose”，提取姿势特征，求该特征中各骨骼向量模与基准模之间的比例，根据该比例进行权值分配，采取百分比值，分别求出各个姿势特征对应的权值；这个权值就是指各个骨骼向量的权重，以后做任何姿势，训练评分标准都依据这个分配的权值；所述基准模指两个肩膀之间的SPINE_SHOULDER点的正中点与中心关节点之间的向量模；所述“Tpose”指人伸开双臂做出“T”姿势。优选地，所述步骤(3)实时匹配评分具体如下：(3.1)匹配学习确定标准分数：受训者做出规定动作时，将采集到的姿势特征与标准姿势特征的接近程度，接近程度可以用模的比值表示，与相对应的权值相乘，最后全部10个姿势特征相加得到记录分数；动作与标准姿势越接近，相应的分数越高；(3.2)对受训者的每一个姿势的得分进行计算，得分超过标准分数S，就代表这个姿势训练完成，进行下一姿势匹配，直至完成预定的动作训练。优选地，所述步骤(3)中标准分数计算如下：为了避免人体体型不同所带来的差异，随机选取M个受训者对N种列车信号姿势进行匹配学习；根据M个受训者对N个信号进行评分，对各种姿势，取M个受训者的平均分数作为该姿势的标准分数S；这M个人相当于是给这个训练系统建立了一个标准，即标准分数S。优选地，所述步骤(2)对含有动态动作的标准姿势的录制和训练如下：对动态动作，根据姿势的复杂度来选取关键帧的数量，复杂度和关键帧的数量，以满足视觉效果为标准；机车手本文档来自技高网...

【技术保护点】
一种基于体感技术的机车手信号训练方法，其特征在于，包括如下步骤：(1)根据输入指令，判别是否为需要录制新的标准姿势，是则转步骤(2)，进入录制模式，添加新的标准姿势到标准库；否则转步骤(3)，进入匹配训练模式；(2)采集标准姿势，先把采集数据所基于Kinect骨骼坐标系转换成人体局部坐标系，得到所述标准姿势在人体局部坐标系下的10个关键骨骼点，计算得到标准姿势特征，形成标准姿势数据并保存到标准姿势库文件；并对选取的姿势特征赋予不同的权值,转步骤(4)；所述标准姿势包括铁路技术管理规程中规定的62个手信号；所述手信号是一种铁路移动信号，指上肢动作加上旗语；所述人体局部坐标系是以同时以人体中心关节点为原点，右手向右平直伸展方向为X轴正方向，以头部垂直向上方向为坐标系的Y轴正方向，以人体正前方并垂直于XOY平面的法线方向为Z轴构建而成；所述人体中心关节点，在左右髋关节点连线的中间；对于大多数人，该点位于人体肚脐位置；所述姿势特征指归一化后的骨骼向量；所述骨骼向量是由选取的关键骨骼点与人体中心关节点构成的向量；所述关键骨骼点，指上肢的10个骨骼点，包括Neck、Head、ShoulderLeft、ElbowLeft、WristLeft、HandLeft、ShoulderRight、ElbowRight、WristRight、HandRight，即头、颈、左右肩、左右肘、左右腕和左右手10个点；列车信号员在发出信号时，只有上肢手臂在运动；(3)从标准姿势库中按照每个姿势的录制顺序提取标准姿势数据，在屏幕上提示受训者应作出的姿势名称，并实时提取受训者作规定姿势时的姿势特征，并与标准姿势进行实时匹配评分，直到完成预定的姿势训练；(4)结束。...

【技术特征摘要】
1.一种基于体感技术的机车手信号训练方法，其特征在于，包括如下步骤：(1)根据输入指令，判别是否为需要录制新的标准姿势，是则转步骤(2)，进入录制模式，添加新的标准姿势到标准库；否则转步骤(3)，进入匹配训练模式；(2)采集标准姿势，先把采集数据所基于Kinect骨骼坐标系转换成人体局部坐标系，得到所述标准姿势在人体局部坐标系下的10个关键骨骼点，计算得到标准姿势特征，形成标准姿势数据并保存到标准姿势库文件；并对选取的姿势特征赋予不同的权值,转步骤(4)；所述标准姿势包括铁路技术管理规程中规定的62个手信号；所述手信号是一种铁路移动信号，指上肢动作加上旗语；所述人体局部坐标系是以同时以人体中心关节点为原点，右手向右平直伸展方向为X轴正方向，以头部垂直向上方向为坐标系的Y轴正方向，以人体正前方并垂直于XOY平面的法线方向为Z轴构建而成；所述人体中心关节点，在左右髋关节点连线的中间；对于大多数人，该点位于人体肚脐位置；所述姿势特征指归一化后的骨骼向量；所述骨骼向量是由选取的关键骨骼点与人体中心关节点构成的向量；所述关键骨骼点，指上肢的10个骨骼点，包括Neck、Head、ShoulderLeft、ElbowLeft、WristLeft、HandLeft、ShoulderRight、ElbowRight、WristRight、HandRight，即头、颈、左右肩、左右肘、左右腕和左右手10个点；列车信号员在发出信号时，只有上肢手臂在运动；(3)从标准姿势库中按照每个姿势的录制顺序提取标准姿势数据，在屏幕上提示受训者应作出的姿势名称，并实时提取受训者作规定姿势时的姿势特征，并与标准姿势进行实时匹配评分，直到完成预定的姿势训练；(4)结束。2.根据权利要求1所述的训练方法，其特征在于，步骤(2)中所述标准动作库的建立步骤如下：(2.1)采集不同体型的人所做出的各种机车手信号，并提取姿势特征值；(2.2)选择Kinect识别的人体上肢10个关键骨骼点坐标，与人体中心关节点的坐标相减得到10个关键骨骼点与中心关节点构成的向量，来获...

【专利技术属性】
技术研发人员：付艳，王峻峰，刘坤，李世其，刘世平，郑先权，程祥，汤贤，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北,42