一种适用于计量采集运维仿真培训的自动评判方法技术

本发明专利技术公开了一种适用于计量采集运维仿真培训的自动评判方法，包括使用OpenPose对培训过程中的特定动作建立特征数据样本库，所述特征数据样本库的主要数据内容为各动作的骨骼节点坐标信息，根据特征数据样本库训练得到动作模板库，利用OpenPose对摄像头视频进行人体姿态识别，当动作识别匹配上动作模板库中的动作时，进行动作违规逻辑判断,若判定为违规，将当前视频帧和违规信息进行关联保存，同时配合声光告警，违规动作存档等方式来提醒学员在培训过程中注意安全，培训结束时根据评分规则自动给出评分，再通过线下回放、违规动作查看等方式加强学员的培训效果。等方式加强学员的培训效果。等方式加强学员的培训效果。

【技术实现步骤摘要】
一种适用于计量采集运维仿真培训的自动评判方法


[0001]本专利技术涉及姿态识别
，特别涉及一种适用于计量采集运维仿真培训的自动评判方法。

技术介绍

[0002]随着智能电网的建设，用电信息采集终端、智能电能表广泛投入使用，巨量的设备数量、多种多样的设备类型及多样化的技术方案给现场运维人员带来极大挑战，同时电力设备都是带电运行，并且现场环境复杂多变，其运维工作有一定的危险性，为保证工作人员的安全，现场作业必须满足安全规范要求，为此电力公司建设了基于用电信息采集系统的计量采集运维仿真培训系统，针对用电信息采集系统智能化管理及现场运行的安全要求，通过模拟仿真现场作业环境以及现场电网环境干扰进行培训，来提高一线人员的业务水平及安全意识。
[0003]计量采集运维仿真培训系统通过模拟仿真现场作业各类干扰环境及设备故障现象，给学员以身临其境的培训效果，大大提升了培训效率。在培训结束之后需要通过培训考核的方式检验培训效果，这就涉及到对学员的实操过程进行评分，评分主要包括两个部分，一是过程的合规性（安全工作规范），二是结果的正确性，正确性这部分根据学员的提交结果进行评分，很容易实现，合规性部分的自动评分还未有实现案例，当前培训过程中对学员操作的合规性监督存在较大的局限性，只能通过教练在旁观看、口头警告的方式实现，并且违规动作也无法实时捕捉记录，学员也没法回放训练过程。这样学员的培训效果就会受影响，教练需要实时关注学员操作的合规性，这对教练的专注力要求极高，一时疏忽就可能错漏掉一些关键信息。

技术实现思路
/>[0004]针对现有技术存在的不足，本专利技术的目的在于提供一种适用于计量采集运维仿真培训的自动评判方法，旨在解决现有技术中通过教练观察来评判学员操作合规性存在较大局限性的问题。
[0005]本专利技术的上述技术目的是通过以下技术方案得以实现的：一方面，本申请实施例提供了一种适用于计量采集运维仿真培训的自动评判方法，步骤包括：步骤1、学员在培训场地上进行实机操作时，通过在培训场地设置的摄像头对学员所在区域进行拍摄，获取学员操作视频并保存；步骤2、针对学员操作视频的一帧图像进行人体姿态识别，并将识别出的姿态与动作模板库中预设数量的姿态进行匹配，所述预设数量的姿态中的每一个对应于学员操作的一个预设动作；若匹配成功，获取该匹配对应的一个预设动作并保存；步骤3、根据该预设动作和预设的动作违规判断逻辑判断学员是否违规；步骤4、若违规，发出告警信号，同时将当前视频帧和违规信息关联保存。
[0006]优选地，在步骤1中，所述摄像头包括分别部署在培训场所的左右两侧的两个摄像头，针对两个摄像头获取的视频分别保存并分别进行步骤2所述的操作。
[0007]优选地，所述步骤2包括如下子步骤：S21.姿态识别：每500毫秒从视频中截取一张图像并利用OpenPose进行人体姿态识别，当识别到人体姿态P
t
时，记录下人体姿态P
t
的25个骨骼节点坐标，同时记录姿态P
t
与图像的对应关系。
[0008]S22.动作匹配：在创建动作模板库时，我们得到一个姿态库P={P1,P2,P3,P4,...,P
n
}，n表示模板库中的姿态数，P
i
表示某一动作的骨骼节点坐标集，当视频中识别出姿态P
t
之后与姿态库中的姿态数据依次进行比较，比对结果以马氏距离进行度量，对于P
t
与P
i
两个姿态之间的相似度公式定义为：其中M为需要训练学习的度量矩阵，可以在创建动作模板库的过程中通过学习训练获取，P
t
,P
i
分别为待匹配姿态和模块库中姿态的骨骼节点坐标集，为姿态P
t
,P
i
之间的距离，也就是两者的相似程度，越小表示姿态P
t
,P
i
越相似，通过给设置阈值Th，来判断P
t
,P
i
为两个姿态是否匹配上，当<Th时，判定P
t
,P
i
为两个相同的姿态，则P
t
就是模板库中的动作P
i
。
[0009]S23.结果记录：当匹配上动作模板库中的动作时，将该动作加入到该学员的培训动作链中，然后进行动作违规逻辑判断,若判定为违规，将当前视频帧与违规信息进行关联保存。
[0010]优选地，步骤S22中创建动作模板库从而得到度量矩阵M和姿态库P的训练过程如下：S221、生成特征数据样本库，首先使用OpenPose，对培训过程中的特定动作建立特征数据样本库，所述特征数据样本库的主要数据内容为各动作的骨骼节点坐标信息。例如，在培训过程中，根据安全性相关规定，操作员需要穿戴绝缘手套进行操作，触碰装置之前必须进行验电，培训内容中某些操作必须断电操作等，因此特征数据样本库至少包括以下动作：1）穿戴绝缘手套；2）停电；3）验电；4）触碰装置；5）复电。针对每个动作从多个角度采集视频进而使用OpenPose得到该动作对应的多个姿态数据，每个姿态数据即作为该动作的一个特征数据样本。
[0011]S222、对于每个动作从特征数据样本库中选取超过30个正样本，同时选取超过20个负样本，负样本中混入一些与正样本相似的姿态数据，从而增加训练结果的鲁棒性，将这些样本数据作为学习训练的样本，通过LMNN算法得到度量矩阵M和姿态库P。
[0012]优选地，所述步骤3中根据该预设动作和预设的动作违规判断逻辑判断学员是否违规具体包括：S31、根据该预设动作获取动作违规判断逻辑，每个动作均对应有相应的动作违规判断逻辑，该预设动作分为违规动作、判定定位动作和安全规范动作，所述违规动作的动作违规判断逻辑为动作本身是否符合安全操作规范，所述判定定位动作的动作违规判断逻辑为该动作与之前能与安全规范动作匹配的预设数量的学员操作动作之间的操作顺序是否
符合安全操作规范；S32、如果学员操作动作与违规动作匹配则判断该动作本身不符合安全操作规范；S33、如果学员操作动作与判定定位动作匹配则通过保存的该学员的培训动作链获取该动作之前预设数量的操作动作；S34、判断该动作之前的动作是否包含预设数量的与安全规范动作匹配的操作动作。
[0013]S35、返回根据所述动作违规判断逻辑得到的判断结果。
[0014]优选地，所述步骤4中，所述将当前视频帧和违规信息关联保存包括：学员操作动作与违规动作匹配时，将该违规动作相关信息作为违规信息与当前视频帧关联保存；学员未在进行判定定位动作前完成与安全规范动作匹配的操作动作时，将未能匹配的安全规范动作相关信息作为违规信息与当前视频帧关联保存。
[0015]可选地，所述方法还包括：步骤5、根据预设学员的查询请求，回放该培训中该预设学员的完整操作视频，并查看系统记录的违规动作。
[0016]步骤6、学员操作结束后，对该学员的整个培训过程进行评分。
[0017本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种适用于计量采集运维仿真培训的自动评判方法，其特征在于，步骤包括：步骤1、学员在培训场地上进行实机操作时，通过在培训场地设置的摄像头对学员所在区域进行拍摄，获取学员操作视频并保存；步骤2、针对学员操作视频的一帧图像进行人体姿态识别，并将识别出的姿态与动作模板库中预设数量的姿态进行匹配，所述预设数量的姿态中的每一个对应于学员操作的一个预设动作；若匹配成功，获取该匹配对应的一个预设动作并保存；步骤3、根据该预设动作和预设的动作违规判断逻辑判断学员是否违规；步骤4、若违规，发出告警信号，同时将当前视频帧和违规信息关联保存。2.根据权利要求1所述的一种适用于计量采集运维仿真培训的自动评判方法，其特征在于，在步骤1中，所述摄像头包括分别部署在培训场所的左右两侧的两个摄像头，针对两个摄像头获取的视频分别保存并分别进行步骤2所述的操作。3.根据权利要求1所述的一种适用于计量采集运维仿真培训的自动评判方法，其特征在于，所述步骤2包括如下子步骤：S21.姿态识别：每隔预设时间从视频中截取一张图像并利用OpenPose进行人体姿态识别，当识别到人体姿态P
t
时，记录下人体姿态P
t
的25个骨骼节点坐标，同时记录姿态P
t
与图像的对应关系；S22.动作匹配：在创建动作模板库时，我们得到一个姿态库P={P1,P2,P3,P4,...,P
n
}，n表示模板库中的姿态数，P
i
表示某一动作的骨骼节点坐标集；当视频中识别出姿态P
t
之后与姿态库中的姿态数据依次进行比较，比对结果以马氏距离进行度量，对于P
t
与P
i
两个姿态之间的相似度公式定义为：其中M为需要训练学习的度量矩阵，可以在创建动作模板库的过程中通过学习训练获取，P
t
,P
i
分别为待匹配姿态和模块库中姿态的骨骼节点坐标集，为姿态P
t
,P
i
之间的距离，也就是两者的相似程度，越小表示姿态P
t
,P
i
越相似，通过给设置阈值Th，来判断P
t
,P
i
为两个姿态是否匹配上，当<Th时，判定P
t
,P
i
为两个相同的姿态，则P
t
就是模板库中的动作P
i
；S23.结果记录：当匹配上动作模板库中的动作时，将该动作加入到该学员的培训动作链中，然后进行动作违规逻辑判断,若判定为违规，将当前视频帧与违规信息进行关联保存。4.根据权利要求1所述的一种适用于计量采集运维仿真培训的自动评判方法，其特征在于，所述步骤3中根据该预设动作和预设的动作违规判断逻辑判断学员是否违规具体包括：S31、根据该预设动作获取动作违规判断逻辑，每个动作均对应有相应的动作违规判断逻辑，该预设动作分为违规动作、判定定位动作和安全规范动作，所述违规动作的动作违规判断逻辑为动作本身是否符合安全操作规范，所述判定定位动作的动作违规判断逻辑为该动作与之前能与安全规范动作匹配的预设数量的学员操作动作之间的操作顺序是否符合安...

【专利技术属性】
技术研发人员：毛建利，饶烜攀，余忠建，王江涛，王珍，
申请(专利权)人：杭州华罡智能科技有限公司，
类型：发明
国别省市：