一种变电运维人员姿态与行为以及工器具姿态的识别方法技术

本发明专利技术提供一种变电运维人员姿态与行为以及工具姿态的识别方法，包括：预存人员标准动作姿态、工器具标准外形；采用RGB相机与红外相机采集人体图像、场景图像；采用openpose模型获取人体关节点二维坐标，进而确定其三维坐标；构建cart决策树；由该cart决策树识别人体行为类别，识别出变电运维人员姿态。对场景图像进行分割、转换，得到工器具特征数据；采用unet网络模型识别工器具可能的二维坐标范围；根据工具形状特征、工具位置特征、工具红外图像、工具彩色图像，识别出工具姿态。本发明专利技术所述一种变电运维人员姿态与行为以及工具姿态的识别方法具有精度高、响应快等特点，可广泛应用于电力行业。用于电力行业。用于电力行业。

【技术实现步骤摘要】
一种变电运维人员姿态与行为以及工器具姿态的识别方法


[0001]本专利技术涉及识别技术，特别是涉及一种变电运维人员姿态与行为以及工器具姿态的识别方法。

技术介绍

[0002]作为一个国家核心产业的电力系统在国民经济生产生活中起着举足轻重的作用。为了保障电力系统的正常工作，变电运维工作艰巨、任务量大。在实际变电运维工作中，存在部分工作人员对于自身工作的重要性认知不足，操作流程不规范，变电设备更新迭代带来的人员培训需求增加等问题。其中，人员培训是解决上述问题的一个重要举措。
[0003]人员培训主要采用理论授课、师傅传授、仿真操作等方式，具有理论学习形式单一、死记硬背、疏于操作等问题；而且，师傅带徒弟是师傅根据规程和经验进行技能传授，很难标准化，培训周期也较长；仿真操作培训则需要投入大量资源制造仿真设备，且扩展性差。如何采用智能方式监管变电运维人员的规范作业程度，是目前变电运维领域的空白。
[0004]由此可见，在现有技术中，尚无一种监管变电运维人员规范作业程度的智能方法。

技术实现思路

[0005]有鉴于此，本专利技术的主要目的在于提供一种精度高、响应快、使用方便的变电运维人员姿态与行为以及工器具姿态的识别方法。
[0006]为了达到上述目的，本专利技术提出的技术方案为：
[0007]一种变电运维人员姿态与行为以及工具姿态的识别方法，包括如下步骤：
[0008]步骤1、预先存储变电运维人员的标准动作姿态、工器具标准外形。
[0009]步骤2、采用RGB相机与红外相机分别采集关于变电运维人员姿态的人体红外图像与人体彩色图像；同时，分别采集带有工器具的场景红外图像与场景彩色图像。
[0010]步骤3、采用openpose模型获取二维形式的人体关节点；根据二维形式的人体关节点、步骤2采集得到的人体红外图像与人体彩色图像，获得三维形式的人体关节点。
[0011]步骤4、根据步骤3得到的三维形式的人体关节点，提取由各关节角度与各关节点之间的距离构成的人体姿态特征数据。
[0012]步骤5、根据人体姿态特征数据，构建cart决策树；由该cart决策树识别人体行为类别，识别出变电运维人员姿态。
[0013]步骤6、将步骤2采集的带有工具的场景红外图像、场景彩色图像进行分割、转换，得到工器具特征数据。
[0014]步骤7、将工器具特征数据划分为工器具特征训练集与工器具特征验证集。
[0015]步骤8、采用工器具特征训练集，对unet网络模型进行训练；采用工器具特征验证集，对经过训练的unet网络模型进行验证，以得到训练好的unet模型。
[0016]步骤9、由训练好的unet模型识别工器具可能的二维坐标范围。
[0017]步骤10、根据工具形状特征、工具位置特征，结合步骤5得到的工具红外图像、工具
彩色图像，识别出工具姿态。
[0018]综上所述，本专利技术所述一种变电运维人员姿态与行为以及工具姿态的识别方法，同时采用红外相机与RGB相机采集人体红外图像与人体彩色图像、带有工器具的场景红外图像与场景彩色图像。对于人体彩色图像，采用openpose模型获取涉及人体姿态的关节点二维坐标，进而，根据人体红外图像，确定这些关于人体姿态关节点的三维坐标。由人体姿态关节点的三维坐标，确定出关节点的角度以及各关节点之间的距离，并由此构建cart决策树。由cart决策树识别出人体姿态。由此可见，本专利技术提供的变电运维人员姿态识别方法，能够远程识别变电运维人员的实时工作行为与工作状态，获得变电运维人员一线操作的第一手资料，对于人员的标准培训与人员的工作行为标准程度的监测实现了准确、快速的识别。此外，本专利技术还对带有工器具的场景彩色图像进行分割处理，并采用unet网络模型识别出工器具可能的二维坐标范围；并结合带有工器具的场景红外图像、工具形状特征、工具位置特征，识别出工器具的姿态。工器具的姿态能进一步确定变电运维人员的实际操作行为，进一步准确、快速地、针对性地人员培训提供了强有力的基础。
附图说明
[0019]图1为本专利技术所述一种变电运维人员姿态与行为以及工具姿态的识别方法总体流程示意图。
[0020]图2为本专利技术所述人体关节点的结构示意图。
[0021]图3为本专利技术所述人体关节点的角度示意图。
[0022]图4为本专利技术各所述关节点之间的距离示意图。
具体实施方式
[0023]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本专利技术作进一步地详细描述。
[0024]图1为本专利技术所述一种变电运维人员姿态与行为以及工具姿态的识别方法总体流程示意图。如图1所示，本专利技术所述一种变电运维人员姿态与行为以及工具姿态的识别方法，包括如下步骤：
[0025]步骤1、预先存储变电运维人员的标准动作姿态、工器具标准外形。
[0026]步骤2、采用RGB相机与红外相机分别采集关于变电运维人员姿态的人体红外图像与人体彩色图像；同时，分别采集带有工器具的场景红外图像与场景彩色图像。
[0027]步骤3、采用openpose模型获取二维形式的人体关节点；根据二维形式的人体关节点、步骤2采集得到的人体红外图像与人体彩色图像，获得三维形式的人体关节点。
[0028]步骤4、根据步骤3得到的三维形式的人体关节点，提取由各关节角度与各关节点之间的距离构成的人体姿态特征数据。
[0029]步骤5、根据人体姿态特征数据，构建cart决策树；由该cart决策树识别人体行为类别，识别出变电运维人员姿态。
[0030]步骤6、将步骤2采集的带有工具的场景红外图像、场景彩色图像进行分割、转换，得到工器具特征数据。
[0031]步骤7、将工器具特征数据划分为工器具特征训练集与工器具特征验证集。
[0032]步骤8、采用工器具特征训练集，对unet网络模型进行训练；采用工器具特征验证集，对经过训练的unet网络模型进行验证，以得到训练好的unet模型。
[0033]步骤9、由训练好的unet模型识别工器具可能的二维坐标范围。
[0034]步骤10、根据工具形状特征、工具位置特征，结合步骤5得到的工具红外图像、工具彩色图像，识别出工具姿态。
[0035]总之，本专利技术所述一种变电运维人员姿态与行为以及工具姿态的识别方法，同时采用红外相机与RGB相机采集人体红外图像与人体彩色图像、带有工器具的场景红外图像与场景彩色图像。对于人体彩色图像，采用openpose模型获取涉及人体姿态的关节点二维坐标，进而，根据人体红外图像，确定这些关于人体姿态关节点的三维坐标。由人体姿态关节点的三维坐标，确定出关节点的角度以及各关节点之间的距离，并由此构建cart决策树。由cart决策树识别出人体姿态。由此可见，本专利技术提供的变电运维人员姿态识别方法，能够远程识别变电运维人员的实时工作行为与工作状态，获得变电运维人员一线操作的第一手资料，对于人员的标准培训与人员的工作行为标准本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种变电运维人员姿态与行为以及工具姿态的识别方法，其特征在于，所述识别方法包括如下步骤：步骤1、预先存储变电运维人员的标准动作姿态、工器具标准外形；步骤2、采用RGB相机与红外相机分别采集关于变电运维人员姿态的人体红外图像与人体彩色图像；同时，分别采集带有工器具的场景红外图像与场景彩色图像；步骤3、采用openpose模型获取二维形式的人体关节点；根据二维形式的人体关节点、步骤2采集得到的人体红外图像与人体彩色图像，获得三维形式的人体关节点；步骤4、根据步骤3得到的三维形式的人体关节点，提取由各关节角度与各关节点之间的距离构成的人体姿态特征数据；步骤5、根据人体姿态特征数据，构建cart决策树；由该cart决策树识别人体行为类别，识别出变电运维人员姿态；步骤6、将步骤2采集的带有工具的场景红外图像、场景彩色图像进行分割、转换，得到工器具特征数据；步骤7、将工器具特征数据划分为工器具特征训练集与工器具特征验证集；步骤8、采用工器具特征训练集，对unet网络模型进行训练；采用工器具特征验证集，对经过训练的unet网络模型进行验证，以得到训练好的unet模型；步骤9、由训练好的unet模型识别工器具可能的二维坐标范围；步骤10、根据工具形状特征、工具位置特征，结合步骤5得到的工具红外图像、工具彩色图像，识别出工具姿态。2.根据权利要求1所述的变电运维人员姿态与行为以及工具姿态的识别方法，其特征在于，所述步骤1之后、步骤2之前，还包括如下步骤：步骤A1、对RGB相机与红外相机进行标定，得到RGB相机内参与红外相机内参；步骤A2、根据步骤A1，获取RGB相机与红外相机之间的外参矩阵与位姿变换矩阵。3.根据权利要求2所述的变电运维人员姿态与行为以及工具姿态的识别方法，其特征在于，所述步骤A1包括如下步骤：步骤A11、根据成像原理、物理坐标系的设置、像素坐标系的设置，得到RGB相机或红外相机的物理坐标系与像素坐标系之间的关系，如下：其中，(X
R
，Y
R
)表示图像中任一像素点在RGB相机的物理坐标系中的坐标，(u
R
，v
R
)表示图像中任一像素点在RGB相机的像素坐标系中的坐标，(x
R
，y
R
，z
R
)表示图像中任一像素点在RGB相机的相机坐标系中的坐标，d
Rx
、d
Ry
分别表示图像中任一像素点在RGB相机的相机坐标系中x
R
轴、y
R
轴方向上的实际尺寸，s
Rx
、s
Ry
分别表示图像中任一像素点在RGB相机的相机坐标系中x
R
轴、y
R
轴方向的采样频率，(X
R
，Y
R
)、(u
R
，v
R
)、(x
R
，y
R
，z
R
)之间具有一一对应关系；RGB相机的物理坐标系中心点(X
R0
，Y
R0
)在像素坐标系中的对应坐标为(u
R0
，v
R0
)；(X
h
，Y
h
)表示图像中任一像素点在红外相机的物理坐标系中的坐标，(u
h
，v
h
)表示图像中任一像素点在红外相机的像素坐标系中的坐标，(x
h
，y
h
，z
h
)表示图像中任一像素点在红外相机的相机坐标系中的坐标，d
hx
、d
hy
分别表示图像中任一像素点在红外相机的相机坐标系中x
h
轴、y
h
轴方向上
的实际尺寸，s
hx
、s
hy
分别表示图像中任一像素点在红外相机的相机坐标系中x
h
轴、y
h
轴方向的采样频率，(X
h
，Y
h
)、(u
h
，v
h
)、(x
h
，y
h
，z
h
)之间具有一一对应关系；红外相机的物理坐标系中心点(X
h0
，Y
h0
)在像素坐标系中的对应坐标为(u
h0
，v
h0
)；步骤A12、分别获取RGB相机的图像物理坐标系与图像相机坐标系之间的关系、红外相机的图像物理坐标系与图像相机坐标系之间的关系，如下：其中，f
R
为RGB相机的摄像头焦距，f
h
为红外相机的摄像头焦距；步骤A13、根据步骤A11、步骤A12，并按照齐次方程的表示方式，得到RGB相机的内参矩阵M
R
、红外相机的内参矩阵M
h
：其中，f
Rx
、f
Ry
、u
R0
、v
R0
为RGB相机的内参，f
hx
、f
hy
、u
h0
、v
h0
为红外相机的内参；f
Rx
＝f
R
/dx
R
表示RGB相机x
R
轴方向上的焦距，f
Ry
＝f
R
/d y
R
表示RGB相机y
R
轴方向上的焦距，f
hx
表示红外相机x
h
轴方向上的焦距，f
h...

【专利技术属性】
技术研发人员：刘国忠，唐琼萍，林春龙，林昌年，阮梦宇，靳伟，
申请(专利权)人：国家电网有限公司北京科东电力控制系统有限责任公司，
类型：发明
国别省市：