一种通过意图识别提前判断电力违规作业的方法及系统技术方案

本发明专利技术涉及数据处理技术领域，公开了一种通过意图识别提前判断电力违规作业的方法及系统，根据工作任务检测监控图像数据中的第一兴趣点特征组，确定搭载至少一个疑似目标源的载体的范围；检测疑似目标源的位置以及第二兴趣点特征组，并将若干疑似目标源的第二兴趣点特征组进行比对；检测监控图像数据中的人体骨架关键节点以及手部骨架关键节点，获取所述手部骨架关键节点和所述疑似目标源的位置关系数据集；将所述位置关系数据集以及对应的时间维度的单位时间作为神经网络模型的输入训练参数进行训练，以得到预测模型；基于所述预测模型进行当前动作判定以及下一个动作的预测及判定。本发明专利技术可以做到提前数秒对违规操作进行预警，保障安全。保障安全。保障安全。

【技术实现步骤摘要】
一种通过意图识别提前判断电力违规作业的方法及系统


[0001]本专利技术涉及数据处理
，具体涉及一种通过意图识别提前判断电力违规作业的方法及系统。

技术介绍

[0002]目前的人类行为检测在工程上的应用大多都是检测简单的预警事件，例如站立、平躺、坐姿以及摔倒等。这些检测可以简单的实现对于工人目前行为状态的识别，但是无法解决更高语义理解下的任务，尤其是需要与物品进行互动的任务，例如判断电力作业是否违规。在这种情况下，需要了解操作员与操作物品的交互，提前理解并预测操作员的动作是否违规。因此，需要在只对人进行分析的基础上，添加对物品互动的分析和人类行为的预测。

技术实现思路

[0003]本专利技术提供一种通过意图识别提前判断电力违规作业的方法及系统，该方法和系统对整个电力操作流程顺序进行定义、检测和预测，相对于简单的检测系统，该方法和系统更加完善，实用和满足各项任务需求。
[0004]本专利技术通过下述技术方案实现：
[0005]一种通过意图识别提前判断电力违规作业的方法，包括如下步骤：
[0006]根据工作任务检测监控图像数据中的第一兴趣点特征组，确定搭载至少一个疑似目标源的载体的范围，以初步排除非目标源；通过本步骤，可以缩小目标源的判定范围，快速得到交互物品为载体范围外的非目标源时的判定结果，避免物品过多，造成判定过程复杂化。
[0007]检测疑似目标源的位置以及第二兴趣点特征组，并将若干疑似目标源的第二兴趣点特征组进行比对，以区分具有相似或不同形态的若干疑似目标源，并对区分后的疑似目标源进行标记；这样能够更好地对载体范围内的目标源进行区分，避免具有相似形态的物品标记错误。
[0008]检测监控图像数据中的人体骨架关键节点以及手部骨架关键节点以及根据所述手部骨架关键节点确认的手部数据，根据所述人体骨架关键节点获取工作人员的位置，并基于骨架时空卷积网络根据时间维度得到所述手部骨架关键节点与所述疑似目标源的位置关系数据集；将手部信息和疑似目标源进行一一对应，使后续预测更加精准。
[0009]将所述位置关系数据集以及对应的时间维度的单位时间作为神经网络模型的输入训练参数进行训练，以得到预测模型；
[0010]基于所述预测模型进行当前动作判定以及下一个动作的预测及判定。
[0011]作为优化，所述手部骨架关键节点包括由腕骨关节组成的手腕骨架关键节点、由手掌掌心组成的手掌骨架关键节点以及由若干手指关节以及各指尖组成的手指骨架关键节点，所述手部数据包括手腕数据、手掌数据以及手指数据，所述手腕数据包括手腕骨架关
键节点的第一定位数据，所述手掌数据包括由手指骨架关键节点确认的手掌的开度以及手掌掌心与某一疑似目标源轮廓上表面之间的最大角度和最小角度的角度差，所述手指数据包括食指的指尖距离同一只手的大拇指指尖的距离变化值，以及各手指关节的定位数据，各所述手指关节包括各手指的掌指关节以及各手指的指骨间关节。
[0012]由于在电力作业中，工作人员需要俯身拿取放在载体上表面的相应的工具进行作业，因此，在工作人员的手掌高度必定高于工具(疑似目标源)的上表面，当手掌靠近某一疑似目标源时，手掌会张开，且手掌是朝向目标源的，因此，手掌掌心与该疑似目标源轮廓上表面之间的最大角度和最小角度的角度差必定小于其他的疑似目标源的轮廓上表面之间的最大角度和最小角度的角度差，食指的指尖距离同一只手的大拇指的指尖的距离变化值会在手掌张开的单位时间内变大。
[0013]作为优化，确定所述位置关系数据集的具体方式为：
[0014]根据时间维度以及第一定位数据确定手腕骨架关键节点到某一疑似目标源在每个单位时间内的最近距离，以检测手腕的运动轨迹；
[0015]根据时间维度确定在每个单位时间内的手掌开度值以及角度差；
[0016]根据时间维度确定食指的指尖到该疑似目标源在每个单位时间内的距离变化值；
[0017]将各单位时间内的最近距离、手掌开度值、角度差、距离变化值以及对应的意思目标源分别组合成一组位置关系数据集，所述位置关系数据集表示为：{A
i,j
，B
i,j
，C
i,j
，D
i,j
}，其中，i表示目标源，j表示时间维度上的单位时间，A表示最近距离，B表示手掌开度值，C表示角度差，D表示距离变化值。
[0018]作为优化，所述手掌开度值与所述最近距离之间满足：在最近距离小于第一阈值时，手掌开度值满足第一条件，所述角度差与所述最近距离之间满足：在最近距离小于第二阈值时，角度差满足第二条件，所述距离变化值与所述最近距离之间满足：在最近距离小于第三阈值时，距离变化值满足第三条件，当位置关系数据集同时满足条件时，判定此疑似目标源为定目标源。
[0019]作为优化，确定所述位置关系数据集的具体方式为：
[0020]根据时间维度确定手腕骨架关键节点到某一疑似目标源在每个单位时间内的最近距离，以检测手腕的运动轨迹；
[0021]根据时间维度确定在每个单位时间内的手掌开度值；
[0022]根据时间维度确定在每个单位时间内大拇指、食指、中指、无名指、小指的各手指关节节点的连线轨迹；
[0023]根据时间维度确定大拇指、食指、中指、无名指、小指的各手指关节节点与所述腕骨关节节点的相对位置；
[0024]将各单位时间内的最近距离、各手指关节节点的连线轨迹、各手指关节节点与腕骨关节节点的相对位置以及对应的疑似目标源分别组合成一组位置关系数据集，所述位置关系数据集表示为：{A
i,j
，X
i,j
，Y
i,j,k
，Z
i,j,k,m,n
}，其中，i表示疑似目标源，j表示时间维度上的单位时间，A表示最近距离，k表示手指类型，m表示腕骨关节节点，n表示手指关节节点，X表示手掌开度值，Y表示连线轨迹，Z表示各手指关节节点与所述腕骨关节节点的相对位置。
[0025]作为优化，所述手掌开度值、连线轨迹与所述最近距离之间满足：所述最近距离小于第四阈值时，手掌开度值满足第一条件，大拇指手指关节节点的连线轨迹与食指或中指
手指关节节点的连线轨迹呈弯曲状，且所述大拇指的指骨间关节的角度介于120
°
至170
°
之间，所述食指或中指的近端指间关节处的角度介于90
°
至160
°
，所述食指或中指的指骨间关节处的角度大于130
°
，且所述大拇指手指关节节点的连线轨迹与食指或中指手指关节节点的连线轨迹的弯曲弧度均朝向某一疑似目标源，则判定此疑似目标源为定目标源。
[0026]作为优化，所述骨架时空卷积网络具体为：
[0027][0028]其中，f
out
(v
tp
)表示对t时刻骨架关键节点p的运动预测输出；B(v
tp
)表示t时刻关键节点p的所有关联节点的集本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种通过意图识别提前判断电力违规作业的方法，其特征在于，包括如下步骤：根据工作任务检测监控图像数据中的第一兴趣点特征组，确定搭载至少一个疑似目标源的载体的范围，以初步排除非目标源；检测疑似目标源的位置以及第二兴趣点特征组，并将若干疑似目标源的第二兴趣点特征组进行比对，以区分具有相似或不同形态的若干疑似目标源，并对区分后的疑似目标源进行标记；检测监控图像数据中的人体骨架关键节点、手部骨架关键节点以及根据所述手部骨架关键节点确认的手部数据，根据所述人体骨架关键节点获取工作人员的位置，并基于骨架时空卷积网络根据时间维度得到所述手部骨架关键节点与所述疑似目标源的位置关系数据集；将所述位置关系数据集以及对应的时间维度的单位时间作为神经网络模型的输入训练参数进行训练，以得到预测模型；基于所述预测模型进行当前动作判定以及下一个动作的预测及判定。2.根据权利要求1所述的一种通过意图识别提前判断电力违规作业的方法，其特征在于，所述手部骨架关键节点包括由腕骨关节组成的手腕骨架关键节点、由手掌掌心组成的手掌骨架关键节点以及由若干手指关节以及各指尖组成的手指骨架关键节点，所述手部数据包括手腕数据、手掌数据以及手指数据，所述手腕数据包括手腕骨架关键节点的第一定位数据，所述手掌数据包括由手指骨架关键节点确认的手掌的开度以及手掌掌心与某一疑似目标源轮廓上表面之间的最大角度和最小角度的角度差，所述手指数据包括食指的指尖距离同一只手的大拇指指尖的距离变化值，以及各手指关节的定位数据，各所述手指关节包括各手指的掌指关节以及各手指的指骨间关节。3.根据权利要求2所述的一种通过意图识别提前判断电力违规作业的方法，其特征在于，确定所述位置关系数据集的具体方式为：根据时间维度以及第一定位数据确定手腕骨架关键节点到某一疑似目标源在每个单位时间内的最近距离，以检测手腕的运动轨迹；根据时间维度确定在每个单位时间内的手掌开度值以及角度差；根据时间维度确定食指的指尖到该疑似目标源在每个单位时间内的距离变化值；将各单位时间内的最近距离、手掌开度值、角度差、距离变化值以及对应的疑似目标源分别组合成一组位置关系数据集，所述位置关系数据集表示为：{A
i,j
，B
i,j
，C
i,j
，D
i,j
}，其中，i表示疑似目标源，j表示时间维度上的单位时间，A表示最近距离，B表示手掌开度值，C表示角度差，D表示距离变化值。4.根据权利要求3所述的一种通过意图识别提前判断电力违规作业的方法，其特征在于，所述手掌开度值与所述最近距离之间满足：在最近距离小于第一阈值时，手掌开度值满足第一条件，所述角度差与所述最近距离之间满足：在最近距离小于第二阈值时，角度差满足第二条件，所述距离变化值与所述最近距离之间满足：在最近距离小于第三阈值时，距离变化值满足第三条件，当位置关系数据集同时满足条件时，判定此疑似目标源为定目标源。5.根据权利要求2所述的一种通过意图识别提前判断电力违规作业的方法，其特征在于，确定所述位置关系数据集的具体方式还可以为：根据时间维度确定手腕骨架关键节点到某一疑似目标源在每个单位时间内的最近距
离，以检测手腕的运动轨迹；根据时间维度确定在每个单位时间内的手掌开度值；根据时间维度确定在每个单位时间内大拇指、食指、中指、无名指、小指的各手指关节节点的连线轨迹；根据时间维度确定大拇指、食指、中指、无名指、小指的各手指关节节点与所述腕骨关节节点的相对位置；将各单位时间内的最近距离、各手指关节节点的连线轨迹、各手指关节节点与腕骨关节节点的相对位置以及对应的疑似目标源分别组合成一组位置关系数据集，所述位置关系数据集表示为：{A
i,j
，X
...

【专利技术属性】
技术研发人员：彭川，徐肖，吴元凯，胡红彬，李杰，李忠，刘建华，林茂，魏民，
申请(专利权)人：国网四川省电力公司资阳供电公司，
类型：发明
国别省市：