一种基于神经网络的行人翻越交通护栏的检测识别方法技术

本发明专利技术涉及数据识别技术领域，具体涉及一种基于神经网络的行人翻越交通护栏的检测识别方法，通过获取待监测护栏段的各对拍摄图像，对拍摄图像进行数据识别，确定各个人体目标在其对应的各对目标拍摄图像中的各个关节点及其向量串和邻域关节点，结合各对目标拍摄图像中的护栏区域信息，确定各个人体目标在其对应的各对目标拍摄图像中的各个关节点的邻域关节点的注意力权重，进而确定各个人体目标在其对应的各对目标拍摄图像中的各个关节点的更新向量串，从而确定各个人体目标的片段向量，最终得到各个人体目标的动作识别结果。本发明专利技术基于待监测护栏段的各对拍摄图像，并利用相应的数据识别技术，有效提高了行人翻越护栏检测的准确性。检测的准确性。检测的准确性。

【技术实现步骤摘要】
一种基于神经网络的行人翻越交通护栏的检测识别方法


[0001]本专利技术涉及数据识别
，具体涉及一种基于神经网络的行人翻越交通护栏的检测识别方法。

技术介绍

[0002]行人翻越交通护栏是一种十分危险的行为，给行人的生命安全和交通安全带来了巨大的隐患。然而，对这一行为的监管比较困难，尤其是高速公路上等难以监管的区域。因此，在交通公路上，对行人翻越交通护栏的违规行为进行检测就显得十分必要。
[0003]在现有的行人翻越交通护栏检测中，主要分为人工检测和图像检测两大类。其中人工检测是指对特定路段进行人工巡逻检测，但是这种检测方式需要花费较大人工成本，不能适用于所有的交通路段。随着图像数据识别技术的发展，图像检测逐渐成为行人翻越交通护栏检测的侧重手段。在现有的行人翻越交通护栏图像检测中，通常都是根据行人与护栏的位置关系，来判定行人是否在翻越护栏，这就导致容易导致检测结果出现错误的情况。例如，当道路维护工人需要沿着护栏行走时，此时就会导致检测结果发生错误。

技术实现思路

[0004]本专利技术的目的在于提供一种基于神经网络的行人翻越交通护栏的检测识别方法，用于解决现有的行人翻越交通护栏检测准确性较差的问题。
[0005]为解决上述技术问题，本专利技术提供了一种基于神经网络的行人翻越交通护栏的检测识别方法，包括以下步骤：步骤S1：获取待监测护栏段的当前各个设定时刻对应的各对拍摄图像，所述拍摄图像包括第一侧拍摄图像和第二侧拍摄图像；步骤S2：对各对拍摄图像进行人体目标识别，若识别到人体目标，则确定各个同一人体目标对应的各对目标拍摄图像，所述目标拍摄图像包括目标第一侧拍摄图像和目标第二侧拍摄图像；步骤S3：对各对目标拍摄图像中的对应人体目标的关节点进行识别，从而确定各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点、各个关节点的向量串和各个关节点的邻域关节点；步骤S4：对各对目标拍摄图像中的护栏进行识别，从而确定各对目标拍摄图像中的护栏区域信息；步骤S5：根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点和护栏区域信息，确定各个同一人体目标在其对应的各对目标拍摄图像中的人体护栏距离值和腿部弯曲度；步骤S6：根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的向量串、邻域关节点的向量串、人体护栏距离值和腿部弯曲度，确定各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的邻域关节点的注意力权重；
步骤S7：根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的向量串以及邻域关节点的注意力权重，确定各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的更新向量串，进而确定各个同一人体目标对应的片段向量；步骤S8：将各个同一人体目标对应的片段向量分别输入到预先获取的行人翻越交通护栏识别网络中，从而得到各个同一人体目标的动作识别结果。
[0006]进一步的，从而确定各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点和各个关节点的向量串，包括：对各对目标拍摄图像中的对应人体目标的关节点进行识别，从而得到各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点、各个关节点的特征向量和前后类别；根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的部位种类和前后类型，对各个关节点进行编码，从而得到各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的部位编码；根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的位置坐标、特征向量和部位编码，构造各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的向量串。
[0007]进一步的，从而确定各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的邻域关节点，还包括：根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的位置坐标，构造各个同一人体目标在其对应的各对目标第一侧拍摄图像和目标第二侧拍摄图像中的骨架图；根据各个同一人体目标在其对应的各对目标第一侧拍摄图像和目标第二侧拍摄图像中的骨架图，确定各个同一人体目标在其对应的各对目标第一侧拍摄图像和目标第二侧拍摄图像中的每个关节点的与其相连接的关节点；确定各个同一人体目标在其对应的每帧目标第一侧拍摄图像中的每个关节点的邻域关节点，所述邻域关节点包括：该关节点的与其相连的关节点、该关节点所在的目标第一侧拍摄图像对应的目标第二侧拍摄图像中的同部位的关节点，该关节点所在的目标第一侧拍摄图像的相邻目标第一侧拍摄图像中的同部位的关节点、该关节点所在的目标第一侧拍摄图像对应的目标第二侧拍摄图像的相邻目标第二侧拍摄图像中的同部位的关节点；确定各个同一人体目标在其对应的每帧目标第二侧拍摄图像中的每个关节点的邻域关节点，所述邻域关节点包括：该关节点的与其相连的关节点、该关节点所在的目标第二侧拍摄图像对应的目标第一侧拍摄图像中的同部位的关节点，该关节点所在的目标第二侧拍摄图像的相邻目标第二侧拍摄图像中的同部位的关节点、该关节点所在的目标第二侧拍摄图像对应的目标第一侧拍摄图像的相邻目标第一侧拍摄图像中的同部位的关节点。
[0008]进一步的，各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点包括：鼻子关节点、脖子关节点、右肩膀关节点、右手肘关节点、右手手腕关节点、左肩膀关节点、左手肘关节点、左手手腕关节点、右胯关节点、右膝关节点、右脚关节点、左胯关节点、左膝关节点和左脚关节点。
[0009]进一步的，确定各个同一人体目标在其对应的各对目标拍摄图像中的人体护栏距
离值和腿部弯曲度，包括：根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点中的脖子关节点、右胯关节点、右膝关节点、左胯关节点和左膝关节点的位置坐标，确定各个同一人体目标在其对应的各对目标拍摄图像中的右腿身体主干向量、左腿身体主干向量、右大腿向量和左大腿向量；根据各个同一人体目标在其对应的各对目标拍摄图像中的右腿身体主干向量、左腿身体主干向量、右大腿向量和左大腿向量，确定各个同一人体目标在其对应的各对目标拍摄图像中的右腿弯曲度和左腿弯曲度；根据各个同一人体目标在其对应的各对目标拍摄图像中的右腿弯曲度和左腿弯曲度，确定各个同一人体目标在其对应的各对目标拍摄图像中的腿部弯曲度。
[0010]进一步的，确定各个同一人体目标在其对应的各对目标拍摄图像中的右腿弯曲度和左腿弯曲度对应的计算公式为：和左腿弯曲度对应的计算公式为：其中，为各个同一人体目标在其对应的各对目标拍摄图像中的右腿弯曲度，为各个同一人体目标在其对应的各对目标拍摄图像中的右腿身体主干向量，为各个同一人体目标在其对应的各对目标拍摄图像中的右大腿向量，为和之间的夹角，为各个同一人体目标在其对应的各对目标拍摄图像中的左腿弯曲度，为各个同一人体目标在其对应的各对目标拍摄图像中的左腿身体主干向量，为各个同一人体目标在其对应的各对目标拍摄图像中的左大腿向量，为和之间的夹角。
[0011]进一步的，确定各个同一人体目标在其对应的各对目标拍摄图像中的人体护栏距离值和腿部弯曲度，还包括：根据各个同一人体目标在其对应的各对目标拍本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经网络的行人翻越交通护栏的检测识别方法，其特征在于，包括以下步骤：步骤S1：获取待监测护栏段的当前各个设定时刻对应的各对拍摄图像，所述拍摄图像包括第一侧拍摄图像和第二侧拍摄图像；步骤S2：对各对拍摄图像进行人体目标识别，若识别到人体目标，则确定各个同一人体目标对应的各对目标拍摄图像，所述目标拍摄图像包括目标第一侧拍摄图像和目标第二侧拍摄图像；步骤S3：对各对目标拍摄图像中的对应人体目标的关节点进行识别，从而确定各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点、各个关节点的向量串和各个关节点的邻域关节点；步骤S4：对各对目标拍摄图像中的护栏进行识别，从而确定各对目标拍摄图像中的护栏区域信息；步骤S5：根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点和护栏区域信息，确定各个同一人体目标在其对应的各对目标拍摄图像中的人体护栏距离值和腿部弯曲度；步骤S6：根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的向量串、邻域关节点的向量串、人体护栏距离值和腿部弯曲度，确定各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的邻域关节点的注意力权重；步骤S7：根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的向量串以及邻域关节点的注意力权重，确定各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的更新向量串，进而确定各个同一人体目标对应的片段向量；步骤S8：将各个同一人体目标对应的片段向量分别输入到预先获取的行人翻越交通护栏识别网络中，从而得到各个同一人体目标的动作识别结果。2.根据权利要求1所述的基于神经网络的行人翻越交通护栏的检测识别方法，其特征在于，从而确定各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点和各个关节点的向量串，包括：对各对目标拍摄图像中的对应人体目标的关节点进行识别，从而得到各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点、各个关节点的特征向量和前后类别；根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的部位种类和前后类型，对各个关节点进行编码，从而得到各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的部位编码；根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的位置坐标、特征向量和部位编码，构造各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的向量串。3.根据权利要求2所述的基于神经网络的行人翻越交通护栏的检测识别方法，其特征在于，从而确定各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的邻域关节点，还包括：根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点的位置坐标，构造各个同一人体目标在其对应的各对目标第一侧拍摄图像和目标第二侧拍摄图像中的骨
架图；根据各个同一人体目标在其对应的各对目标第一侧拍摄图像和目标第二侧拍摄图像中的骨架图，确定各个同一人体目标在其对应的各对目标第一侧拍摄图像和目标第二侧拍摄图像中的每个关节点的与其相连接的关节点；确定各个同一人体目标在其对应的每帧目标第一侧拍摄图像中的每个关节点的邻域关节点，所述邻域关节点包括：该关节点的与其相连的关节点、该关节点所在的目标第一侧拍摄图像对应的目标第二侧拍摄图像中的同部位的关节点，该关节点所在的目标第一侧拍摄图像的相邻目标第一侧拍摄图像中的同部位的关节点、该关节点所在的目标第一侧拍摄图像对应的目标第二侧拍摄图像的相邻目标第二侧拍摄图像中的同部位的关节点；确定各个同一人体目标在其对应的每帧目标第二侧拍摄图像中的每个关节点的邻域关节点，所述邻域关节点包括：该关节点的与其相连的关节点、该关节点所在的目标第二侧拍摄图像对应的目标第一侧拍摄图像中的同部位的关节点，该关节点所在的目标第二侧拍摄图像的相邻目标第二侧拍摄图像中的同部位的关节点、该关节点所在的目标第二侧拍摄图像对应的目标第一侧拍摄图像的相邻目标第一侧拍摄图像中的同部位的关节点。4.根据权利要求1所述的基于神经网络的行人翻越交通护栏的检测识别方法，其特征在于，各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点包括：鼻子关节点、脖子关节点、右肩膀关节点、右手肘关节点、右手手腕关节点、左肩膀关节点、左手肘关节点、左手手腕关节点、右胯关节点、右膝关节点、右脚关节点、左胯关节点、左膝关节点和左脚关节点。5.根据权利要求4所述的基于神经网络的行人翻越交通护栏的检测识别方法，其特征在于，确定各个同一人体目标在其对应的各对目标拍摄图像中的人体护栏距离值和腿部弯曲度，包括：根据各个同一人体目标在其对应的各对目标拍摄图像中的各个关节点中的脖子关节点、右胯关节点、右膝关节点、左胯关节点和左膝关节点的位置坐标，确定各个同一人体...

【专利技术属性】
技术研发人员：刘景园，
申请(专利权)人：山东美特钢材有限公司，
类型：发明
国别省市：