双通路视频协同感知的行为姿态识别方法技术

本发明专利技术提供一种双通路视频协同感知的行为姿态识别方法，包括左右两侧智慧灯杆的摄像模块、边缘计算模块，交互模块在内的双通路视频协同感知系统。左右两侧智慧灯杆的摄像模块即部署在两侧灯杆上的各一路摄像头，用于行人视频数据的收集；边缘计算模块即部署在智慧灯杆端的轻量级行人动作姿态识别神经网络，用于行人视频数据的处理即对行人实时动作类别的推断；交互模块用于共享两侧神经网络获取的行人姿态信息，实现对结果的博弈优化。该识别算法可用于街道行人视频监控信息挖掘与紧急情况实时反应处理，能够以较低算力资源实时、高效和精确地处理行人视频监控信息，节约人力物力，保障行人生命安全与公私财物安全。保障行人生命安全与公私财物安全。保障行人生命安全与公私财物安全。

【技术实现步骤摘要】
双通路视频协同感知的行为姿态识别方法


[0001]本专利技术属于计算机视觉算法
，具体涉及一种双通路视频协同感知的行为姿态识别方法。

技术介绍

[0002]当下，监控探头几乎已布满人们日常生活的每一条街道，时时刻刻的记录着路过的行人、车辆等，但除交通违章判罚外，由于记录的信息过多，受人力成本的影响，这些被记录的信息大多只有在发生意外状况之后才会被挖掘，导致可能会贻误最佳的处理时机，例如行人突发心脏病、老人摔倒不起或是偷盗、破坏公私财物等行为。而随着计算机视觉算法的不断进步以及同等算力硬件成本的下降，使得智慧终端实时处理这些信息并作出反应处理成为可能。
[0003]然而，目前现有的动作姿态识别算法大都是基于单通路视频的，对于行人关节遮挡问题不能很好的以较低算力水平的方法解决。
[0004]综上所述，现有技术在进一步挖掘处理监控中的行人行为姿态信息方面存在一些缺陷和不足，所以有必要研发出新的方法来处理当下的应用场景。

技术实现思路

[0005]本专利技术是为解决上述问题而进行的，目的在于提供一种基于双通路视频协同感知、从而能够以较低算力水平实现视频中行为姿态识别的方法，本专利技术采用了如下技术方案：
[0006]本专利技术提供了一种双通路视频协同感知的行为姿态识别方法，其特征在于，包括以下步骤：
[0007]步骤S1，构建双通路视频协同感知系统，包括设置在道路两侧的两个感知单元，每个所述感知单元包括：摄像头，用于拍摄该道路上行人姿态图像；边缘计算模块，包含神经网络模型，用于基于输入的所述行人姿态图像识别行人行为姿态；以及交互模块，至少用于与另一个所述感知单元进行交互，其中，两个所述摄像头有重叠视野区域；
[0008]步骤S2，通过两个所述摄像头拍摄该道路，基于拍摄到的视频信息识别出该道路上的行人，并判断该行人是否在所述重叠视野区域；
[0009]步骤S3，步骤S2判断为否，两个所述感知单元将所述视频信息共享，两个所述神经网络模型通过第二滚动时域博弈优化算法进行该视频信息中的行人行为姿态识别，其中，所述第二滚动时域博弈优化算法为：当仅有一个所述感知单元拍摄到行人时，采用该感知单元的所述神经网络模型的识别结果；随时间推移，行人的空间位置发生变化，能够拍摄到行人的所述感知单元相应变化，当能够拍摄到行人的所述感知单元仍为一个时，采用该感知单元的所述神经网络模型的识别结果；
[0010]步骤S4，步骤S2判断为是，两个所述神经网络模型将过程特征输出及权重参数共享，两个所述神经网络模型均对行人的动作属于各动作类别的可能性进行预测并打分，采
用两组预测中打分最高的动作类别作为识别结果。
[0011]本专利技术提供的双通路视频协同感知的行为姿态识别方法，还可以具有这样的技术特征，其中，所述神经网络模型包括：基于MobileNet的轻量级姿态识别网络，以经过预处理的一侧的所述摄像头拍摄的视频作为输入，输出为各行人的连续多帧的行人骨骼点位置热图；以及基于3D
‑
CNN的动作识别网络，所述交互模块对所述行人骨骼点位置热图中的缺失关节点位置进行填充，以填充结果作为该动作识别网络的输入，输出为各行人的动作类别。
[0012]本专利技术提供的双通路视频协同感知的行为姿态识别方法，还可以具有这样的技术特征，其中，所述轻量级姿态识别网络作为第一阶段，所述动作识别网络作为第二阶段，所述交互模块分别记录两个所述神经网络模型第一阶段输出的行人各个骨骼点的位置、相对位置以及位置变化特征，在行人在所述重叠视野区域时，若其中一个所述感知单元的视野内行人的骨骼点被遮挡，则利用另一个所述感知单元获取的行人运动特征信息对被遮挡的骨骼点位置进行推断填充。
[0013]本专利技术提供的双通路视频协同感知的行为姿态识别方法，还可以具有这样的技术特征，其中，所述感知单元设置在智慧灯杆上，步骤S2包括以下子步骤：
[0014]步骤S2
‑
1，利用预定的目标识别算法识别出所述视频信息中的行人；
[0015]步骤S2
‑
2，利用所述智慧灯杆自身的地理位置信息以及该智慧灯杆处的所述摄像头拍摄到的视频信息进行时空定位；
[0016]步骤S2
‑
3，构建该行人的ID编码；
[0017]步骤S2
‑
4，判断该行人是否在所述重叠视野区域。
[0018]本专利技术提供的双通路视频协同感知的行为姿态识别方法，还可以具有这样的技术特征，其中，所述神经网络模型的训练过程包括以下步骤：
[0019]步骤S1
‑
1，构建所述双通路视频协同感知系统，利用道路两侧的所述摄像头收集两个不同视角下行人多种行为姿态的同步时间序列的视频数据；
[0020]步骤S1
‑
2，对步骤S1
‑
1收集的视频数据进行特征提取，提取出关节姿态信息，结合不同动作特征进行数据标注分类，构建双通道成对行人行为姿态的数据集；
[0021]步骤S1
‑
3，基于所述数据集，两个所述神经网络模型分别利用各自拍摄的视频数据及其标注进行单独训练，调整其模型参数；
[0022]步骤S1
‑
4，基于所述数据集，两个所述神经网络模型通过所述交互模块构成博弈网络，通过第一滚动时域博弈优化算法优化两个所述神经网络的模型参数，其中，所述第一滚动时域博弈优化算法为：两个所述神经网络模型分别对同一行人的行为姿态识别结果以及识别准确率进行比较，以识别准确率更高的所述神经网络模型为目标，对另一个所述神经网络模型的参数进行优化，直至两个所述神经网络模型的识别准确率一致，再各自进行单独训练，并重复上述过程；
[0023]步骤S1
‑
5，两个所述神经网络模型通过所述交互模块构成特征共享网络，针对反差案例、失准案例或低准确率死循环案例，共享训练参数及特征输出。
[0024]本专利技术提供的双通路视频协同感知的行为姿态识别方法，还可以具有这样的技术特征，其中，所述神经网络模型的训练过程还包括以下步骤：
[0025]步骤S1
‑
6，基于所述数据集得到两个所述神经网络模型的识别准确率，并判断该识别准确率是否达到预定准确率；
[0026]步骤S1
‑
7，步骤S1
‑
6判断为是，将两个所述神经网络模型分别部署至两个所述感知单元进行应用；
[0027]步骤S1
‑
8，步骤S1
‑
6判断为否，将步骤S1
‑
5中案例的关键帧进行存储并构建长尾数据集，用于重新优化所述神经网络模型。
[0028]本专利技术提供的双通路视频协同感知的行为姿态识别方法，还可以具有这样的技术特征，还包括以下步骤：
[0029]步骤S5，判断所述神经网络模型的行为姿态识别结果是否理想；
[0030]步骤S6，步骤S5判断为否，将所述视频信息发送至后本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种双通路视频协同感知的行为姿态识别方法，其特征在于，包括以下步骤：步骤S1，构建双通路视频协同感知系统，包括设置在道路两侧的两个感知单元，每个所述感知单元包括：摄像头，用于拍摄该道路上行人姿态图像；边缘计算模块，包含神经网络模型，用于基于输入的所述行人姿态图像识别行人行为姿态；以及交互模块，至少用于与另一个所述感知单元进行交互，其中，两个所述摄像头有重叠视野区域；步骤S2，通过两个所述摄像头拍摄该道路，基于拍摄到的视频信息识别出该道路上的行人，并判断该行人是否在所述重叠视野区域；步骤S3，在步骤S2判断为否时，两个所述感知单元将所述视频信息共享，两个所述神经网络模型通过第二滚动时域博弈优化算法进行该视频信息中的行人行为姿态识别，其中，所述第二滚动时域博弈优化算法为：当仅有一个所述感知单元拍摄到行人时，采用该感知单元的所述神经网络模型的识别结果；随时间推移，行人的空间位置发生变化，能够拍摄到行人的所述感知单元相应变化，当能够拍摄到行人的所述感知单元仍为一个时，采用该感知单元的所述神经网络模型的识别结果；步骤S4，在步骤S2判断为是时，两个所述神经网络模型将过程特征输出及权重参数共享，两个所述神经网络模型均对行人的动作属于各动作类别的可能性进行预测并打分，采用两组预测中打分最高的动作类别作为识别结果。2.根据权利要求1所述的双通路视频协同感知的行为姿态识别方法，其特征在于：其中，所述神经网络模型包括：基于MobileNet的轻量级姿态识别网络，以经过预处理的一侧的所述摄像头拍摄的视频作为输入，输出为各行人的连续多帧的行人骨骼点位置热图；以及基于3D
‑
CNN的动作识别网络，所述交互模块对所述行人骨骼点位置热图中的缺失关节点位置进行填充，以填充结果作为该动作识别网络的输入，输出为各行人的动作类别。3.根据权利要求2所述的双通路视频协同感知的行为姿态识别方法，其特征在于：其中，所述轻量级姿态识别网络作为第一阶段，所述动作识别网络作为第二阶段，所述交互模块分别记录两个所述神经网络模型第一阶段输出的行人各个骨骼点的位置、相对位置以及位置变化特征，在行人在所述重叠视野区域时，若其中一个所述感知单元的视野内行人的骨骼点被遮挡，则利用另一个所述感知单元获取的行人运动特征信息对被遮挡的骨骼点位置进行推断填充。4.根据权利要求1所述的双通路视频协同感知的行为姿态识别方法，其特征在于：其中，所述感知单元设置在智慧灯杆上，步骤S2包括以下子步骤：步骤S2
‑
1，利用预定的目标识别算法识别出所述视频信息中的行人；步骤S2
‑
2，利用所述智慧灯杆自身的地理位置信息以及该智慧灯杆处的所述摄像头拍摄到的视频信息进行时空定位；
步骤...

【专利技术属性】
技术研发人员：朱忠攀，张润泽，何斌，李刚，王志鹏，周艳敏，陆萍，
申请(专利权)人：同济大学，
类型：发明
国别省市：