跨线计数方法和深度神经网络训练方法、装置和电子设备制造方法及图纸

本发明专利技术实施例公开了一种跨线计数方法和深度神经网络训练方法、装置和电子设备，其中，跨线计数方法包括：向深度神经网络输入需要进行跨线计数的视频中与待分析时间段T对应的多个原始帧图像，由深度神经网络输出多个原始帧图像的人群计数图，人群计数图中包括每个位置的计数向量分别以多个原始帧图像中的各帧图像作为当前帧图像，针对视频中要进行跨线计数的感兴趣线LOI，根据当前帧图像的人群计数图，获取当前帧图像分别从至少一个方向通过LOI的人数；分别累积至少一个方向上多个原始帧图像通过LOI的人数，获得待分析时间段T内，LOI分别在至少一个方向上的单向跨线人数。本发明专利技术实施例可以应用于各种不同的场景，得跨线计数结果更加客观、准确。

【技术实现步骤摘要】

本专利技术涉及计算机视觉技术，尤其是一种跨线计数方法和深度神经网络训练方法、装置和电子设备。
技术介绍
视频中的人群自动计数技术在人群流量监控和公共安全等方面发挥着越来越重要的作用，尤其是跨线计数方法，可以帮助人们实时统计关键道路或进出口的人流量，进而给出一个区域内的人群总数的估计。当前主流的跨线计数方法都是基于时序切片图像(TemporalSlice)的方法。所谓的时序切片的方法是指将视频每帧提取的线上的像素向量(彩色图像是三通道向量)在时间维进行累积，形成一个时序切片的二维图像，然后直接利用人工标记的跨线人数作为监督信号，基于这一时序切片图像学习一个回归模型，估计时序切片图像中的人群数量，从而得到一定时段内的跨线人数。
技术实现思路
本专利技术实施例提供一种跨线计数的技术方案。根据本专利技术实施例的一个方面，提供的一种跨线计数方法，包括：向深度神经网络输入需要进行跨线计数的视频中与待分析时间段T对应的多个原始帧图像，由所述深度神经网络输出所述多个原始帧图像的人群计数图；所述人群计数图中包括帧图像中各位置的计数向量，所述计数向量用于表示所述多个原始帧图像中各帧图像与相邻的前帧图像之间在二维坐标平面的计数方向通过的人数；分别以所述多个原始帧图像中的各帧图像作为当前帧图像，针对视频中要进行跨线计数的感兴趣线LOI，根据当前帧图像的人群计数图，获取当前帧图像分别从至少一个计数方向通过所述LOI的人数；分别累积所述至少一个方向上所述多个原始帧图像通过所述LOI的人数，获得所述待分析时间段T内，所述LOI分别在所述至少一个方向上的单向跨线人数。基于上述跨线计数方法的另一实施例中，所述计数方向包括二维坐标平面的两个坐标方向。基于上述跨线计数方法的另一实施例中，所述获取当前帧图像分别从至少一个方向通过所述LOI的人数包括：获取当前帧图像分别从两个方向通过所述LOI的人数；所述分别累积所述至少一个方向上所述多个原始帧图像通过所述LOI的人数，获得所述待分析时间段T内，所述LOI分别在所述至少一个方向上的单向跨线人数包括:分别累积所述两个方向上所述多个原始帧图像通过所述LOI的人数，获得所述待分析时间段T内，所述LOI分别在所述两个方向上的单向跨线人数。基于上述跨线计数方法的另一实施例中，所述向深度神经网络输入需要进行跨线计数的视频中与待分析时间段T对应的多个原始帧图像之后，还包括：所述深度神经网络依次从所述视频中与待分析时间段T对应的多个原始帧图像中，顺序抽取至少两帧图像，以所述至少两帧图像中的后帧图像作为当前帧图像，生成当前帧图像的人群计数图。基于上述跨线计数方法的另一实施例中，所述生成当前帧图像的人群计数图包括：向所述深度神经网络输入所述多个原始帧图像，由所述深度神经网络中的卷积神经网络，生成当前帧图像的人群密度图和人群速度图；所述人群密度图用于表示当前帧图像中各位置的人群密度，所述人群速度图用于表示当前帧图像中各行人从相邻的前帧图像移动到当前帧图像的速度；向所述深度神经网络中的元素相乘网络输入所述当前帧图像的人群密度图和人群速度图，由所述元素相乘网络将当前帧图像的人群密度图和人群速度图在对应位置的元素相乘，获得所述当前帧图像的人群计数图。基于上述跨线计数方法的另一实施例中，获取当前帧图像分别从两个方向通过所述LOI的人数包括：分别将所述人群计数图中在所述LOI上各位置的计数向量在所述LOI的法线方向进行投影，获得所述LOI上各位置的标量值，所述标量值的正负表示所述LOI的两个跨线方向；分别对所述LOI上的正标量值和负标量值进行累加，获得当前帧图像在所述LOI上的两个方向分别通过的人数。基于上述跨线计数方法的另一实施例中，还包括：对所述LOI在所述两个方向上的单向跨线人数进行累加，获得所述待分析时间段T内，通过所述LOI的跨线总人数。根据本专利技术实施例的另一个方面，提供的一种深度神经网络训练方法，还包括：将样本视频的多个原始帧图像输入至初始深度神经网络，以所述多个原始帧图像预先标注的人群计数图作为监督信号，对所述初始深度神经网络进行迭代训练直至训练结果满足预设条件，获得最终的所述深度神经网络；所述初始深度神经网络包括初始卷积神经网络和初始元素相乘网络。基于上述深度神经网络训练方法的另一实施例中，所述多个原始帧图像分别被标注人群密度图和人群速度图、人群计数图；所述将样本视频的多个原始帧图像输入至初始深度神经网络，以所述多个原始帧图像预先标注的人群计数图作为监督信号，对所述初始深度神经网络进行迭代训练直至训练结果满足预设条件包括：分别以所述多个原始帧图像中的相邻两帧图像作为一个训练样本输入至所述初始卷积神经网络，以预先标注的人群密度图和人群速度图作为监督信号，对所述初始卷积神经网络进行迭代训练直至训练结果满足第一预设收敛条件，获得所述卷积神经网络；以及分别以所述多个原始帧图像中的相邻两帧图像作为一个训练样本输入所述初始深度神经网络，以预先标注的人群计数图作为监督信号，对所述初始深度神经网络进行迭代训练直至设定指标满足第二预设收敛条件，获得最终的所述深度神经网络。基于上述深度神经网络训练方法的另一实施例中，还包括：分别针对所述多个原始帧图像中的各帧图像进行行人定位，获得各帧图像中的行人位置并对各行人分别分配行人标识ID，其中，行人ID用于在所述视频中唯一标识一个行人；根据各帧图像中的行人位置，分别在所述各帧图像标定各行人的行人信息，所述行人信息包括行人位置与行人ID。基于上述深度神经网络训练方法的另一实施例中，还包括：预先针对所述样本视频的场景设置所述样本视频的几何透视图；所述几何透视图包括所述样本视频中不同位置的像素数与所述场景的真实物理尺寸之间的对应关系；分别以所述多个原始帧图像中的相邻两帧图像作为一个训练样本输入至所述初始卷积神经网络之后，还包括：所述初始卷积神经网络以当前训练样本中的后帧图像作为当前帧图像，根据所述各帧图像标定的行人信息与所述几何透视图，生成当前帧图像的人群密度图，以及根据当前训练样本的两帧图像中的行人信息与所述几何透视图，生成当前帧图像的人群速度图。基于上述深度神经网络训练方法的另一实施例中，所述生成当前帧图像的人群密度图包括：根据当前帧图像中的行人信息与所述几何透视图，分别获取当前帧图像中各位置的人群密度值；根据当前帧图像中各位置的人群密度值生成当前帧图像的人群密度图。基于上述深度神经网络训练方法的另一实施例中，所述生成当前帧图像的人群速度图包括：根据当前训练样本中当前帧图像中各行人在前帧图像和当前帧图像中的位置差、以及前帧图像和当前帧图像的对应的时刻差获取当前帧图像中各行人的移动速度；根据当前帧图像中各行人的移动速度和行人位置，获取当前帧图像中各位置的人群速度；根据当前帧图像中各位置的人群速度与所述几何透视图生成当前帧图像的人群速度图。基于上述深度神经网络训练方法的另一实施例中，所述训练结果满足第一预设收敛条件包括：针对所述多个原始帧图像，所述初始卷积神经网络输出的人群密度图和人群速度图与预先标注的人群密度图和人群速度图一致的图像的帧数与上述多个原始帧图像的帧数的比例达到第一预设阈值；和/或针对所述多个原始帧图像中的各帧图像，所述初始卷积神经网络输出的人群密度图与预先标注的人群密度图之间本文档来自技高网...

【技术保护点】
一种跨线计数方法，其特征在于，包括：向深度神经网络输入需要进行跨线计数的视频中与待分析时间段T对应的多个原始帧图像，由所述深度神经网络输出所述多个原始帧图像的人群计数图；所述人群计数图中包括帧图像中各位置的计数向量，所述计数向量用于表示所述多个原始帧图像中各帧图像与相邻的前帧图像之间在计数方向通过的人数；分别以所述多个原始帧图像中的各帧图像作为当前帧图像，针对视频中要进行跨线计数的感兴趣线LOI，根据当前帧图像的人群计数图，获取当前帧图像从至少一个方向通过所述LOI的人数；分别累积所述至少一个方向上所述多个原始帧图像通过所述LOI的人数，获得所述待分析时间段T内，所述LOI分别在所述至少一个方向上的单向跨线人数。

【技术特征摘要】
1.一种跨线计数方法，其特征在于，包括：向深度神经网络输入需要进行跨线计数的视频中与待分析时间段T对应的多个原始帧图像，由所述深度神经网络输出所述多个原始帧图像的人群计数图；所述人群计数图中包括帧图像中各位置的计数向量，所述计数向量用于表示所述多个原始帧图像中各帧图像与相邻的前帧图像之间在计数方向通过的人数；分别以所述多个原始帧图像中的各帧图像作为当前帧图像，针对视频中要进行跨线计数的感兴趣线LOI，根据当前帧图像的人群计数图，获取当前帧图像从至少一个方向通过所述LOI的人数；分别累积所述至少一个方向上所述多个原始帧图像通过所述LOI的人数，获得所述待分析时间段T内，所述LOI分别在所述至少一个方向上的单向跨线人数。2.根据权利要求1所述的方法，其特征在于，所述计数方向包括二维坐标平面的两个坐标方向。3.根据权利要求1或2所述的方法，其特征在于，所述获取当前帧图像分别从至少一个方向通过所述LOI的人数包括：获取当前帧图像分别从两个方向通过所述LOI的人数；所述分别累积所述至少一个方向上所述多个原始帧图像通过所述LOI的人数，获得所述待分析时间段T内，所述LOI分别在所述至少一个方向上的单向跨线人数包括:分别累积所述两个方向上所述多个原始帧图像通过所述LOI的人数，获得所述待分析时间段T内，所述LOI分别在所述两个方向上的单向跨线人数。4.根据权利要求1至3任意一项所述的方法，其特征在于，所述向深度神经网络输入需要进行跨线计数的视频中与待分析时间段T对应的多个原始帧图像之后，还包括：所述深度神经网络依次从所述视频中与待分析时间段T对应的多个原始帧图像中，顺序抽取至少两帧图像，以所述至少两帧图像中的后帧图像作为当前帧图像，生成当前帧图像的人群计数图。5.一种深度神经网络训练方法，其特征在于，还...

【专利技术属性】
技术研发人员：王晓刚，赵倬毅，李鸿升，赵瑞，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京;11