一种基于双流卷积神经网络的人群分布预测方法及其系统技术方案

本发明专利技术涉及一种基于双流卷积神经网络的人群分布预测方法及其系统。该方法包括：对从视频中提取的待训练图像序列进行数据预处理，归一化图像序列及其对应的人群密度图序列；设计双流卷积神经网络结构，包括F2D‑Net子网络、D2D‑Net子网络、融合模块；使用归一化图像序列中的最后两张图像计算光流，将光流映射到最后一张归一化图像对应的人群密度图作为光流法预测的密度图，并将其与两个子网络预测的特征通过融合模块融合的特征图进行融合，生成未来的人群分布密度图；对所设计网络设计损失函数，使用所设计网络训练人群分布预测模型；利用训练好的人群分布预测模型预测未来的人群分布密度图并估计人群数量。本发明专利技术可以预测未来的人群分布、估计未来人群数量。

【技术实现步骤摘要】
一种基于双流卷积神经网络的人群分布预测方法及其系统
本专利技术涉及图像和视频处理以及计算机视觉领域，特别涉及一种基于双流卷积神经网络的人群分布预测方法及其系统。
技术介绍
近年来，基于视觉的人群密度分析由于其在现实世界中的实际应用而得到了广泛的研究，例如：人群管理、交通控制、城市规划和安保等。最近的研究主要集中在人群计数、多目标跟踪、运动模式分析、群体属性学习和行人路径预测等方面。现实世界中，为了管理人群行为，预测人群的运动状态是极为重要的，这可以防止过度密集的人群带来的不可控制的危险，如人群拥挤可能导致的摔倒、踩踏、死亡。人群计数在过去几年被深入研究，其目的是计算人数和估计人群在图像中的空间分布，当前人群计数算法主要分为：基于目标检测的方法、基于回归的方法、基于密度图的方法。基于目标检测的方法随着人群密度的提升，人与人之间的遮挡越来越严重，检测效果将会下降，性能深受低分辨率和图像严重遮挡等因素的限制。基于回归的方法，直接回归可以给出人群数量的估计值，但无法对人群的整体分布进行预测。基于密度图的方法则可以预测人群的分布密度图并给出人群计数值，不仅具有基于直接回归方法的优点，同时也保持了位置信息，性能不会受到稀疏或密集场景的严重影响。轨迹预测是另一个相关的研究课题，目标是学习在复杂社会交互下人类行为的轨迹。在此类方法中，重点关注人与人的交互，要求输入人群个体的位置信息，并且大多是在低密度或者中密度的人群运动中进行估计。视频帧预测在深度学习和生成对抗网络的基础下也取得了很大进展，该技术可使用给定的连续的视频帧序列进行训练，网络可以学习场景中的规律，推断未来的场景，可以预测下一帧图像，此类方法目前主要适用于短暂时间内的动作视频序列预测。现有的人群运动分析研究工作，要么观察人群过去或者当前的状态，要么预测在一个稀疏的人群的场景中的个体轨迹，且需要已知人群中个体的历史轨迹。然而，由于大规模人群存在个体定位困难等难点，这些方法很难在高度密集的人群场景下提前做出预测以做出未来是否存在危险的判断并发出警告。对于人群场景而言，每隔数秒人群分布都将发生明显的变化。因此，采用大间隔采样输入帧可以利用帧与帧之间的显著变化观察到更多的人群动态变化，并为人群分布预测提供更充分的上下文信息，也使得本文提出的问题具有更大难度。本文提出一种基于双流卷积神经网络的人群分布预测方法，与之前的人群计数任务相比，大部分人群计数模型的目标是针对单张图像，统计观测到的场景中所有个体的数量，本文通过提出的双流卷积神经网络，对给定从人群视频中进行稀疏等间隔采样得到的视频帧序列，并在该人群视频没有提供任何个人确切位置和身份信息的情况下能够学习视频中潜在的人群运动动态，以预测稀疏或密集的人群场景下未来的人群分布情况、估计未来的人群数量。对此问题的研究将有益于与人群行为理解和公共场所安防预警等相关应用。
技术实现思路
本专利技术的目的在于提供一种基于双流卷积神经网络的人群分布预测方法及其系统，可预测未来的人群分布情况、估计人群数量。为实现上述目的，本专利技术的技术方案是：一种基于双流卷积神经网络的人群分布预测方法，包括以下步骤：步骤S1、对从视频中提取的待训练图像序列进行数据预处理，首先将图像序列中的所有图像变换大小，然后对变换大小后的所有图像进行数据归一化处理，最后生成图像序列中每张图像对应的人群密度图；步骤S2、设计双流卷积神经网络结构，分别针对归一化的图像序列、图像序列对应的人群密度图序列构造F2D-Net子网络、D2D-Net子网络，并通过融合模块对两个子网络的输出进行融合；步骤S3、使用归一化图像序列中的最后两张图像计算光流，并将光流映射到图像序列中的最后一张归一化图像对应的人群密度图作为光流法预测的密度图，将该密度图与F2D-Net子网络、D2D-Net子网络预测的特征通过融合模块融合的特征图进行融合，生成未来的人群分布密度图；步骤S4、结合均方误差和结构相似性误差对双流卷积神经网络设计损失函数，使用所设计的双流卷积神经网络训练人群分布预测模型；步骤S5、对待测图像序列进行数据预处理，利用训练好的人群分布预测模型预测未来的人群分布密度图并估计人群数量。在本专利技术一实施例中，所述步骤S1具体实现步骤如下：步骤S11、对从视频中提取的间隔为Δt的图像序列I中所有图像使用线性插值的方法变换到N×N大小；步骤S12、对变换大小后的图像进行数据归一化预处理，给定在t时刻的变换图像It(h，w)，计算归一化图像的公式如下：其中，(h，w)表示像素的位置；步骤S13、生成图像序列中每张图像对应的人群密度图，若在图像中的像素点xp上存在标记的人头，则可以使用冲激函数对其描述为δ(x-xp)，对于图像中标记的Q个人头可以表示为如下式：其中，x为图像的任意像素点，H(x)为图像的人头标记的真实标签；那么，在t时刻的真实密度图Dt可以通过对H(x)使用几何自适应高斯核滤波器进行卷积操作，最终生成的人群密度图Dt可以表示为：其中，*为卷积计算，i为图像中的第i个人头，σi用来控制第i个人头的高斯核能量分布，为第i个人头与k个近邻人头距离的平均值，为第i个人头与第j个近邻人头的距离，β设置为0.1，k设置为3。在本专利技术一实施例中，所述步骤S2具体实现步骤如下：步骤S21、设计一种双流卷积神经网络结构用于训练人群分布预测模型，该网络结构包括F2D-Net子网络、D2D-Net子网络和融合模块；步骤S22、F2D-Net子网络前半部分由4个3DInception模块完成对归一化图像序列在时间维度、空间维度上的特征提取，其中前3个3DInception模块后面伴随最大池化层以完成下采样；后半部分由3个3D卷积层+3D反卷积层构成，对网络前半部分提取的特征进行上采样，生成和输入的归一化图像相同大小的特征图；该F2D-Net子网络的输入为预处理后的t到t+(N-1)Δt时刻的有序图像序列步骤S23、D2D-Net子网络使用3DU-Net结构，以提升网络从密度图序列中在空间维度、时间维度上提取人群分布特征的能力，该D2D-Net子网络的输入为图像序列对应时刻的真实密度图序列D＝Dt，Dt+Δt，...，Dt+(N-1)Δt；步骤S24、融合模块由通道注意力机制模块、空间注意力机制模块构成，将F2D-Net子网络、D2D-Net子网络的输出在通道维度上拼接之后，分别经由通道注意力机制模块、空间注意力机制模块处理，以加强网络在时空上的特征提取能力。在本专利技术一实施例中，所述步骤S3具体实现步骤如下：步骤S31、使用图像序列中的最后两张图像计算光流，其中前一张图像的像素点(x，y)在后一张图像的像素点中的最佳匹配点为(x′，y′)，则该点的光流为：F＝(u，v)＝(x′-x，y′-y)其中，u和u分别代表像素点(x，y)发生水平位移和垂直位移的变化率；步骤S32、将光流F映射到图像序列中本文档来自技高网...

【技术保护点】
1.一种基于双流卷积神经网络的人群分布预测方法，其特征在于，包括以下步骤：/n步骤S1、对从视频中提取的待训练图像序列进行数据预处理，首先将图像序列中的所有图像变换大小，然后对变换大小后的所有图像进行数据归一化处理，最后生成图像序列中每张图像对应的人群密度图；/n步骤S2、设计双流卷积神经网络结构，分别针对归一化的图像序列、图像序列对应的人群密度图序列构造F2D-Net子网络、D2D-Net子网络，并通过融合模块对两个子网络的输出进行融合；/n步骤S3、使用归一化图像序列中的最后两张图像计算光流，并将光流映射到图像序列中的最后一张归一化图像对应的人群密度图作为光流法预测的密度图，将该密度图与F2D-Net子网络、D2D-Net子网络预测的特征通过融合模块融合的特征图进行融合，生成未来的人群分布密度图；/n步骤S4、结合均方误差和结构相似性误差对双流卷积神经网络设计损失函数，使用所设计的双流卷积神经网络训练人群分布预测模型；/n步骤S5、对待测图像序列进行数据预处理，利用训练好的人群分布预测模型预测未来的人群分布密度图并估计人群数量。/n

【技术特征摘要】
1.一种基于双流卷积神经网络的人群分布预测方法，其特征在于，包括以下步骤：
步骤S1、对从视频中提取的待训练图像序列进行数据预处理，首先将图像序列中的所有图像变换大小，然后对变换大小后的所有图像进行数据归一化处理，最后生成图像序列中每张图像对应的人群密度图；
步骤S2、设计双流卷积神经网络结构，分别针对归一化的图像序列、图像序列对应的人群密度图序列构造F2D-Net子网络、D2D-Net子网络，并通过融合模块对两个子网络的输出进行融合；
步骤S3、使用归一化图像序列中的最后两张图像计算光流，并将光流映射到图像序列中的最后一张归一化图像对应的人群密度图作为光流法预测的密度图，将该密度图与F2D-Net子网络、D2D-Net子网络预测的特征通过融合模块融合的特征图进行融合，生成未来的人群分布密度图；
步骤S4、结合均方误差和结构相似性误差对双流卷积神经网络设计损失函数，使用所设计的双流卷积神经网络训练人群分布预测模型；
步骤S5、对待测图像序列进行数据预处理，利用训练好的人群分布预测模型预测未来的人群分布密度图并估计人群数量。


2.根据权利要求1所述的一种基于双流卷积神经网络的人群分布预测方法，其特征在于，所述步骤S1具体实现步骤如下：
步骤S11、对从视频中提取的间隔为Δt的图像序列I中所有图像使用线性插值的方法变换到N×N大小；
步骤S12、对变换大小后的图像进行数据归一化预处理，给定在t时刻的变换图像It(h,w)，计算归一化图像的公式如下：



其中，(h,w)表示像素的位置；
步骤S13、生成图像序列中每张图像对应的人群密度图，若在图像中的像素点xp上存在标记的人头，则可以使用冲激函数对其描述为δ(x-xp)，对于图像中标记的Q个人头可以表示为如下式：



其中，x为图像的任意像素点，H(x)为图像的人头标记的真实标签；那么，在t时刻的真实密度图Dt可以通过对H(x)使用几何自适应高斯核滤波器进行卷积操作，最终生成的人群密度图Dt可以表示为：









其中，*为卷积计算，i为图像中的第i个人头，σi用来控制第i个人头的高斯核能量分布，为第i个人头与k个近邻人头距离的平均值，为第i个人头与第j个近邻人头的距离，β设置为0.1，k设置为3。


3.根据权利要求1所述的一种基于双流卷积神经网络的人群分布预测方法，其特征在于，所述步骤S2具体实现步骤如下：
步骤S21、设计一种双流卷积神经网络结构用于训练人群分布预测模型，该网络结构包括F2D-Net子网络、D2D-Net子网络和融合模块；
步骤S22、F2D-Net子网络前半部分由4个3DInception模块完成对归一化图像序列在时间维度、空间维度上的特征提取，其中前3个3DInception模块后面伴随最大池化层以完成下采样；后半部分由3个3D卷积层+3D反卷积层构成，对网络前半部分提取的特征进行上采样，生成和输入的归一化图像相同大小的特征图；该F2D-Net子网络的输入为预处理后的t到t+(N-1)Δt时刻的有序图像序列
步骤S23、D2D-Net子网络使用3DU-Net结构，以提升网络从密度图序列中在空间维度、时间维度上提取人群分布特征的能力，该D2D-Net子网络的输入为图像序列对...

【专利技术属性】
技术研发人员：牛玉贞，施伟峰，刘文犀，
申请(专利权)人：福州大学，
类型：发明
国别省市：福建;35