【技术实现步骤摘要】
本专利技术涉及深度学习，特别是涉及一种基于多模态对比学习的人流密度检测方法和一种基于多模态对比学习的人流密度检测装置。
技术介绍
1、在现代城市中，地铁作为主要的交通工具，人员密度的检测对于确保乘客的安全、提升运行效率以及保障乘坐舒适度具有关键意义。
2、然而，目前的人员密度检测方法在面对拥挤的地铁环境时存在多个挑战，包括准确性不足、实时性差以及适应性不强。传统基于传感器的监测方法容易受到人员分布不均和遮挡等因素的影响，从而降低了监测结果的准确性。
3、近年来，深度学习技术的迅速发展为解决地铁人员密度监测问题带来了新的可能性。研究人员已经开始尝试使用深度学习技术，如使用卷积神经网络(convolutionalneural networks，cnn)和递归神经网络(recursive neural network，rnn)来估计人群密度。这些方法通过自动提取图像中的人体特征并应用回归模型进行密度预测，在一定程度上提高了监测的准确性和实时性。
4、然而，现有技术在实际应用中仍存在一些问题。首先，现有方法的适应性受限，地铁车厢内的环境多变，光照和人员分布的不均可能影响现有方法的准确性。其次，部分深度学习方法可能需要大量的计算资源，从而限制了处理速度，难以实现实时监测。此外，有效的数据融合在现有方法中尚未得到充分应用，单一数据源难以提供足够信息来准确估计人员密度。
技术实现思路
1、针对现有技术中的缺陷，本专利技术实施例提供了一种基于多模态对比学习的人流
2、第一方面，本专利技术实施例提供一种基于多模态对比学习的人流密度检测方法，包括：
3、获取多个模态的采集数据；
4、分别对所述多个模态的采集数据进行数据预处理，确定多个模态的对齐数据；
5、对每个模态的对齐数据进行特征提取，确定每个模态的模态特征；
6、将同一时间戳的多个模态的模态特征进行特征融合，确定所述时间戳对应的交叉注意力特征；
7、基于自适应卷积神经网络和自监督对比学习算法对所述交叉注意力特征进行优化，确定优化注意力特征；
8、基于全卷积网络，将所述优化注意力特征映射成人流密度图。
9、如上述方法，可选地，所述对每个模态的对齐数据进行特征提取，确定每个模态的模态特征，包括：
10、将每个模态的对齐数据输入到卷积神经网络中，确定每个模态的空间特征；
11、将每个模态的空间特征输入到对应模态的自编码器中，确定每个模态的模态特征。
12、如上述方法，可选地，所述自编码器过下述方式确定：
13、获取多个模态样本数据；
14、将每个模态的样本数据输入到所述卷积神经网络中，确定每个模态的样本特征；
15、基于前馈神经网络构建每个模态对应的特征编码器和特征解码器；
16、将每个模态对应的样本特征输入到对应的特征编码器中，确定模态特征，并将所述模态特征输入到特征解码器中，确定解码数据；
17、基于所述样本特征和所述解码数据的均方误差损失，训练所述特征编码器的参数，直至所述均方误差损失满足第一预设条件为止；
18、将训练完成的特征编码器作为每个模态的自编码器。
19、如上述方法，可选地，所述将同一时间戳的多个模态的模态特征进行特征融合，确定所述时间戳对应的交叉注意力特征，包括：
20、确定同一时间戳的每个模态对应的门控向量；
21、将每个模态的模态特征和门控向量按位相乘，并累加每个模态的按位相乘结果，确定所述时间戳对应的交叉注意力特征。
22、如上述方法，可选地，所述基于自适应卷积神经网络对所述交叉注意力特征进行优化，包括：
23、根据输入的交叉注意力特征，计算自适应卷积的参数；
24、根据预设函数映射关系，将所述参数转换为卷积核；
25、使用所述卷积核对输入的交叉注意力特征执行卷积操作，得到输出特征。
26、如上述方法，可选地，所述基于自监督对比学习算法对所述交叉注意力特征进行优化，包括：
27、从所述输出特征中随机选择一组正样本和负样本；其中，所述正样本包括第一输出特征和第二输出特征，所述第一输出特征和第二输出特征为相邻的输出特征，所述负样本为第三输出特征，所述第三输出特征与所述第一输出特征之间的距离大于预设阈值；
28、构建映射函数，通过所述映射函数确定正样本和负样本对应的优化特征；
29、基于所述优化特征构建对比学习损失函数；
30、训练所述映射函数，直至所述对比学习损失函数满足第二预设条件为止；
31、将所述输出特征输入到训练完成的映射函数中，确定优化注意力特征。
32、如上述方法，可选地，所述基于所述优化特征构建对比学习损失函数，包括：
33、根据公式(1)构建对比学习损失函数：
34、l＝ ||zi- zj|| 2+max(0,d-||zi- zk|| 2) 公式(1)
35、其中，l为对比学习损失函数，zi为所述第一输出特征对应的优化特征，zj为所述第二输出特征对应的优化特征，zk为所述第三输出特征对应的优化特征，d为正负样本间的容忍距离。
36、如上述方法，可选地，所述分别对所述多个模态的采集数据进行数据预处理，确定多个模态的对齐数据，包括：
37、以其中一个模态的采集数据的时间戳为准，对其他模态的采集数据进行校准；
38、基于所述一个模态的采集数据对校准后的数据进行对齐处理，确定多个模态的对齐数据。
39、如上述方法，可选地，所述根据全卷积网络，将所述优化注意力特征映射成人流密度图，包括：
40、通过全卷积网络逐像素分类的方式，将优化注意力特征映射为密度值，根据所述密度值，生成人流密度图。
41、如上述方法，可选地，还包括：
42、将实时视频流中的每一帧的视频图像与对应的人流密度图进行叠加，在所述实时视频图像中显示不同区域的人流密度分布。
43、第二方面，本专利技术实施例提供一种基于多模态对比学习的人流密度检测装置，包括：
44、获取模块，用于获取多个模态的采集数据；
45、预处理模块，用于分别对所述多个模态的采集数据进行数据预处理，确定多个模态的对齐数据；
46、特征提取模块，用于对每个模态的对齐数据进行特征提取，确定每个模态的模态特征；
47、特征融合模块，用于将同一时间戳的多个模态的模态特征进行特征融合，确定所述时间戳对应的交叉注意力特征；
48、优化模块，用于基于自适应卷积神经网络和自监督对比学习算法对所述交叉注意力特征进行优化，确定优化注意力特征；
49、映射模块，用于基于全卷积网络，将所述优化注意力本文档来自技高网...
【技术保护点】
1.一种基于多模态对比学习的人流密度检测方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述对每个模态的对齐数据进行特征提取，确定每个模态的模态特征，包括：
3.根据权利要求2所述的方法，其特征在于，所述自编码器过下述方式确定：
4.根据权利要求1所述的方法，其特征在于，所述将同一时间戳的多个模态的模态特征进行特征融合，确定所述时间戳对应的交叉注意力特征，包括：
5.根据权利要求1所述的方法，其特征在于，所述基于自适应卷积神经网络对所述交叉注意力特征进行优化，包括：
6.根据权利要求5所述的方法，其特征在于，所述基于自监督对比学习算法对所述交叉注意力特征进行优化，包括：
7.根据权利要求6所述的方法，其特征在于，所述基于所述优化特征构建对比学习损失函数，包括：
8.根据权利要求1所述的方法，其特征在于，所述分别对所述多个模态的采集数据进行数据预处理，确定多个模态的对齐数据，包括：
9.根据权利要求1所述的方法，其特征在于，所述根据全卷积网络，将所述优化注意力特征映射
10.根据权利要求1-9任一项所述的方法，其特征在于，还包括：
11.一种基于多模态对比学习的人流密度检测装置，其特征在于，包括：
12.一种电子设备，其特征在于，包括：
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至10任一项所述的方法。
...【技术特征摘要】
1.一种基于多模态对比学习的人流密度检测方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述对每个模态的对齐数据进行特征提取，确定每个模态的模态特征，包括：
3.根据权利要求2所述的方法，其特征在于，所述自编码器过下述方式确定：
4.根据权利要求1所述的方法，其特征在于，所述将同一时间戳的多个模态的模态特征进行特征融合，确定所述时间戳对应的交叉注意力特征，包括：
5.根据权利要求1所述的方法，其特征在于，所述基于自适应卷积神经网络对所述交叉注意力特征进行优化，包括：
6.根据权利要求5所述的方法，其特征在于，所述基于自监督对比学习算法对所述交叉注意力特征进行优化，包括：
7.根据权利要...
【专利技术属性】
技术研发人员：李辉，孙方，梁樑，方志伟，林飞，高翔，宣晶，宋继峰，张侃，石旭，李天宇，姚世严，郑剑飞，吕晓丰，
申请(专利权)人：北京轨道交通路网管理有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。