一种基于视觉感知网络深度学习的行人运动模拟方法技术

本发明专利技术公开了一种基于视觉感知网络深度学习的行人运动模拟方法，结合深度学习和强化学习，实现了行人运动模拟，该模型模拟人的视觉，以RGB图像作为输入，输出运动的速度和方向，能够有效地模拟不同场景中的行人流。相比于传统的以位置等坐标作为输入的运动模型，本申请方案以视觉图像作为输入，与真实的行人运动更加相似，能够有效地对两出口疏散场景中的行人运动和单向走廊行人流场景中的行人运动进行模拟，有效地增强了行人运动模型的伸缩性和鲁棒性。

【技术实现步骤摘要】
一种基于视觉感知网络深度学习的行人运动模拟方法
本专利技术属于计算机模拟仿真领域，特别是涉及一种基于视觉感知网络深度学习的行人运动模拟方法。
技术介绍
行人运动建模是模拟和预测行人运动的主要而有效的方法。现实世界中人群的踩踏事故经常发生，比如在地铁、校园教室等人群聚集区域，发生火灾、地震、恐怖袭击等情况时，人群极有可能产生拥挤、踩踏等事故，造成巨大的生命财产损失。因此，模拟和预测行人运动是很重要的。当局(即决策者、疏散管理者、安全规划师、研究人员)事先了解模拟环境中可能发生的情况，可以培训应急人员，以便对实际发生的事件做出成功的反应。行人运动模型从尺度上分为微观模型和宏观模型。宏观模型忽略个体间的差异，适用于大区域的人群研究；微观模型将人群中的每个行人单独表示，适于小区域的人群行为研究。微观人群模型主要分为连续型模型和离散型模型两种。其中连续性模型是指通过方程来求数值解模拟行人运动过程的模型，典型代表为社会力模型；而离散型模型是将空间划分为网格，行人按照规则转移到相邻的网格，进行离散运动,主要有元胞自动机模型、格子气模型等。但是传统的行人运动模型存在着一些问题。需要较为复杂的数学建模，并且个体差异等一些复杂的因素很难被考虑到,灵活性不强难以适应复杂环境。近年来，深度学习和计算机设备快速发展，在一系列领域取得了突破性的进展。强化学习与深度学习结合，在游戏行人、机器人、路径规划等领域取得了巨大的进展。在行人运动模拟领域，学者们基于深度学习和强化学习做了初步的研究。在行为演化规则中使用强化学习方法；提出基于强化学习的人群模拟框架；通过SARSA算法模拟人群，并与基于规则的行人进行比较，认为基于SARSA的行人更加逼真。但是传统的基于强化学习算法的行人运动建模，在伸缩性和鲁棒性方面有所不足，有待于结合深度学习方法，利用深度强化学习算法对人群行为建模进行进一步研究，对伸缩性和鲁棒性进行改进。
技术实现思路
为了解决上述问题，本专利技术利用深度学习和强化学习，提出一种基于视觉感知网络的深度强化学习行人运动模拟方法，实现行人运动的模拟仿真。本专利技术提供了一种基于视觉感知网络深度学习的行人运动模拟方法，包括以下步骤：S1.采集若干个行人的运动轨迹图像，基于所述行人的运动速度数据和运动方向数据，构建行人运动模型；S2.基于所述行人运动模型，通过模拟仿真三维环境，收集左眼感知图像和右眼感知图像，构建左眼感知网络模型和右眼感知网络模型，基于所述左眼感知网络模型和右眼感知网络模型，构建视觉感知孪生网络模型；S3.基于所述视觉感知孪生网络模型，依据奖励函数，对所述行人运动模型进行训练，模拟所述运动速度数据和运动方向数据，构建行人运动模拟模型，用于所述行人的运动模拟，实现所述仿真三维环境的真人运动模拟。优选地，所述S2包括，基于若干个时间步，收集所述行人运动模型的单个行人转移图像集，进行仿真三维环境模拟，通过模拟左眼和右眼的眼睛位置，收集所述左眼感知图像和右眼感知图像。优选地，所述左眼感知图像和右眼感知图像为RGB图像。优选地，所述视觉感知孪生网络模型，包括策略函数模型，用于模拟所述运动速度数据和运动方向数据；通过所述左眼感知网络模型和右眼感知网络模型构建所述策略函数模型。优选地，构建所述左眼感知网络模型和右眼感知网络模型，包括，构建信息提取模块、决策模块，其中，所述左眼感知网络模型和右眼感知网络模型，具有相同的权重和模型结构；所述信息提取模块用于提取所述左眼感知图像和右眼感知图像的运动信息；所述决策模块用于融合所述运动信息，通过跳线连接加速收敛，输出所述运动速度数据和运动方向数据。优选地，构建所述信息提取模块，包括，构建尺度注意力机制模块和空间注意力机制模块；所述尺度注意力机制模块，用于尺度权重的学习分配，所述信息提取模块通过所述尺度权重，获得所述运动信息的多尺度特征图块；所述空间注意力机制模块，用于空间位置权重的学习分配，所述信息提取模块通过所述空间位置权重，基于所述多尺度特征图块，获得空间特征图块；所述决策模块用于将所述空间特征图块进行融合，输出所述运动速度数据和运动方向数据。优选地，所述尺度注意力机制模块，包括，第一卷积层单元、第一池化层单元、第二卷积层单元、上采样单元、第一全局最大池化层单元、第一全局平均池化层单元、第三卷积层单元，第一级联单元，第二级联单元，第三级联单元，其中，所述第一全局最大池化层单元，包括若干第一全局最大池化层单元，所述第一全局平均池化层单元，包括若干第一全局平均池化层单元；所述尺度注意力机制模块的工作方法为：S61.1.将所述运动信息的RGB图像，通过所述第一卷积层单元，获得若干特征图像，在所述第一池化层单元对所述特征图像，进行池化分类，获得初始特征图像，其中，所述初始特征图像具有不同尺度信合和不同分辨率；S61.2.将所述目标特征图像输入第二卷积层单元，通过所述上采样单元对所述初始特征图像恢复到所述运动信息的目标特征图像；S61.3.将所述初始特征图像和所述目标特征图像，通过第一级联单元，得到多尺度特征图像；S61.4.将所述目标特征图像，基于所述第一全局最大池化层单元，通过所述第二级联单元，获得第一目标特征图块；将所述目标特征图像，基于所述第一全局平均池化层单元，通过所述第三并级联单元，获得第二目标特征图块，基于sigmoid函数，将所述第一目标特征图块和第二目标特征图块，通过所述第三卷积层单元，进行加和，得到尺度权重；S61.5.将所述多尺度特征图像与所述尺度进行点积，得到所述多尺度特征图块。优选地，所述空间注意力机制模块，包括，第二全局最大池化层单元、第二全局平均池化层单元，第四卷积层单元、第四级联单元、第五卷积层单元，其中，所述第二全局最大池化层单元，具有一个全局最大池化层，所述第二全局平均池化层单元，具有一个全局平均池化层；所述空间注意力机制模块的工作方法为：S62.1.将所述多尺度特征图块，分别输入到所述第二全局最大池化层单元、第二全局平均池化层单元，通过所述第四级联单元，得到初始空间特征图块；S62.2.将所述初始空间特征图块，输入到所述第四卷积层单元，基于sigmoid函数，进行归一化处理，得到空间特征权重；S62.3.将所述多尺度特征图块与所述空间特征权重，进行点积，通过所述第五卷积层单元，输出所述空间特征图块。优选地，所述决策模块，包括，第五级联单元、第六级联单元、第七级联单元、第八级联单元、第九级联单元、第六卷积层单元、第七卷积层单元、第八卷积层单元、第九卷积层单元、第一池化层单元、第一全连接层单元，其中，所述第六卷积层单元、第七卷积层单元、第八卷积层单元均包括三个卷积层，所述第九卷积层单元，包括一个卷积层；所述第一池化层单元，包括第一池化层，第二池化层，所述第一全连接层单元，包括第一全连接层，第二全连接层；所述决策模块的工作方法为：本文档来自技高网...

【技术保护点】
1.一种基于视觉感知网络深度学习的行人运动模拟方法，其特征在于，包括以下步骤：/nS1.采集若干个行人的运动轨迹图像，基于所述行人的运动速度数据和运动方向数据，构建行人运动模型；/nS2.基于所述行人运动模型，通过模拟仿真三维环境，收集左眼感知图像和右眼感知图像，构建左眼感知网络模型和右眼感知网络模型，基于所述左眼感知网络模型和右眼感知网络模型，构建视觉感知孪生网络模型；/nS3.基于所述视觉感知孪生网络模型，依据奖励函数，对所述行人运动模型进行训练，模拟所述运动速度数据和运动方向数据，构建行人运动模拟模型，用于所述行人的运动模拟，实现所述仿真三维环境的真人运动模拟。/n

【技术特征摘要】
1.一种基于视觉感知网络深度学习的行人运动模拟方法，其特征在于，包括以下步骤：
S1.采集若干个行人的运动轨迹图像，基于所述行人的运动速度数据和运动方向数据，构建行人运动模型；
S2.基于所述行人运动模型，通过模拟仿真三维环境，收集左眼感知图像和右眼感知图像，构建左眼感知网络模型和右眼感知网络模型，基于所述左眼感知网络模型和右眼感知网络模型，构建视觉感知孪生网络模型；
S3.基于所述视觉感知孪生网络模型，依据奖励函数，对所述行人运动模型进行训练，模拟所述运动速度数据和运动方向数据，构建行人运动模拟模型，用于所述行人的运动模拟，实现所述仿真三维环境的真人运动模拟。


2.如权利要求1所述一种基于视觉感知网络深度学习的行人运动模拟方法，其特征在于，
所述S2包括，基于若干个时间步，收集所述行人运动模型的单个行人转移图像集，进行仿真三维环境模拟，通过模拟左眼和右眼的眼睛位置，收集所述左眼感知图像和右眼感知图像。


3.如权利要求2所述一种基于视觉感知网络深度学习的行人运动模拟方法，其特征在于，
所述左眼感知图像和右眼感知图像为RGB图像。


4.如权利要求1所述一种基于视觉感知网络深度学习的行人运动模拟方法，其特征在于，
所述视觉感知孪生网络模型，包括策略函数模型，用于模拟所述运动速度数据和运动方向数据；
通过所述左眼感知网络模型和右眼感知网络模型构建所述策略函数模型。


5.如权利要求1所述的一种基于视觉感知网络深度学习的行人运动模拟方法，其特征在于，
所述左眼感知网络模型和右眼感知网络模型，包括，信息提取模块、决策模块，其中，所述左眼感知网络模型和右眼感知网络模型，具有相同的权重和模型结构；
所述信息提取模块用于提取所述左眼感知图像和右眼感知图像的运动信息；
所述决策模块用于融合所述运动信息，通过跳线连接加速收敛，输出所述运动速度数据和运动方向数据。


6.如权利要求5所述一种基于视觉感知网络深度学习的行人运动模拟方法，其特征在于，
所述信息提取模块，包括，尺度注意力机制模块和空间注意力机制模块；
所述尺度注意力机制模块，用于尺度权重的学习分配，所述信息提取模块通过所述尺度权重，获得所述运动信息的多尺度特征图块；
所述空间注意力机制模块，用于空间位置权重的学习分配，所述信息提取模块通过所述空间位置权重，基于所述多尺度特征图块，获得空间特征图块；
所述决策模块用于将所述空间特征图块进行融合，输出所述运动速度数据和运动方向数据。


7.如权利要求6所述一种基于视觉感知网络深度学习的行人运动模拟方法，其特征在于，
所述尺度注意力机制模块，包括，第一卷积层单元、第一池化层单元、第二卷积层单元、上采样单元、第一全局最大池化层单元、第一全局平均池化层单元、第三卷积层单元，第一级联单元，第二级联单元，第三级联单元，其中，所述第一全局最大池化层单元，包括若干第一全局最大池化层单元，所述第一全局平均池化层单元，包括若干第一全局平均池化层单元；
所述尺度注意力机制模块的工作方法为：
S61.1.将所述运动信息的RGB图像，通过所述第一卷积层单元，获得若干特征图像，在所述第一池化层单元对所述特征图像，进行池化分类，获得初始特征图像，其中，所述初始特征图像具有不同尺度信合和不同分辨率；
S61.2.将所述目标特征图像输入第二卷积层单元，通过所述上采样单元对所述初始特征图像恢复到所述运动信息的目标特征图像；
S61.3.将所述初始特征图像和所述目标特征图像，通过第一级联单元，得到多尺度特征图像；
S61.4.将所述目标特征图像，基于所述第一全局最大池化层单元，通过所述第二级联单元，获得第一目标特征图块；将所述目标特征图像，基于所...

【专利技术属性】
技术研发人员：龚建华，武栋，周洁萍，李文航，孙麇，
申请(专利权)人：中国科学院空天信息创新研究院，浙江中科空间信息技术应用研发中心，
类型：发明
国别省市：北京;11