一种基于时空轨迹的公共空间社交距离测量和分析方法技术

本发明专利技术公开了一种基于时空轨迹的公共空间社交距离测量和分析方法。该方法基于时空轨迹，度量过程中不仅逐帧考虑了跟踪目标之间的欧式距离，而且考虑了时空轨迹之间的离散Fr

A measurement and analysis method of social distance in public space based on space-time trajectory

【技术实现步骤摘要】
一种基于时空轨迹的公共空间社交距离测量和分析方法


[0001]本专利技术涉及视觉社交距离技术，具体涉及一种基于时空轨迹的公共空间社交距离测量与分析方法，属于计算机视觉、智能监控领域。

技术介绍

[0002]近几年，随着数字化和智能城市建设的发展，从公共空间获取的视频数据呈爆炸性增长。与其他非视觉大数据相比，视频数据包含有关“人”的丰富的时空信息，是对非可视大数据的有力补充，具有不可替代的优势。利用视频数据研究分析人类轨迹可以更为精确地挖掘各种复杂场景中人类活动，而基于人类轨迹的分析方法在流行病学分析中也具有相当重要的意义。
[0003]利用视频数据研究分析行人的时空位置并对人际距离进行度量，该研究课题被称为视觉社交距离(Visual Social Distance，VSD)技术，是指依靠摄像机或者其他成像传感器来分析人们的近距离行为的方法。目前的视觉社交距离技术主要是基于检测实现的，即利用视频序列，逐帧对行人进行检测和校准，并在鸟瞰图平面逐帧度量所检测行人之间的欧式距离，以此测算行人之间的社交距离。基于检测的VSD方法是从静态和局部的角度来研究视觉社交距离问题的。

技术实现思路

[0004]本专利技术为解决上述问题提供了一种基于时空轨迹的公共空间社交距离测量和分析方法，该方法不仅逐帧度量了跟踪目标轨迹采样点之间的欧式距离，而且度量了跟踪目标时空轨迹之间的离散弗雷歇(Fr
é
chet)距离，从静态和动态、局部和整体的角度形成了一个综合VSD 解决方案。另外，该方法还提供了一套多尺度社交距离分析评估方案，在多种时间尺度下对公共空间中人群聚集情况进行分析评估。
[0005]本专利技术通过以下技术方案来实现上述目的：
[0006]一种基于时空轨迹的公共空间社交距离测量与分析方法，包括以下步骤：
[0007]步骤一：利用基于检测的在线实时多目标跟踪(Multi
‑
Object Tracking，MOT)算法对视频中的行人进行跟踪，获取行人的时空轨迹；
[0008]步骤二：计算视频的透视变换矩阵，将原始视频进行透视变换，校准到鸟瞰图平面下，并得到鸟瞰图中校准后的行人时空轨迹；
[0009]步骤三：在鸟瞰图中，度量校准后时空轨迹之间的距离，并以此测算真实场景中行人之间的社交距离；
[0010]步骤四：设计多尺度社交距离分析评估方案，在多种时间尺度下，对行人的社交距离和聚集情况进行分析评估。
[0011]作为步骤一中在线实时多目标跟踪算法，其说明如下：
[0012]利用检测器Faster
‑
RCNN先对视频进行逐帧检测，再利用Deep SORT在线多目标跟踪算法对视频进行在线多目标跟踪，获得跟踪行人的时空轨迹。
[0013]作为步骤二中对原始视频进行透视变换，得到鸟瞰图视角下平面中校准后的行人时空轨迹，其说明如下：
[0014]由于监控视频是从任意角度拍摄的，因此首先需要对视频进行透视变换(Perspective Transformation)，将其投影映射到鸟瞰图平面，这个过程也被称为视频的校准(Calibration)。由于校准是针对地平面进行的，因此针对每一帧图像，将行人边界矩形框(Bounding Box)底边的中心位置进行投影映射，作为在鸟瞰图中行人时空轨迹的采样点。透视变换公式如式(1) 所示：
[0015][0016]其中，(u,v)表示为原始图像每一帧中轨迹采样点的坐标，(u,v,1)为该点的齐次表达，(x,y,z) 为该点经透视变换后在鸟瞰图平面对应的齐次坐标，M为透视变换矩阵。将式(1)写为多项式形式，可得式(2)：
[0017][0018]则鸟瞰图平面中每一帧校准后的轨迹采样点坐标(x
′
,y
′
)如式(3)所示：
[0019][0020]为了进行校准，需要在真实拍摄场景的地面选择一块矩形参考区域。由于摄像机的任意拍摄角度，矩形参考区域在原始视频中显示不规则四边形。由于视频是由单个摄像机(单目摄像机)捕获的，因此校准方法是将原始视频中的不规则四边形投影映射到鸟瞰图，以重新形成与真实参考区域等比例的矩形。利用原始图像中四边形和鸟瞰图中矩形的四对对应的顶点坐标，通过式(1)可以计算出透视变换矩阵M。然后，再通过式(2)计算出每个轨迹采样点在鸟瞰图中的投影坐标。
[0021]作为步骤三中在鸟瞰图中对时空轨迹之间进行距离度量，以测算行人之间的社交距离，其说明如下：
[0022]对校准后的轨迹坐标添加时间信息t轴，并确参数化的时间信息不会回溯。在三维时空坐标系(x
′
,y
′
,t)中表示校准后的行人时空轨迹。并采用离散Fr
é
chet距离度量两两时空轨迹之间的距离。Fr
é
chet距离通过考虑位置和时间顺序来度量校准后时空坐标系S中每一对时空轨迹对P
′
和Q
′
之间的距离。Fr
é
chet距离定义如式(4)所示：
[0023][0024]其中，d是S中某种距离度量函数，此处采用欧式距离。P
′
(α(t))和Q
′
(β(t))分别代表P
′
和Q
′
在时间t时候的空间位置。α(t)和β(t)代表连续且非减的t的参数化表示。离散Fr
é
chet距离是连续Fr
é
chet距离的近似。首先，将两轨迹曲线P
′
和Q
′
进行离散化，得到一系列轨迹采样点，分别表示为σ(P
′
)＝P
′
(p
′1,
…
,p
′
p
)和σ(Q
′
)＝Q
′
(q
′1,
…
,q
′
q
)。而P
′
和Q
′
之间
的耦合L
′
则是由来自于σ(P
′
)和σ(Q
′
)的一系列采样点对构成，如式(5)所示：
[0025][0026]其中，a1＝1，b1＝1，a
m
＝p，b
m
＝q，并且对于i＝1,
…
,q，有a
i+1
＝a
i
或a
i+1
＝a
i
+1，b
i+1
＝b
i
或b
i+1
＝b
i
+1。L
′
的距离是L
′
中采样点对距离的最大值，如式(6)所示：
[0027][0028]其中，表示和之间的度量距离(欧式距离)。P
′
和Q
′
的离散Fr
é...

【技术保护点】

【技术特征摘要】
1.一种基于时空轨迹的公共空间社交距离测量和分析方法，其特征在于包括以下步骤：步骤一：采集制作“SCU
‑
VSD”行人数据集，利用基于检测的在线实时多目标跟踪(Multi
‑
Object Tracking，MOT)算法对视频中的行人进行跟踪，获取行人的时空轨迹；步骤二：计算视频的透视变换矩阵，将原始视频进行透视变换，校准到鸟瞰图平面下，并得到鸟瞰图中校准后的行人时空轨迹；步骤三：在鸟瞰图中，度量校准后时空轨迹之间的距离，并以此测算真实场景中行人之间的社交距离；步骤四：设计多尺度社交距离分析评估方案，在多种时间尺度下，对行人的社交距离和聚集情况进行分析评估。2.根据权利要求1所述的基于时空轨迹的公共空间社交距离测量和分析方法，其特征在于步骤三中基于时空轨迹的社交距离测量；一方面，从静态和局部的角度出发，利用欧式距离测量轨迹采样点对之间的距离，以得到每一时刻行人之间的社交距离；另一方面，从动态和整体角度出发，利用离散Fr
é
chet距离测量时空轨...

【专利技术属性】
技术研发人员：何小海，苏婕，卿粼波，牛通，吴小强，滕奇志，
申请(专利权)人：四川大学，
类型：发明
国别省市：