基于顶视角相机的行人跨镜定位方法、系统以及介质技术方案

本发明专利技术涉及一种基于顶视角相机的行人跨镜定位方法、系统以及介质，其中，所述方法包括：获取目标区域内的每一相机的原始图像；在所述原始图像中检测到人的头部所在位置，并依据所述头部所在位置回归得到足部所在位置；将每一所述原始图像中的所述足部所在位置映射到对应相机所预设的矫正图的对应位置；将所述矫正图上的足部对应位置映射到预先基于目标区域构建的局域地图的对应位置，进而在所述局部地图上实现对行人的定位。其中，所述局域地图为将每一相机的所述矫正图通过拼接得到。本发明专利技术通过预先设置的矫正图和局部地图实现了一种快速且准确的跨境定位以及后续的行人追踪，其准确率与识别速率均要优于现有方案，具备一定实际推广意义。备一定实际推广意义。备一定实际推广意义。

【技术实现步骤摘要】
基于顶视角相机的行人跨镜定位方法、系统以及介质


[0001]本专利技术涉及图像处理
，尤其涉及一种基于顶视角相机的行人跨镜定位方法、系统以及介质。

技术介绍

[0002]随着模式识别技术、视频分析处理技术的发展，人们对日常活动场合的安全性的需求日益强烈，智能视频监控系统已广泛应用于安防领域，为人们的财产、生命安全提供保障。基于视频序列的行人轨迹追踪是智能视频监控系统中的重要组成部分，并被应用于商场、停车场、银行、展览会、火车站等重要室内场所。
[0003]2017年以来，单镜头下的行人追踪技术在学术界取得不错的发展，MOT(Multiple Object Tracking Benchmark)基准每年都会被新算法刷新，但是精度远未达到落地标准(比如90％～95％)。以MOT20数据为例，当前最好的算法准确率只有77.1％。
[0004]而对跨镜追踪的研究，业界常用的方法是在单镜头追踪的基础上融入ReID(行人重识别)技术，来完成不同相机间对同一目标的匹配。虽然ReID技术在公开数据(例如Market1501)上达到了90％以上的Top1准确率，但是在实际安防相机画面中，面对“光照变化”、“行人遮挡”、“穿着相似”等问题，ReID的Top1准确率大幅下降，加上行人频繁跨镜带来的误差累积，使得整个跨镜追踪系统准确率低于60％，无法达到商用水准。

技术实现思路

[0005](一)要解决的技术问题
[0006]鉴于现有技术的上述缺点、不足，本专利技术提供一种基于顶视角相机的行人跨镜定位方法、系统以及介质，其解决了现有跨境定位技术的准确率低且识别速度慢的技术问题。
[0007](二)技术方案
[0008]为了达到上述目的，本专利技术采用的主要技术方案包括：
[0009]第一方面，本专利技术实施例提供一种基于顶视角相机的行人跨镜定位方法，包括：
[0010]获取目标区域内的每一相机的原始图像；
[0011]在所述原始图像中检测到人的头部所在位置，并依据所述头部所在位置回归得到足部所在位置；
[0012]将每一所述原始图像中的所述足部所在位置映射到对应相机所预设的矫正图的对应位置；
[0013]将所述矫正图上的足部对应位置映射到预先基于目标区域构建的局域地图的对应位置，进而在所述局部地图上实现对行人的定位；
[0014]其中，所述局域地图为将每一相机的所述矫正图通过拼接得到。
[0015]可选地，获取目标区域内的每一相机的原始图像之前，还包括：
[0016]在对设置于预设的目标区域的若干相机标定之后，得到相机的内参矩阵和外参矩阵；
[0017]依据相机的内参矩阵和外参矩阵计算得到用于矫正的重映射矩阵；
[0018]基于所述重映射矩阵对每一相机所拍摄的图像进行畸变矫正，得到每一相机的矫正图；
[0019]通过对每两个相邻相机的矫正图进行特征点匹配得到拼接参数；
[0020]依据所述拼接参数将每一相机所拍摄的图像进行图像拼接，得到局域地图。
[0021]可选地，在对设置于预设的目标区域的若干相机标定之后，得到相机的内参矩阵和外参矩阵包括：
[0022]获取针对预先设置于目标区域的棋盘网格所拍摄的图像；
[0023]对所拍摄的图像中的棋盘网格定点进行角点检测，得到若干呈二维图像坐标的角点坐标；
[0024]基于所拍摄的图像的角点坐标，计算得到每一相机的内参矩阵和外参矩阵；
[0025]以及，依据所述拼接参数将每一相机所拍摄的图像进行图像拼接，得到局域地图包括：
[0026]依据每两个相邻相机之间的所述拼接参数中的透视变换矩阵并结合矩阵累乘，得到每一相机到指定相机的透视变换矩阵；
[0027]基于所述每一相机到指定相机的透视变换矩阵对所述每一相机的矫正图进行透视变换，再进行拼接得到局部地图；
[0028]其中，每一相机的内参矩阵K和外参矩阵R，满足如下公式：
[0029][0030]式中，C0......C
53
分别为每一角点在三维相机坐标系中的默认坐标，P0......P
53
为每一角点呈二维图像坐标的角点坐标；
[0031]所述重映射矩阵为：
[0032][0033][0034]式中，u，v是变换后的像素坐标，x，y是与u，v分别对应的像素坐标，K为内参矩阵，R为外参矩阵；
[0035]所述拼接参数包括如下透视变换矩阵：
[0036][0037][0038]其中，a
i
和b
i
分别为相邻的相机A和相机B的N组匹配点，H
A
→
B
为，i＝0,1,2,
…
N
‑
1。
[0039]可选地，在所述原始图像中检测到人的头部所在位置，并依据所述头部所在位置回归得到足部所在位置包括：
[0040]通过预先训练好的Yolov5模型对所述原始图像中人的头部中心点坐标进行检测；
[0041]依据所述原始图像中的头部中心点坐标结合回归方程，计算得到对应的足部中心点坐标；
[0042]其中，
[0043]所述预先训练好的Yolov5模型经量化压缩部署在指定硬件平台上；
[0044]所述回归方程为：
[0045][0046]其中，foot
i
为第i个足部中心点坐标，head
i
为头部中心点坐标；i＝0,1,2,...N
‑
1,M为拟合度数，默认为5；W和H分别为鱼眼图的宽和高；a
k
(k＝0,1,2,...M)为通过联立N个回归方程并通过最小二乘法求解的最优参数。
[0047]可选地，将每一所述原始图像中的所述足部所在位置映射到对应相机所预设的矫正图的对应位置包括：
[0048]基于所述重映射矩阵，通过求取每一所述原始图像的每一组坐标(x，y)所对应矫正图中坐标(u，v)，得到w*h个二维数组；
[0049]针对每一所述原始图像的任意一组坐标(x0，y0)，通过最近邻算法找到w*h个二维数组中离(x0，y0)最近的点作为任意一组坐标(x0，y0)所对应矫正图中的点；
[0050]其中，w和h分别是矫正图的宽和高。
[0051]可选地，将所述矫正图上的足部对应位置映射到预先基于目标区域构建的局域地图的对应位置，进而在所述局部地图上实现对行人的定位包括：
[0052]基于每一相机到指定相机的透视变换矩阵，将所述矫正图上的足部对应位置映射到所述局域地图的对应位置，并基于所述局部地图对行人进行定位。
[0053]可选地，基于所述局部地图对行人进行定位之后，还包括：通过预设多目标最终算法，依据所述局部地图上的足部对应位置对行人进行跨境头的轨迹追踪。
[0054]可选地，每一相机在预设的目标区域的布局满足如下条件：
[005本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于顶视角相机的行人跨镜定位方法，其特征在于，包括：获取目标区域内的每一相机的原始图像；在所述原始图像中检测到人的头部所在位置，并依据所述头部所在位置回归得到足部所在位置；将每一所述原始图像中的所述足部所在位置映射到对应相机所预设的矫正图的对应位置；将所述矫正图上的足部对应位置映射到预先基于目标区域构建的局域地图的对应位置，进而在所述局部地图上实现对行人的定位；其中，所述局域地图为将每一相机的所述矫正图通过拼接得到。2.如权利要求1所述的一种基于顶视角相机的行人跨镜定位方法，其特征在于，获取目标区域内的每一相机的原始图像之前，还包括：在对设置于预设的目标区域的若干相机标定之后，得到相机的内参矩阵和外参矩阵；依据相机的内参矩阵和外参矩阵计算得到用于矫正的重映射矩阵；基于所述重映射矩阵对每一相机所拍摄的图像进行畸变矫正，得到每一相机的矫正图；通过对每两个相邻相机的矫正图进行特征点匹配得到拼接参数；依据所述拼接参数将每一相机所拍摄的图像进行图像拼接，得到局域地图。3.如权利要求2所述的一种基于顶视角相机的行人跨镜定位方法，其特征在于，在对设置于预设的目标区域的若干相机标定之后，得到相机的内参矩阵和外参矩阵包括：获取针对预先设置于目标区域的棋盘网格所拍摄的图像；对所拍摄的图像中的棋盘网格定点进行角点检测，得到若干呈二维图像坐标的角点坐标；基于所拍摄的图像的角点坐标，计算得到每一相机的内参矩阵和外参矩阵；以及，依据所述拼接参数将每一相机所拍摄的图像进行图像拼接，得到局域地图包括：依据每两个相邻相机之间的所述拼接参数中的透视变换矩阵并结合矩阵累乘，得到每一相机到指定相机的透视变换矩阵；基于所述每一相机到指定相机的透视变换矩阵对所述每一相机的矫正图进行透视变换，再进行拼接得到局部地图；其中，每一相机的内参矩阵K和外参矩阵R，满足如下公式：式中，C0......C
53
分别为每一角点在三维相机坐标系中的默认坐标，P0......P
53
为每一角点呈二维图像坐标的角点坐标；所述重映射矩阵为：
式中，u，v是变换后的像素坐标，x，y是与u，v分别对应的像素坐标，K为内参矩阵，R为外参矩阵；所述拼接参数包括：透视变换矩阵H
A
→
B
，透视变换矩阵H
A
→
B
满足：满足：其中，a
i
和b
i
分别为相邻的相机A和相机B的N组匹配点，H
A
→
B
为，i＝0,1,2,
…
N
‑
1。4.如权利要求3所述的一种基于顶视角相机的行人跨镜定位方法，其特征在于，在所述原始图像中检测到人的头部所在位置，并依据所述头部所在位置回归得到足部所在位置包括：通过预先训练好的Yolov5模型对所述原始图像中人的头部中心点坐标进行检测；依据所述原始图像中的头部...

【专利技术属性】
技术研发人员：汝骏仁，郭长柱，郭星，
申请(专利权)人：江苏范特科技有限公司，
类型：发明
国别省市：