一种基于深度学习的立体视觉人际安全距离检测方法技术

本发明专利技术公开了一种基于深度学习的立体视觉人际安全距离检测方法，包括：基于平面棋盘靶标的双目视觉系统标定；利用双目相机采集场景图像；基于标定的相机参数，对采集的图像进行畸变校正和极线校正；将双目校正图像分别输入深度神经网络，进行人员目标检测，输出人员目标边框向量集；将左校正图像中的人员目标中心点作为参考点，在极线约束和边框约束下，在右校正图像中寻找匹配点，估计匹配点与参考点视差，计算参考点对应人员的三维坐标；根据人员三维坐标计算人际距离；通过大屏选框及语音提醒近距人员。本发明专利技术的人际距离检测方法自动化程度高、距离检测更准确、匹配计算复杂度低、检测实时性强。检测实时性强。检测实时性强。

【技术实现步骤摘要】
一种基于深度学习的立体视觉人际安全距离检测方法


[0001]本专利技术属于计算机视觉、深度学习、目标检测领域，尤其涉及一种基于深度 学习的立体视觉人际安全距离检测方法。

技术介绍

[0002]保持人际安全距离是疫情防控的重要手段之一。提高人际距离检测的自动 化、智能化对降低疫情防控人力成本并提升防控效率有着重要意义。在医院、银 行、车站、政府服务窗口等公共场所部署机器视觉系统，自动检测人际安全距离 具有新颖性和需求迫切性。
[0003]Naqiyuddin等人设计了一种可穿戴的人际距离检测系统，该系统由微控制 器、超声波传感器、LCD和蜂鸣器等构成，需要用户主动佩戴该装置，然后利 用超声波探测人际距离。Gad等人设计了基于视觉的人际距离检测系统，利用逆 透视模型将相机采集的视频变换为鸟瞰图，基于卡尔曼滤波器和速度模型跟踪并 估计人际距离，该方法不需要用户佩戴专用设备，但人员漏检概率大，且人际距 离估计误差大。Hou等人利用深度学习模型进行人际距离检测，提高了人员检测 的可靠性，但通过人员目标的像素距离估计人际距离，准确度不足；无独有偶， Bhambani等人也基于单目视觉系统和深度学习模型提出了口罩检测和人际距离 检测系统，同样存在深度距离估计准确度不及水平距离估计准确度的问题。现有 个别基于立体视觉的人际安全距离估计方法，存在立体匹配计算复杂度高，难以 满足实时性要求。
[0004]面向人际安全距离检测的机器视觉系统及方法的研究是新冠疫情以来出现 的新需求，尽管出现了一些解决方案，但仍存在系统不易部署、人员漏检、人际 距离计算不准确、算法难以达到实时性等诸多问题。基于机器视觉系统，设计高 可靠性、高实时性的人际安全距离检测方法具有实用价值。

技术实现思路

[0005]专利技术目的：本专利技术目的是提供一种基于深度学习的立体视觉人际安全距离检 测方法，可简化系统部署，提高人员检测和距离估计准确度和系统可靠性。
[0006]技术方案：本专利技术提供一种基于深度学习的立体视觉人际安全距离检测方 法，具体包括以下步骤：
[0007](1)基于平面棋盘靶标对双目视觉系统进行标定，并使用标定后双目视觉 系统的左相机C
L
和右相机C
R
分别采集人员聚集场景图像，分别记为I
left
和I
right
；
[0008](2)基于标定的相机参数，对采集的图像进行畸变校正和极线校正，得到 双目校正图像，其中，左校正图像记为右校正图像记为
[0009](3)将双目校正图像分别输入深度神经网络，进行人员目标检测，输出人 员目标边框向量集，分别记为：F
L
和F
R
；每个边框向量的格式为(x,y,w,h)，其 中，(x,y)表示人员目标边框左上角位置对应的像素坐标，w,h分别表示边框的宽 度和高度；
[0010](4)将左校正图像中的人员目标中心点作为参考点，在极线约束和边框约 束下，
对中检测到的每个人员目标中心点p，在中寻找立体匹配点p'， 计算中每个人员目标中心点p与匹配点p'的视差d，得到中心点p对应的人 员目标的三维坐标(X
p
,Y
p
,Z
p
)；
[0011](5)根据人员三维坐标计算人际距离；
[0012](6)根据设定的人际距离下限，对距离过近人员进行警示提醒。
[0013]进一步地，所述步骤(1)包括以下步骤：
[0014](11)用双目视觉系统的左相机C
L
和右相机C
R
同时采集已知尺寸的平面棋 盘靶标图像，从3个角度拍摄平面棋盘靶标，得到3对平面棋盘靶标图像(分别 记为：)；
[0015](12)对每幅平面棋盘靶标图像检测角点像素坐标；
[0016](13)不考虑相机畸变，利用平面棋盘靶标图像(13)不考虑相机畸变，利用平面棋盘靶标图像的角点像素坐标，根据已知的平面靶标尺寸和物像方程确定左相 机C
L
和右相机C
R
的内参数和外参数初始值并利用极大似然估计优化内参数和 外参数；
[0017](14)考虑相机径向畸变，利用平面棋盘靶标图像和的角点像素 坐标，估计左相机C
L
和右相机C
R
的畸变参数初始值；利用最小二乘法优化左右 两个相机的内参数、外参数和径向畸变参数，得到左相机C
L
的内参数外参 数径向畸变参数径向畸变参数和右相机C
R
的内参数外参数 径向畸变参数径向畸变参数
[0018](15)根据左相机C
L
的外参数和右相机C
R
的外参数确定右相机C
R
相对于左相机C
L
的旋转变换矩阵R，右相机C
R
相对于左相机C
L
的平移变换矩阵 T。
[0019]进一步地，所述步骤(2)中包括如下步骤：
[0020](21)径向畸变校正：首先，创建与I
left
等大小的空白图像其次，对I
left
的每个像素坐标根据左相机C
L
的内参数及畸变参数计 算径向畸变校正坐标((u,v))，并将I
left
的位置处像素的灰度值赋给的 (u,v)位置的像素；再次，对中空值像素，进行插值处理；最后，将保存为 作为左图像I
left
畸变校正后的结果；同理，可得右图像I
right
畸变校正后的结 果
[0021](22)双目极线校正：首先，根据右相机C
R
相对于左相机C
L
的旋转变换矩 阵R，将C
R
的相机坐标系和C
L
的相机坐标系各旋转R矩阵表示旋转角度的一半 使两相机坐标系平行；其次，右相机C
R
相对于左相机C
L
的平移变换矩阵T，确 定极线对准矩阵R
p
；最后，根据r
L
、r
R
、R
p
的值，分别旋转左畸变校正图像和右畸变校正图像得到左极线校正图像和右极线校正图像
[0022](23)按照人员检测深度神经网络输入尺寸的要求，分别将左极线校正图像 和右极线校正图像裁剪为大小为M
×
N双目校正图像，分别记为 和
[0023]进一步地，步骤(3)所述深度神经网络采用Yolov3目标检测网络，将检测 输出类别设置为Person；或采用Faster
‑
RCNN等目标检测网络，通过后处理将输 出向量格式调整
为(x,y,w,h)。
[0024]进一步地，所述步骤(4)包括以下步骤：
[0025](41)读取左校正图像及其人员目标边框向量集F
L
，按照从左到右，从本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的立体视觉人际安全距离检测方法，其特征在于，包括以下步骤：(1)基于平面棋盘靶标对双目视觉系统进行标定，并使用标定后双目视觉系统的左相机C
L
和右相机C
R
分别采集人员聚集场景图像，分别记为I
left
和I
right
；(2)基于标定的相机参数，对采集的图像进行畸变校正和极线校正，得到双目校正图像，其中，左校正图像记为右校正图像记为(3)将双目校正图像分别输入深度神经网络，进行人员目标检测，输出人员目标边框向量集，分别记为：F
L
和F
R
；每个边框向量的格式为(x,y,w,h)，其中，(x,y)表示人员目标边框左上角位置对应的像素坐标，w,h分别表示边框的宽度和高度；(4)将左校正图像中的人员目标中心点作为参考点，在极线约束和边框约束下，对中检测到的每个人员目标中心点p，在中寻找立体匹配点p'，计算中每个人员目标中心点p与匹配点p'的视差d，得到中心点p对应的人员目标的三维坐标(X
p
,Y
p
,Z
p
)；(5)根据人员三维坐标计算人际距离；(6)根据设定的人际距离下限，对距离过近人员进行警示提醒。2.根据权利要求1所述的基于深度学习的立体视觉人际安全距离检测方法，其特征在于，所述步骤(1)包括以下步骤：(11)用双目视觉系统的左相机C
L
和右相机C
R
同时采集已知尺寸的平面棋盘靶标图像，从3个角度拍摄平面棋盘靶标，得到3对平面棋盘靶标图像(分别记为：)；(12)对每幅平面棋盘靶标图像检测角点像素坐标；(13)不考虑相机畸变，利用平面棋盘靶标图像(13)不考虑相机畸变，利用平面棋盘靶标图像的角点像素坐标，根据已知的平面靶标尺寸、物像方程确定左相机C
L
和右相机C
R
的内参数和外参数初始值并利用极大似然估计优化内参数和外参数；(14)考虑相机径向畸变，利用平面棋盘靶标图像和的角点像素坐标，估计左相机C
L
和右相机C
R
的畸变参数初始值；利用最小二乘法优化左右两个相机的内参数、外参数和径向畸变参数，得到左相机C
L
的内参数外参数径向畸变系数径向畸变系数和右相机C
R
的内参数外参数径向畸变系数径向畸变系数(15)根据左相机C
L
的外参数和右相机C
R
的外参数确定右相机C
R
相对于左相机C
L
的旋转变换矩阵R，右相机C
R
相对于左相机C
L
的平移变换矩阵T。3.根据权利要求1所述的基于深度学习的立体视觉人际安全距离检测方法，其特征在于，所述步骤(2)中包括如下步骤：(21)径...

【专利技术属性】
技术研发人员：韩磊，张天程，刘黄骁烈，施展，郑胜男，黄晓华，
申请(专利权)人：南京工程学院，
类型：发明
国别省市：