一种基于单目深度估计的乘客统计识别的方法及装置制造方法及图纸

本发明专利技术公开了一种基于单目深度估计的乘客统计识别的方法及装置，该方法包括第一步，在单目摄像机上采集RGB图像帧，对于采集的每一帧图像进行实时处理；第二步，对于每一帧RGB图像进行乘客目标检测：对于每一帧RGB图像进行深度估计，并在深度估计基础上进行目标检测：第三步，对每帧的检测结果进行融合计算，得到每帧的最终目标检测结果；第四步，构建乘客目标运动轨迹，同时进行乘客运动方向和数量统计；第五步，对乘客提取轨迹特征，并进行进出门或上下车匹配，得到识别结果。该方法在单目摄像机上进行深度估计，将估计的3D深度信息与原有2D信息的融合，从而提升基于单目摄像机的乘客统计识别系统的效果。客统计识别系统的效果。

【技术实现步骤摘要】
一种基于单目深度估计的乘客统计识别的方法及装置


[0001]本专利技术涉及智能交通和计算机视觉研究领域，具体涉及一种基于单目深度估计的乘客统计识别的方法及装置。

技术介绍

[0002]随着机器视觉技术地发展，采用相机进行物体识别，行为识别的相关应用越来越多，其中相机分为普通相机（2D）和深度相机（又称之为3D相机）。普通摄像头，当与3D相机放在一起时也称为单目摄像头，是最为常见地计算机视觉传感器。从物理原理上来讲，单目摄像头是不采集空间深度信息的。乘客统计识别是应用在公共交通领域（比如公交、客运等），用来识别统计乘客数量、特征、出行规律的一类技术。目前在乘客统计识别方面存在如下方法：（1）以红外传感器等非视觉传感器构建的乘客统计系统；（2）以单目摄像机这类视觉传感器构建乘客统计识别系统；（3）以双目或者其他3D相机这类视觉传感器构建的乘客统计识别系统。
[0003]在实现本专利技术过程中，专利技术人发现现有技术中至少存在如下问题：从乘客统计识别的效果来讲，双目或者3D相机类方法 >单目摄像机类 &;gt;红外等非视觉本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于单目深度估计的乘客统计识别的方法，其特征在于，该方法主要包括以下步骤：第一步，在单目摄像机上采集RGB图像帧，对于采集的每一帧图像进行实时处理；第二步，目标检测；对于每一帧RGB图像进行乘客目标检测：对每一帧RGB图像帧从原始分辨率缩放到合适分辨率后输入到乘客目标检测器，乘客目标检测器输出在该缩放帧上的每个乘客的目标位置以及非乘客的目标位置，并根据与原始分辨率的比率，把该位置还原成相对于原始分辨率的乘客目标位置和非乘客的目标位置R2；对于每一帧RGB图像进行深度估计，并在深度估计基础上进行目标检测：将RGB图像帧缩放到合适分辨率输入到深度估计模型，深度估计模型输出该缩放帧对应的深度图，在每一帧的深度估计图上进行乘客目标检测，根据场景设定的深度阈值，对深度估计图进行过滤，去除无效内容，通过识别灰度值极大区域来识别乘客目标位置，然后根据与原始分辨率的比率，把识别到的乘客目标位置还原成相对于原始分辨率的目标位置R3；第三步，对每帧的检测结果进行融合计算，得到每帧的最终目标检测结果；将第二步中的乘客目标位置R2和乘客目标位置R3进行合并，若满足设定的重合比率，则这些位置相互重合，记为一个目标位置，最后得到合并后的乘客目标位置R23；将乘客目标位置R23中的每一个目标位置与第二步中的非乘客目标位置的每一个目标位置进行重合比率，若满足设定的重合比率，则把R23中的该目标位置从R23中剔除掉，最后得到最终的乘客目标检测位置结果R23
’
；第四步，构建乘客目标运动轨迹，同时进行乘客运动方向和数量统计；若第三步中检测到N个目标结果，当前存在M个运动轨迹；对于N个目标结果中的每一个目标结果，与M个运动轨迹的尾部目标结果，构建M*N个匹配节点，每个匹配节点记录了对应目标结果的索引和运动轨迹的索引，以及目标结果与尾部目标结果的OVERLAP值；将M*N个匹配节点以降序的方式插入到列表中，对列表中的每个匹配节点，如果该匹配节点的OVERLAP值大于预设的阈值，则该匹配节点对应的目标结果和运动轨迹就匹配成功，并将列表中与该匹配节点有相同索引的节点删除；如果小于预设的阈值，则删除；循环直到列表为空；对于没有匹配上的目标结果，建立新运动轨迹，对于没有匹配上的运动轨迹，检查是否触发结束条件；第五步，对乘客提取轨迹特征，并进行进出门或上下车匹配，得到识别结果；对于乘客目...

【专利技术属性】
技术研发人员：朱旭光，周金明，赵丽，
申请(专利权)人：南京行者易智能交通科技有限公司，
类型：发明
国别省市：