基于单目视觉的目标检测方法及装置制造方法及图纸

本发明专利技术公开一种基于单目视觉的目标检测方法及装置，涉及图像识别技术领域，能够实时准确的定位目标在场景中的3D空间坐标，实现目标在3D空间中的实时定位跟踪。该方法包括：采用SLAM算法对场景建模得到全局地图模型，同时获取SLAM相机的外参；获取安防相机采集的图像集合，基于SLAM相机的外参对安防相机进行标定，得到安防相机在全局地图模型中的外参；通过目标检测技术识别安防相机采集图像中的目标，并对目标进行单目测距；将目标在相机坐标系中的坐标至SLAM相机确定的全局坐标系中，并在全局地图模型中实时显示。该装置应用有上述方案所提的方法。

【技术实现步骤摘要】
基于单目视觉的目标检测方法及装置
本专利技术涉及图像识别
，尤其涉及一种基于单目视觉的目标检测方法及装置。
技术介绍
在人工智能蓬勃发展的时代，人工智能的各类应用如雨后春笋般蓬勃发展起来。随着智能时代的临近，线下与线上相结合或者线下复刻线上的零售模式成为一种研究热潮。对场景中的目标进行实时的检测定位跟踪，从而获取目标的运动轨迹和活动区域，对于线下运营的数字化和智能化具有重要的意义。目前对于目标的定位方法有基于目标本身携带设备的GPS方法、视觉里程计SLAM的方法和依靠外部安装相机进行检测跟踪的方法。依赖于GPS的方法对于室内场景往往失灵，对于基于目标自身携带设备的跟踪定位方法对于零售场景并不适用，依靠外部安装的相机进行跟踪定位的方法可分为依赖相机重叠区域和不依赖相机重叠区域的方法，对于依赖相机重叠区域的方法，也即基于双目的方法，要求相机安装时关联相机之间要有较大的视野重叠区域，然后通过两个相机之间进行图像匹配，进而对目标的3D位置进行恢复。然而，大的视野重叠面积意味着会大大减少了单个相机的有效视野范围，单位面积所需要的相机数量将会相应增加，方案的硬件成本也随之增加。对于不依赖相机重叠区域的方法，目前通过ReID等技术结合相机的位置信息获取目标断点式的活动轨迹，无法获取实时的连续活动轨迹，而对目标跟踪也仅仅局限于相机图像空间中，跟踪结果的物理意义与真实世界联系不够紧密使得跟踪结果的使用存在局限性。并且跨相机的跟踪方法依赖于高性能的ReID技术，对于相关算法的精度和鲁棒性以及计算设备的算力有较高的要求。r>
技术实现思路
本专利技术的目的在于提供一种基于单目视觉的目标检测方法及装置，能够实时准确的定位目标在场景中的3D空间坐标，实现目标在3D空间中的实时定位跟踪。为了实现上述目的，本专利技术的第一方面提供一种基于单目视觉的目标检测方法，包括：采用SLAM算法对场景建模得到全局地图模型，同时获取SLAM相机的外参；获取安防相机采集的图像集合，基于所述SLAM相机的外参对所述安防相机进行标定，得到所述安防相机在全局地图模型中的外参；通过目标检测技术识别安防相机采集图像中的目标，并对所述目标进行单目测距；将所述目标在相机坐标系中的坐标至SLAM相机确定的全局坐标系中，并在全局地图模型中实时显示。优选地，采用SLAM算法对场景建模得到全局地图模型，同时获取SLAM相机的外参的方法包括：采用SLAM算法获取场景的点云重建结果、SLAM相机位姿集合以及重建图像帧集合；根据所述点云重建结果构建全局地图模型，采用SLAM相机对场景进行扫描拍摄获取由多张场景图像组成的重建图像帧集合；利用FAST算法依次获取相邻两张场景图像中的特征点，并求取特征点的特征描述子，然后基于特征点的特征描述子依次对相邻两张场景图像中的相似特征点进行匹配，构建以首张场景图像的相机坐标系为参考的统一相机坐标系，经转换得到全局坐标系。优选地，获取安防相机采集的图像集合，基于所述SLAM相机的外参对所述安防相机进行标定，得到所述安防相机在全局地图模型中的外参的方法包括：将安防相机采集的图像集合与所述重建图像帧集合进行同名点匹配；根据SLAM相机位姿集合求解同名点在全局坐标系中的3D空间坐标；基于所述3D空间坐标计算所述安防相机相对于所述SLAM相机的位姿参数，得到所述安防相机在全局地图模型中的外参。优选地，通过目标检测技术识别安防相机采集图像中的目标，并对所述目标进行单目测距的方法包括：通过目标检测技术对安防相机画面中的目标进行定位，并标识目标的外接矩形框；基于深度相机拍摄的包含所述目标的多个深度图像集合，采用聚类算法计算所述目标的平均物理尺寸；根据所述外接矩形框的宽高参数、安防相机的焦距以及所述平均物理尺寸，利用单目测距原理测量所述目标相对于对应安防相机的距离。优选地，在步骤通过单目测距原理测量所述目标相对于对应安防相机的距离之后还包括：基于所述安防相机的内参及所述外接矩形框在图像坐标系中的中心点坐标，将所述目标转换成相对于相机坐标系的坐标。优选地，将所述目标在相机坐标系中的坐标至SLAM相机确定的全局坐标系中，并在全局地图模型中实时显示的方法包括：基于所述安防相机在全局地图模型中的外参，通过空间坐标系转换矩阵将相对于相机坐标系的目标坐标转换为相对于全局坐标系中目标的3D空间坐标；将全局坐标系中目标的3D空间坐标在全局地图模型中实时显示。较佳地，还包括：采用目标跟踪技术在全局地图模型中对所述目标进行实时追踪，并绘制所述目标的实时位置轨迹和活动区域热力图。与现有技术相比，本专利技术提供的基于单目视觉的目标检测方法具有以下有益效果：本专利技术提供的基于单目视觉的目标检测方法中，首先采用SLAM算法对监控场景建模得到全局地图模型，并获取SLAM相机的外参，示例性地，外参为各SLAM相机位姿参数，然后利用监控场景中安装的安防相机实时拍摄图像构建图像集合，结合对应位置SLAM相机的外参对相应安防相机进行标定，分别得到各安防相机在全局地图模型中的外参，接着通过目标检测技术对安防相机采集图像中的目标进行识别，并对该目标进行单目测距以获取目标相对于对应安防相机的位置距离，最终将目标在相机坐标系中的坐标转换至全局坐标系中，并在全局地图模型中实时显示。综上，本专利技术采用单目测距方法对目标进行单目定位，相比较于现有技术采用的基于GPS定位方法能够解决室内定位不准的问题。同时，采用SLAM算法构建全局地图模型，并将安防相机监控画面中的目标转换至全局地图模型中实时显示，能够实现对目标在3D空间中的连续追踪。本专利技术的第二方面提供一种基于单目视觉的目标检测装置，应用于上述技术方案所述的基于单目视觉的目标检测方法中，所述装置包括：全局建模单元，用于采用SLAM算法对场景建模得到全局地图模型，同时获取SLAM相机的外参；标定单元，用于获取安防相机采集的图像集合，基于所述SLAM相机的外参对所述安防相机进行标定，得到所述安防相机在全局地图模型中的外参；测距单元，用于通过目标检测技术识别安防相机采集图像中的目标，并对所述目标进行单目测距；坐标转换单元，用于将所述目标在相机坐标系中的坐标至SLAM相机确定的全局坐标系中，并在全局地图模型中实时显示。优选地，还包括：目标追踪单元，采用目标跟踪技术在全局地图模型中对所述目标进行实时追踪，并绘制所述目标的实时位置轨迹和活动区域热力图。与现有技术相比，本专利技术提供的基于单目视觉的目标检测装置的有益效果与上述技术方案提供的基于单目视觉的目标检测方法的有益效果相同，在此不做赘述。本专利技术的第三方面提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述基于单目视觉的目标检测方法的步骤。与现有技术相比，本专利技术提供的计算机可读存储介质的有益效果与上述技术方案提供的基于单本文档来自技高网...

【技术保护点】
1.一种基于单目视觉的目标检测方法，其特征在于，包括：/n采用SLAM算法对场景建模得到全局地图模型，并获取SLAM相机的外参；/n获取安防相机采集的图像集合，基于所述SLAM相机的外参对所述安防相机进行标定，得到所述安防相机在全局地图模型中的外参；/n通过目标检测技术识别安防相机采集图像中的目标，并对所述目标进行单目测距；/n将所述目标在相机坐标系中的坐标转换至全局坐标系中，并在全局地图模型中实时显示。/n

【技术特征摘要】
1.一种基于单目视觉的目标检测方法，其特征在于，包括：
采用SLAM算法对场景建模得到全局地图模型，并获取SLAM相机的外参；
获取安防相机采集的图像集合，基于所述SLAM相机的外参对所述安防相机进行标定，得到所述安防相机在全局地图模型中的外参；
通过目标检测技术识别安防相机采集图像中的目标，并对所述目标进行单目测距；
将所述目标在相机坐标系中的坐标转换至全局坐标系中，并在全局地图模型中实时显示。


2.根据权利要求1所述的方法，其特征在于，采用SLAM算法对场景建模得到全局地图模型，同时获取SLAM相机的外参的方法包括：
采用SLAM算法获取场景的点云重建结果、SLAM相机位姿集合以及重建图像帧集合；
根据所述点云重建结果构建全局地图模型，采用SLAM相机对场景进行扫描拍摄获取由多张场景图像组成的重建图像帧集合；
利用FAST算法依次获取相邻两张场景图像中的特征点，并求取特征点的特征描述子，然后基于特征点的特征描述子依次对相邻两张场景图像中的相似特征点进行匹配，构建以首张场景图像的相机坐标系为参考的统一相机坐标系，经转换得到全局坐标系。


3.根据权利要求2所述的方法，其特征在于，获取安防相机采集的图像集合，基于所述SLAM相机的外参对所述安防相机进行标定，得到所述安防相机在全局地图模型中的外参的方法包括：
将安防相机采集的图像集合与所述重建图像帧集合进行同名点匹配；
根据SLAM相机位姿集合求解同名点在全局坐标系中的3D空间坐标；
基于所述3D空间坐标计算所述安防相机相对于所述SLAM相机的位姿参数，得到所述安防相机在全局地图模型中的外参。


4.根据权利要求3所述的方法，其特征在于，通过目标检测技术识别安防相机采集图像中的目标，并对所述目标进行单目测距的方法包括：
通过目标检测技术对安防相机画面中的目标进行定位，并标识目标的外接矩形框；
基于深度相机拍摄的包含所述目标的多个深度图像集合，采用聚类算法计算所述目标的平均物理尺寸；
根据...

【专利技术属性】
技术研发人员：梁贵钘，黄银君，汪明明，冀怀远，荆伟，
申请(专利权)人：深圳市宁创云软件技术有限公司，
类型：发明
国别省市：广东;44