一种基于单目视觉的目标识别定位方法技术

本发明专利技术公开了一种基于单目视觉的识别定位方法，可以通过单目视觉实现测距和定位，使用深度学习目标检测神经网络进行目标检测与定位，具有识别复杂物体、识别物体类型多的特点，突破了之前单目视觉测距只能识别简单目标物、识别目标物种类有限的限制；基于单目摄像头利用针孔成像原理进行目标测距，相较于双目视觉测距，理论上不受双目视觉视差极限的束缚，在视线范围内可检测到的物体基本都可以实现定位测距，可以实现远近不同距离目标物的测距，适用范围广；可以同时检测一张图片上的多个目标物，并结合先验信息同时获取其相对方位，可以非常方便的实现单目摄像头多目标检测与测距定位。

A Target Recognition and Location Method Based on Monocular Vision

【技术实现步骤摘要】
一种基于单目视觉的目标识别定位方法
本专利技术属于视觉目标检测与目标定位
，具体涉及一种基于单目视觉的识别定位方法。
技术介绍
在一些情况下(例如战场环境侦察)，我们需要快速的采集场景中的目标类别与位置等信息，并通过与现有环境数据库中的信息进行结合与匹配，获取实时动态的环境信息。现在常用的视觉目标识别与定位方法具有以下问题：1、只能用于简单视觉元素。如王天奇等在论文《基于单目视觉的目标识别与定位》中提出了一种通过检测目标轮廓中包含的直线、圆等基本几何特征，利用平面约束的单目定位模型，结合给定工件数据模型库对目标进行识别和位姿计算的单目视觉目标识别定位方法。这种方法只能用于简单物体视觉元素的识别和定位，对于复杂元素或物体的识别就无能为力了。2、识别物体十分有限。如朴松浩在专利《一种基于轮椅式护理机器人的单目摄像头视觉定位系统》(CN108020222)中公布了一种通过使用单目摄像头获取图像中的特殊标志，并结合同时定位与地图构建获取机器人具体位置的方法。该方法只能识别一些特殊的标志，然后结合地图等先验信息对机器人进行定位，适用的场景有限。3、只能完成近距离测距。当前效果比较好的测距方法为双目视觉测距，但该方法随着测量距离的增大，精度急速下降，且双目视觉测距在应用中受到左右摄像头光心之间基线长度的限制，若双目摄像头在有限空间内安装，其测量距离从根本上难以突破现有的瓶颈。
技术实现思路
有鉴于此，本专利技术的目的是提供一种基于单目视觉的识别定位方法，可以通过单目视觉实现测距和定位。一种基于单目视觉的目标识别定位方法，包括如下步骤：步骤1：通过对单目视觉摄像头进行标定，获取摄像头的内参参数和畸变参数；步骤2：通过单目视觉摄像头获取环境图像，使用步骤1得到的内参参数和畸变参数对图像进行矫正，然后使用深度学习目标检测模型，获取环境图像中目标的类别与目标回归框信息；其中，目标回归框像素坐标为(bx,by,bw,bh)；步骤3：根据目标类别从先验数据库中获取目标的实际物理尺寸信息，定义为W×H；步骤4：利用步骤1、2、3得到的数据，依据摄像头的针孔成像模型，计算出目标相对于单目视觉摄像头的方向(α,β)与距离ρ：其中，(u0,v0)为图像坐标系中心在像素坐标系中的位置，fx和fy分别为摄像头在像素坐标系x轴和y轴方向上的像素焦距；或k为摄像头修正系数；步骤5：获取摄像头的绝对位置信息和相对位姿信息；步骤6：根据步骤4得到的目标相对于摄像头的方向与距离及步骤5得到的摄像头的对位置信息和相对位姿信，计算得到图像中目标的绝对位置信息，实现目标定位。较佳的，所述步骤5中，采用摄像头的GPS和惯性导航设备获取摄像头的绝对位置。较佳的，所述步骤2中，当深度学习目标检测模型检测出多个目标时，采用步骤3至步骤6的方法分别对每个目标进行定位。进一步的，还包括：将步骤6得到的目标位置信息，将目标信息在显示软件中展示出来，构建出动态的实时环境地图。本专利技术具有如下有益效果：1、本专利技术使用深度学习目标检测神经网络进行目标检测与定位，具有识别复杂物体、识别物体类型多的特点，突破了之前单目视觉测距只能识别简单目标物、识别目标物种类有限的限制。2、本专利技术基于单目摄像头利用针孔成像原理进行目标测距，相较于双目视觉测距，理论上不受双目视觉视差极限的束缚，在视线范围内可检测到的物体基本都可以实现定位测距，可以实现远近不同距离目标物的测距，适用范围广。3、本专利技术可以同时检测一张图片上的多个目标物，并结合先验信息同时获取其相对方位，可以非常方便的实现单目摄像头多目标检测与测距定位。附图说明图1为本专利技术的流程图。图2为本专利技术的像素坐标系与图像坐标系之间的关系图。图3为本专利技术的二维定位测距原理图。图4为本专利技术的二维空间定位测距原理图。具体实施方式下面结合附图并举实施例，对本专利技术进行详细描述。如图1所示，本专利技术提供的一种基于单目视觉的识别定位方法，具体包括如下步骤：步骤1：通过对单目视觉摄像头进行标定，获取摄像头的内参参数和畸变参数；步骤2：通过单目视觉摄像头获取环境图像，使用步骤1得到的内参参数和畸变参数对图像进行矫正，然后使用深度学习目标检测模型，获取环境图像中目标的类别与目标回归框信息；其中，目标回归框像素坐标为(bx,by,bw,bh)；bx,by表示目标回归框的中心点坐标，bw,bh表示目标回归框的长和宽；步骤3：根据目标类别从先验数据库中获取目标的实际物理尺寸信息；步骤4：利用步骤1、2、3得到的数据，依据摄像头的针孔成像模型，计算出目标相对于摄像头的方向与距离；步骤5：通过依附于摄像头的GPS和惯性导航设备获取摄像头的绝对位置信息和相对位姿信息；步骤6：将步骤4得到的目标的相对位置信息和步骤5得到的摄像头的绝对位姿信息进行数据融合，得到图像中目标的绝对位置信息；步骤7：结合地图数据库与步骤6得到的目标位置信息，将目标信息在显示软件中展示出来，构建出动态的实时环境地图。具体的，步骤1中通过使用张正友标定法对摄像头标定，得到摄像头的内参矩阵：得到图像坐标系中心在像素坐标系中的位置为(u0,v0)，摄像头在x轴方向上的像素焦距为fx，在y轴方向上的像素焦距为fy。如图2所示，为像素坐标系与图像坐标系之间的关系，设像素坐标系中的点为(u,v)，图像坐标系中的点为(x,y)，则像素坐标到相机坐标的变换为：步骤2中通过对摄像头采集的图像利用深度神经网络目标检测模型进行目标检测，获取图像中检测目标物的类别label与回归框像素坐标为(bx,by,bw,bh)，回归框中心点T′的像素坐标为(bx,by)，宽高为(bw,bh)，回归框的左上角顶点U'的像素坐标为(lux,luy)＝(bx-bw/2,by-bh/2)，左下角定点C'的坐标为(ldx,ldy)＝(bx-bw/2,by+bh/2)，右下角顶点D'的像素坐标为(rdx,rdy)＝(bx+bw/2,by+bh/2)。步骤3中获取目标物的实际物理尺寸大小为W×H。如图3所示为三维空间中，利用目标物先验知识进行单目视觉测距的原理图。图像坐标系中物体的回归框左上角顶点为U'，左下角顶点为C'，右下角顶点为D'，中心点为T'，目标物回归框在物理世界中二维平面的投影左上角顶点为U，左下角顶点为C，右下角顶点为D，中心点为T，在光轴上，光心为F，成像中心点为O'(对称之后)，在目标物二维平面的投影为O。设T'T在平面FO'x上的投影与平面FO'y的夹角为α，在平面FO'y上的投影与平面FO'x的夹角为β，目标物中心点到光心的距离为FT，根据几何关系，求得：其中，Tx'表示T'点在x轴上的投影，Ty'表示T'点在y轴上的投影；数组(α,β,ρ)可确定目标物中心相对于光心的方位，当目标物位于视觉左侧(bx<u0)时，α为正，右侧(bx>u0)时，α为负，当目标物位于视觉上侧(by<v0)时，β为正，下侧(by>v0)时，β为负。通过以上关系，得到最终结果为：其中或k为修正系数，与不同摄像头(或镜头)有关，实际中依据一个目标物方位与距离估计得出。步骤4中，依据公式(5)计算出目标物相对于摄像头的方位与距离。如图4，以北半球、东经区域的二维平面为例，简要说明定位原理。摄像头位于中心点O，其视线正方向为本文档来自技高网...

【技术保护点】
1.一种基于单目视觉的目标识别定位方法，其特征在于，包括如下步骤：步骤1：通过对单目视觉摄像头进行标定，获取摄像头的内参参数和畸变参数；步骤2：通过单目视觉摄像头获取环境图像，使用步骤1得到的内参参数和畸变参数对图像进行矫正，然后使用深度学习目标检测模型，获取环境图像中目标的类别与目标回归框信息；其中，目标回归框像素坐标为(bx,by,bw,bh)；步骤3：根据目标类别从先验数据库中获取目标的实际物理尺寸信息，定义为W×H；步骤4：利用步骤1、2、3得到的数据，依据摄像头的针孔成像模型，计算出目标相对于单目视觉摄像头的方向(α,β)与距离ρ：

【技术特征摘要】
1.一种基于单目视觉的目标识别定位方法，其特征在于，包括如下步骤：步骤1：通过对单目视觉摄像头进行标定，获取摄像头的内参参数和畸变参数；步骤2：通过单目视觉摄像头获取环境图像，使用步骤1得到的内参参数和畸变参数对图像进行矫正，然后使用深度学习目标检测模型，获取环境图像中目标的类别与目标回归框信息；其中，目标回归框像素坐标为(bx,by,bw,bh)；步骤3：根据目标类别从先验数据库中获取目标的实际物理尺寸信息，定义为W×H；步骤4：利用步骤1、2、3得到的数据，依据摄像头的针孔成像模型，计算出目标相对于单目视觉摄像头的方向(α,β)与距离ρ：其中，(u0,v0)为图像坐标系中心在像素坐标系中的位置，fx和fy分别为摄像头在像素坐标系x轴和y轴方向上的像素焦距；或k为摄像...

【专利技术属性】
技术研发人员：邓方，姬艳鑫，高峰，米承玮，赵佳晨，张乐乐，陈杰，陈文颉，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京,11