一种基于环视相机的目标物检测定位方法及装置制造方法及图纸

本发明专利技术公开了一种基于环视相机的目标物检测定位方法，解决了由于环视相机采集的图像存在较大的扭曲失真、现有技术难于进行目标物检测及定位的问题。本发明专利技术通过采用柱面校正技术及关键点提取及匹配技术有效解决了上述问题。另外，本发明专利技术还提供了一种基于环视相机的目标物检测定位装置。本发明专利技术不但可以给出目标物的图像位置，还可以得出目标物的3D位置及姿态信息，可用于车辆防碰撞、车辆轨迹规划功能。

A method and device of target detection and location based on look around camera

【技术实现步骤摘要】
一种基于环视相机的目标物检测定位方法及装置
本专利技术属于图像处理
，特别涉及一种基于环视相机的目标物检测定位方法及装置。
技术介绍
目标物检测及定位在汽车辅助驾驶、自动驾驶等领域具有重要应用前景。通过获得自车周围场景中目标物的3D信息，可以进一步实现自车行驶轨迹规划，碰撞避免等应用。环视相机指的是环绕安装于汽车车身的多个相邻视角有交叠的相机，构成的一套多相机系统。环视相机通常采用视角大的鱼眼相机进行安装构建，如安装于车身前后保险杠、左右后视镜四个位置的鱼眼相机构成的环视系统。现有技术，多集中于对环视相机采集的图像进行俯视图图像拼接，生成环视俯视图像，起到车身周围全景目标物监控的目的。但对全景图中，出现的目标物，需要驾驶员目视发现，不够智能。驾驶员容易造成视觉疲劳，产生误判。利用环视相机进行目标检测及定位的难点在于：(1)环视相机所用的大视角相机存在较大的图像扭曲失真，不利于深度学习等机器学习算法训练及识别目标物。虽然校正成平面图像可以去除畸变，但是这样也损失了相机视角，得不偿失；(2)环视相机系统中，为了缩减硬件成品，需本文档来自技高网...

【技术保护点】
1.一种基于环视相机的目标物检测定位方法，所述环视相机为环绕安装于汽车车身的多个相邻视角有交叠的大视角相机，其特征在于，该方法包括以下步骤：/nS1、图像获取步骤，输入环视相机中具有交叠视角的相邻大视角相机分别拍摄的图像A和图像B；/nS2、图像处理步骤，利用柱面校正方法对图像A和图像B进行图像处理，获得柱面校正图像A和柱面校正图像B；/nS3、目标物检测及目标物关键点提取步骤，在所述柱面校正图像A和柱面校正图像B中，利用离线训练好的深度学习模型，进行目标物检测及目标物关键点提取；/nS4、关键点匹配步骤，对所述柱面校正图像A中的关键点和柱面校正图像B中的关键点进行关键点匹配，得到匹配的关键点...

【技术特征摘要】
1.一种基于环视相机的目标物检测定位方法，所述环视相机为环绕安装于汽车车身的多个相邻视角有交叠的大视角相机，其特征在于，该方法包括以下步骤：
S1、图像获取步骤，输入环视相机中具有交叠视角的相邻大视角相机分别拍摄的图像A和图像B；
S2、图像处理步骤，利用柱面校正方法对图像A和图像B进行图像处理，获得柱面校正图像A和柱面校正图像B；
S3、目标物检测及目标物关键点提取步骤，在所述柱面校正图像A和柱面校正图像B中，利用离线训练好的深度学习模型，进行目标物检测及目标物关键点提取；
S4、关键点匹配步骤，对所述柱面校正图像A中的关键点和柱面校正图像B中的关键点进行关键点匹配，得到匹配的关键点；
S5、目标物矩形框匹配步骤，对所述柱面校正图像A中的矩形框和柱面校正图像B中的矩形框进行匹配，得到匹配的矩形框，确定为同一目标物；
S6、计算目标物的位置及姿态步骤，根据匹配后的目标物矩形框内匹配的关键点对，计算关键点的3D位置信息，从而恢复目标物的三维位置及姿态信息；
S7、输出目标物的位置及姿态并在图像中显示。


2.如权利要求1所述的一种基于环视相机的目标物检测定位方法，其特征在于，所述步骤S2的柱面校正方法具体为：
对于相机坐标系中一空间点P(Xc,Yc,Zc)，其在大视角相机中的成像点像素坐标为p(u’,v’)，成像公式可以描述为，



其中,



r(θ)＝k1θ+k3θ3+k5θ5+k7θ7+k9θ9(3)
k1,k3,k5,k7,k9,u0’,v0’,fx,fy为相机内参,由离线标定算法得到，在算法实施过程中，为已知参数；因此，根据式(1)(2)(3)，已知空间点P(Xc,Yc,Zc)，可以计算出，其在大视角相机中的成像点像素坐标为p(u’,v’)；
环视相机安装于车身，以车身位于水平地面时，车身几何中心位置在地面的投影点为原点，建立车身坐标系Ow_XwYwZw，其中，OwYw轴垂直指向地面，OwZw轴指向车头，OwXw轴指向车身侧面；
环视相机中，各个大视角相机相对于车身坐标系的安装位置可以通过离线外参数标定方法标定获得，为已知外参矩阵；
对于每个大视角相机，以相机光心为原点，光轴为Z轴，建立大视角相机坐标系O_X’Y’Z’；环视相机中的大视角相机通常会存在一定的安装角度，即大视角相机坐标系的OY’轴不平行于车身坐标系的OwYw轴，利用离线标定好的相机外参数，对大视角相机坐标系进行校正，得到校正后的相机坐标系O_XYZ，使得OY轴平行于车身坐标系的OwYw轴；
在校正后的大视角相机坐标系O_XYZ中，对大视角相机拍摄的图像像素点进行柱面投影，得到柱面校正图像；校正过程通过反查表进行，即对校正后柱面图像中的每一个像素坐标(u,v),计算其对应大视角相机拍摄的图像中的像素点坐标(u’,v’)，并将大视角相机拍摄的图像中坐标点(u’,v’)的像素亮度值，赋值给柱面校正图像中的坐标点(u,v)；柱面校正图像坐标点坐标(u,v)到大视角相机拍摄的图像坐标(u’,v’)的计算方法为，首先，利用式(4)计算点(xc,yc,zc),



式(4)中R为由相机的外参数构成的坐标系O_X’Y’Z’与坐标系O_XYZ间的旋转矩阵，通过离线外参标定方法获得；u0，v0，ay，dφ，为虚拟柱面相机的内参数，可由用户根据实际需要自行设定；再利用公式(2)和(3)计算θ，r(θ)；



最后，将计算好的θ，r(θ)代入公式(1)，求出大视角相机拍摄的图像中坐标点(u’,v’)。


3.如权利要求1所述的一种基于环视相机的目标物检测定位方法，其特征在于，所述步骤S4的关键点匹配的具体步骤为：
S401、对于柱面校正图像A中每个关键点p，利用相邻大视角相机的相对位姿关系，计算关键点p在柱面校正图像B中对应的极线，在该极线附近搜索柱面校正图像B中与关键点p相匹配的关键点q；
搜索条件设置如下：
条件一、关键点q的关键点属性与关键点p的关键点属性相同；
条件二、关键点q距离极线的距离小于阈值；
条件三、关键点q与关键点p的局部描述子，差异程度小于阈值；
同时满足上述三个条件，且距离极线距离最小的关键点，确定为与关键点p相匹配的关键点q；
S402、对于柱面校正图像B中的每个关键点q，按步骤S401类似操作，确定其在柱面校正图像A中...

【专利技术属性】
技术研发人员：于红绯，王宇彤，郭来德，
申请(专利权)人：辽宁石油化工大学，
类型：发明
国别省市：辽宁;21