一种基于鱼眼相机的障碍物检测方法及装置制造方法及图纸

本发明专利技术涉及一种基于鱼眼相机的障碍物检测方法，该方法具体包括以下步骤：获取具有交叠视角的鱼眼图像A和鱼眼图像B，计算得到俯视图a和俯视图b，获取俯视图a与俯视图b所在相机坐标系的相对位置关系，对俯视图a进行子块划分，对俯视图a划分后的每一子块，结合俯视图b，求出h的值，判断俯视图a中的每一子块是否属于障碍物，对于所有判断为障碍物的子块进行聚类，标记，输出标记结果。本发明专利技术另外提供一种基于鱼眼相机的障碍物检测装置。本发明专利技术通过俯视图转换，解决了鱼眼相机成像形变问题，并保留了鱼眼相机的成像视角；本发明专利技术可适用于任意类型目标物的检测，不容易造成障碍物的漏检，检测效果好。

【技术实现步骤摘要】
一种基于鱼眼相机的障碍物检测方法及装置
本专利技术涉及图像处理
，特别涉及一种基于鱼眼相机的障碍物检测方法及装置。
技术介绍
障碍物检测，指的是对高出地面一定高度的对自车行驶构成威胁的物体进行检测。在汽车辅助驾驶、自动驾驶等领域，障碍物检测具有重要应用前景。通过获得自车周围场景中的障碍物信息，可以进一步实现自车行驶轨迹规划，碰撞避免等应用。和固定类别的目标物检测相比，障碍物检测可以实现，对安全驾驶构成威胁的任意种类物体的检测，更适合于泊车辅助、自动泊车等应用。鱼眼相机安装于汽车车身位置，如可安装于车身前后保险杠、左右后视镜等位置，用于检测车辆周边不同区域范围内出现的障碍物。鱼眼相机和普通平面相机相比，成像视角更大，检测范围更广，目前已经成为许多中高端汽车的标准配置。基于鱼眼相机的障碍物检测更具有应用前景和实用价值。现有的障碍物检测相关技术主要有：1、基于机器学习训练目标物检测器的方法，该类方法需要收集待检测目标物图像样本进行训练，较不适用于任意类型目标物的检测；2、基于IPM变换的方法，该类方法通过对图像进行运动补偿，比较补偿图像和真实图像之间的差异信息检测障碍物，需要对差异信息进行阈值设定，区分障碍物和地面物，该方法可以实现对任意类别的目标物进行检测，但是阈值容易受到场景影响不易确定，对于地面强纹理容易造成误识别，弱纹理的障碍物容易造成漏检；3、基于几何约束的方法，该类方法通过计算本质矩阵，对极约束等，重建图像特征点的三维位置，利用三维位置信息，区分障碍物和地面物，但是对于一些缺乏特征点的障碍物，容易漏检，对于特征点匹配错误的图像区域，容易造成误识别，鱼眼相机，由于存在较大的成像形变，特征点的检测及匹配效果变差，也会使得该类方法的障碍物检测效果变差。综上，现有技术的障碍物检测方法，存在适用目标物类别局限、存在较多的漏检和误检的技术问题。
技术实现思路
本专利技术的目的在于提供一种基于鱼眼相机的障碍物检测方法，解决了现有技术存在的上述问题。本专利技术的上述目的通过以下技术方案实现：一种基于鱼眼相机的障碍物检测方法，具体包括以下步骤：S1、获取具有交叠视角的鱼眼图像A和鱼眼图像B；S2、计算得到鱼眼图像A和鱼眼图像B分别对应的俯视图a和俯视图b；S3、获取俯视图a与俯视图b所在相机坐标系的相对位置关系；S4、对俯视图a进行子块划分，将俯视图a划分为若干个子块区域；S5、对俯视图a划分后的每一子块，假设子块像素点在其所在的相机坐标系具有近似相同的真实高度h，结合俯视图b，求出h的值；S6、判断俯视图a中的每一子块是否属于障碍物；S7、对于所有判断为障碍物的子块，根据步骤S5计算得到的子块真实高度h，计算子块中心像素点对应的三维空间点坐标，再根据三维空间点坐标值，按照欧式距离，进行聚类；S8、聚类后，位于同一类的子块，确定为同一障碍物区域，在俯视图a中标记同一障碍物区域上的子块，或将俯视图a中的标记结果利用鱼眼相机成像公式换算后标记在鱼眼图像A中；S9、输出标记结果，作为最终的障碍物检测结果。进一步地，所述步骤S1中的鱼眼图像A和鱼眼图像B来源于同一单目相机不同时刻拍摄或者来源于相邻相机同一时刻拍摄。进一步地，所述步骤S2具体包括：采用转换俯视图方法对鱼眼相机拍摄的鱼眼图像进行形变处理，得到相应的俯视图，所述转换俯视图方法具体包括：以车身位于水平地面时，鱼眼相机安装于车身，车身几何中心位置在地面的投影点为原点，建立车身坐标系Ow_XwYwZw，其中，OwYw轴垂直指向地面，OwZw轴指向车头，OwXw轴指向车身侧面；以鱼眼相机光心为原点，光轴为Z’轴，建立鱼眼相机坐标系O_X’Y’Z’；利用离线标定好的相机外参数，对鱼眼相机坐标系进行校正，得到校正后的相机坐标系O_XYZ中，OY轴平行于车身坐标系的OwYw轴；在校正后的鱼眼相机坐标系O_XYZ中，对鱼眼图像像素点进行俯视图投影，得到地面俯视图，俯视图的图像平面坐标系为o_uv，校正过程通过反查表进行，即对俯视图中的每一个像素坐标(u,v)，计算其对应鱼眼图像中的像素点坐标(u’,v’)，并将鱼眼图像中坐标点(u’,v’)的像素亮度值，赋值给俯视图中的坐标点(u,v)；在鱼眼相机中，对于鱼眼相机坐标系中一空间点(Xc,Yc,Zc)，其在鱼眼相机中的成像点像素坐标为(u’,v’)，成像公式可以描述为，其中，r(θ)＝k1θ+k3θ3+k5θ5+k7θ7+k9θ9(3)k1,k3,k5,k7,k9,u0’,v0’,fx,fy为相机内参，可由离线内参标定算法得到，在算法实施过程中，为已知参数；俯视图坐标(u,v)到鱼眼图像坐标(u’,v’)的计算方法为，首先根据式(4)计算(xc,yc,zc)，式(4)中R为由相机的外参数构成的坐标系O_X’Y’Z’与坐标系O_XYZ之间的旋转矩阵，R可以通过离线外参标定方法获得，u0，v0，ax，ay为虚拟俯视图相机的内参数，可由用户根据实际需要自行设定，再利用公式(2)和(3)计算θ，r(θ)；最后，将计算好的θ，r(θ)代入公式(1)，求出鱼眼图像中坐标点(u’,v’)；对鱼眼图像A和鱼眼图像B，都进行上述俯视图转换，生成对应的俯视图a和俯视图b。进一步地，所述步骤S3的相对位置关系包括俯视图a与俯视图b各自所在的相机坐标系之间的旋转矩阵和平移向量。进一步地，所述步骤S5对俯视图a划分后的每一子块，假设子块像素点在其所在的相机坐标系中具有近似相同的真实高度h，结合俯视图b，求出h值的过程具体包括：对于俯视图a中的任意一子块k中的任意一点(ua,va)，假设其对应的空间区域的真实高度为h，根据公式(5)可以求出点(xb,yb,zb)，再通过求解公式(6)，可以计算出其在俯视图b中的投影点坐标(ub,vb)其中，RAB和TAB分别表示旋转矩阵和平移向量，为由所述步骤S3获取的俯视图a与俯视图b所在相机坐标系的相对位置关系；对子块k中的每一个点都进行上述计算，可以求出与子块k对应的在俯视图b中的区域kb，然后计算，这两个区域的像素差异ek，其中，n表示子块k中像素点个数；i表示子块中的第i个像素；k(ua,i,va,i)表示俯视图a中，坐标位置(ua,i,va,i)的像素值；kb(ub,i,vb,i)表示俯视图b中，坐标位置(ub,i,vb,i)的像素值；给定一个h值可以求出相应的ek，遍历h值，当ek最小时，对应的h值，确定为子块k对应的真实高度值。进一步地，所述步骤S6具体包括：对于俯视图a中的每一子块求出的真实高度h，判断真实高度h与相机安装高度H的差异程度是否小于第一预设经验阈值T1，若小于第一预设经验阈值T1，则认为该子块位于地面上，是地面物体；对于俯视图a中的每一子块求出的真实高度h，判断高本文档来自技高网...

【技术保护点】
1.一种基于鱼眼相机的障碍物检测方法，具体包括以下步骤：/nS1、获取具有交叠视角的鱼眼图像A和鱼眼图像B；/nS2、计算得到鱼眼图像A和鱼眼图像B分别对应的俯视图a和俯视图b；/nS3、获取俯视图a与俯视图b所在相机坐标系的相对位置关系；/nS4、对俯视图a进行子块划分，将俯视图a划分为若干个子块区域；/nS5、对俯视图a划分后的每一子块，假设子块像素点在其所在的相机坐标系具有近似相同的真实高度h，结合俯视图b，求出h的值；/nS6、判断俯视图a中的每一子块是否属于障碍物；/nS7、对于所有判断为障碍物的子块，根据步骤S5计算得到的子块真实高度h，计算子块中心像素点对应的三维空间点坐标，再根据三维空间点坐标值，按照欧式距离，进行聚类；/nS8、聚类后，位于同一类的子块，确定为同一障碍物区域，在俯视图a中标记同一障碍物区域上的子块，或将俯视图a中的标记结果利用鱼眼相机成像公式换算后标记在鱼眼图像A中；/nS9、输出标记结果，作为最终的障碍物检测结果。/n

【技术特征摘要】
1.一种基于鱼眼相机的障碍物检测方法，具体包括以下步骤：
S1、获取具有交叠视角的鱼眼图像A和鱼眼图像B；
S2、计算得到鱼眼图像A和鱼眼图像B分别对应的俯视图a和俯视图b；
S3、获取俯视图a与俯视图b所在相机坐标系的相对位置关系；
S4、对俯视图a进行子块划分，将俯视图a划分为若干个子块区域；
S5、对俯视图a划分后的每一子块，假设子块像素点在其所在的相机坐标系具有近似相同的真实高度h，结合俯视图b，求出h的值；
S6、判断俯视图a中的每一子块是否属于障碍物；
S7、对于所有判断为障碍物的子块，根据步骤S5计算得到的子块真实高度h，计算子块中心像素点对应的三维空间点坐标，再根据三维空间点坐标值，按照欧式距离，进行聚类；
S8、聚类后，位于同一类的子块，确定为同一障碍物区域，在俯视图a中标记同一障碍物区域上的子块，或将俯视图a中的标记结果利用鱼眼相机成像公式换算后标记在鱼眼图像A中；
S9、输出标记结果，作为最终的障碍物检测结果。


2.如权利要求1所述的一种基于鱼眼相机的障碍物检测方法，其特征在于，所述步骤S1中的鱼眼图像A和鱼眼图像B来源于同一单目相机不同时刻拍摄或者来源于相邻相机同一时刻拍摄。


3.如权利要求1所述的一种基于鱼眼相机的障碍物检测方法，其特征在于，所述步骤S2具体包括：
采用转换俯视图方法对鱼眼相机拍摄的鱼眼图像进行形变处理，得到相应的俯视图，所述转换俯视图方法具体包括：
以车身位于水平地面时，鱼眼相机安装于车身，车身几何中心位置在地面的投影点为原点，建立车身坐标系Ow_XwYwZw，其中，OwYw轴垂直指向地面，OwZw轴指向车头，OwXw轴指向车身侧面；
以鱼眼相机光心为原点，光轴为Z’轴，建立鱼眼相机坐标系O_X’Y’Z’；
利用离线标定好的相机外参数，对鱼眼相机坐标系进行校正，得到校正后的相机坐标系O_XYZ中，OY轴平行于车身坐标系的OwYw轴；
在校正后的鱼眼相机坐标系O_XYZ中，对鱼眼图像像素点进行俯视图投影，得到地面俯视图，俯视图的图像平面坐标系为o_uv，校正过程通过反查表进行，即对俯视图中的每一个像素坐标(u,v)，计算其对应鱼眼图像中的像素点坐标(u’,v’)，并将鱼眼图像中坐标点(u’,v’)的像素亮度值，赋值给俯视图中的坐标点(u,v)；
在鱼眼相机中，对于鱼眼相机坐标系中一空间点(Xc,Yc,Zc)，其在鱼眼相机中的成像点像素坐标为(u’,v’)，成像公式可以描述为，



其中，



r(θ)＝k1θ+k3θ3+k5θ5+k7θ7+k9θ9(3)
k1,k3,k5,k7,k9,u0’,v0’,fx,fy为相机内参，可由离线内参标定算法得到，在算法实施过程中，为已知参数；
俯视图坐标(u,v)到鱼眼图像坐标(u’,v’)的计算方法为，首先根据式(4)计算(xc,yc,zc)，



式(4)中R为由相机的外参数构成的坐标系O_X’Y’Z’与坐标系O_XYZ之间的旋转矩阵，R可以通过离线外参标定方法获得，u0，v0，ax，ay为虚拟俯视图相机的内参数，可由用户根据实际需要自行设定，再利用公式(2)和(3)计算θ，r(θ)；



最后，将计算好的θ，r(θ)代入公式(1)，求出鱼眼图像中坐标点(u’,v’)；
对鱼眼图像A和鱼眼图像B，都进行上述俯视图转换，生成对应的俯视图a和俯视图b。


4.如权利要求1所述的一种基于鱼眼相机的障碍物检测方法，其特征在于，所述步骤S3的相对位置关系包括俯视图a与俯视图b各自所在的相机坐标系之间的旋转矩阵和平移向量。


5.如权利要求1所述的一种基于鱼眼相机的障碍物检测方法，其特征在于，所述步骤S5对俯视图a划分后的每一子块，假设子块像素点在其所在的相机坐标系中具有近似相同的真实高度h，结合俯视图b，求出h值的过程具体包括：
对于俯视图a中的任意一子块k中的任意一点(ua,va)，假设其对应的空间区域的真实高度为h，根据公式(5)可以求出点(xb,yb,zb)，再通过求解公式(6)，可以计算出其在俯视图b中的投影点坐标(ub,vb)






其中，RAB和TAB分别表示旋转矩阵和平移向量，为由所述步骤S3获取的俯视图a与俯视图b所在相机坐标系的相对位置关系；对子块k中的每一个点都进行上述计算，可以求出与子块k对应的在俯视图b中的区域kb，然后计算，这两个区域的像素差异ek，



其中，n表示子块k中像素点个数；i表示子块中的第i个像素；k(ua,i,va,i)表示俯视图a中，坐标位置(ua,i,va,i)的像素值；kb(ub,i,vb,i)表示俯视图b中，坐标位置(ub,i,vb,i)的像素值；
给定一个h值可以求出相应的ek，遍历h值，当ek最小时，对应的h值，确定为子块k对应的真实高度值。


6.如权利要求1所述的一种基于鱼眼相机的障碍物检测方法，其特征在于，所述步骤S6具体包括：
对于俯视图a中的每一子块求出的真实高度h，判断真实高度h与相机安装高度H的差异程度是否小于第一预设经验阈值T1，若小于第一预设经验阈值T1，则认为该子块位于地面上，是地面物体；
对于俯视图a中的...

【专利技术属性】
技术研发人员：于红绯，魏海平，贾银山，
申请(专利权)人：辽宁石油化工大学，
类型：发明
国别省市：辽宁;21