一种基于仿生视觉的智能车目标实时检测与定位方法技术

本发明专利技术涉及一种基于仿生视觉的智能车目标实时检测与定位方法，包括：实时获取智能车的多目成像装置中各不同焦距镜头的图像；检测每一图像中各目标的类别及位置信息；根据各镜头的物象空间齐次坐标系变换关系，将基准图像划分为共视区和非共视区；针对每一图像的共视区，采用双目异焦距立体视觉重建方法对共视区中的目标进行三维重建定位，获得目标的三维定位信息及类别标签语义信息；针对基准图像的非共视区，获取每一非共视区中目标的角度定位信息，以构建用于智能车的具有语义信息的矢量地图。上述方法解决了现有技术中无法在线实时构建三维语义地图，且无法降低无人驾驶中视觉点云数据的计算量和计算复杂度的技术问题。

【技术实现步骤摘要】
一种基于仿生视觉的智能车目标实时检测与定位方法
本专利技术涉及视觉检测定位
，尤其涉及一种基于仿生视觉的智能车目标实时检测与定位方法。
技术介绍
近年来，随着人类对生物仿生技术研究不断深入，人工智能技术正以前所未有的速度向前发展并实现突破。通过模拟人眼视觉系统和昆虫复眼成像机理构建仿生视觉传感器和高效计算机视觉解决方案，并实现目标的实时检测与定位是当前仿生视觉人工智能技术的研究热点。与激光雷达只能实现距离的感知不同，视觉传感器还可以实现交通标志、红绿灯以及车道线等复杂语义信息的识别，因此基于仿生视觉的无人驾驶汽车技术研究具有重大理论意义和应用价值。当前基于视觉三维定位与地图构建(SLAM)的无人驾驶解决方案(如ORB-SLAM，VINS-MONO，DSO)都是通过对整幅图像特征点提取和匹配，建立若干图像序列对应的三维点云稀疏或稠密地图，由于计算量大、实时性低，因此只能在PC平台下离线构建三维点云地图，并不能满足当前无人驾驶在嵌入式处理平台实时处理工程化需求。此外，当前视觉SLAM研究多是基于单目运动+惯性导航或平行双目立体视觉模型，即利用同一台运动或者两台参数完全相同的摄像机通过两幅图像的视差进行目标三维重建，这种单一视角的成像模式缺点是很难满足视场角，分辨率以及检测速度三者之间的平衡。由此可见，在大视场、高精度、快速感知的前提下，如何有效降低视觉定位算法的复杂度和三维点云数据的计算量，同时能够在线构建语义SLAM成为无人驾驶技术工程化的难点所在。
技术实现思路
(一)要解决的技术问题鉴于现有技术的上述缺点、不足，本专利技术提供一种基于仿生视觉的智能车目标实时检测与定位方法，其解决了现有技术中无法降低无人驾驶中视觉数据的计算量，从而无法在线实时构建语义SLAM的技术问题。(二)技术方案为了达到上述目的，本专利技术采用的主要技术方案包括：第一方面，本专利技术实施例提供一种基于仿生视觉的智能车目标实时检测与定位方法，包括：步骤S1、实时获取智能车的多目成像装置中各不同焦距镜头的图像；步骤S2、检测每一镜头的图像中各目标的类别及位置信息；步骤S3、以焦距最小的镜头的图像为基准图像，根据不同焦距镜头对应的物象空间齐次坐标系变换关系，将基准图像划分为共视区和非共视区；步骤S4、针对每一图像的共视区，采用双目异焦距立体视觉重建方法对共视区中的目标进行三维重建定位，获得基准图像中共视区所有目标的三维定位信息及类别标签语义信息；针对基准图像的非共视区，根据该图像所属摄像装置的第一视角划分上下左右四个区域，以透视网格划分的方式获取每一非共视区中目标的角度定位信息；所述三维定位信息及类别标签语义信息和非共视区对应的角度定位信息构建用于智能车的具有语义信息的矢量地图。具体地，在实际应用中，上述步骤S3属于二维坐标系下的坐标变换关系，步骤S4是属于三维坐标系的重建方法，进而构建的矢量地图包含所有焦距图像中的目标的关键信息，其实现在线实时构建，进而可进行真正的工程化应用，具有较高的实用性。可选地，所述步骤S2包括：采用YOLOv5目标实时检测算法检测每一镜头的图像中各目标的类别及位置信息；和/或，所述目标包括：红绿灯、限速牌、行人、小动物、车辆或车道线等；所述类别及位置信息包括：目标在各图像中的位置信息、尺寸信息和类别信息。可选地，所述步骤S3包括：在所述焦距镜头大于等于3个时，将不同焦距镜头划分为长焦距镜头和短焦距镜头；针对短焦距镜头，以短焦距镜头中焦距最小镜头的图像作为基准图像一，将短焦距镜头中其他镜头视场角对应基准图像一的成像区间划分为共视区一和非共视区一；针对长焦距镜头，以长焦距镜头中焦距最小的镜头的图像作为基准图像二，将长焦距镜头中其他镜头视场角对应基准图像二的成像区间划分为共视区二和非共视区二。可选地，所述步骤S4包括：采用双目异焦距立体视觉重建方法，获取基准图像一中共视区一所有目标的三维定位信息及类别标签语义信息；以透视网格划分的方式，获取基准图像一中非共视区一中各目标的角度定位信息；采用双目异焦距立体视觉重建方法，获取基准图像二中共视区二所有目标的三维定位信息及类别标签语义信息；以透视网格划分的方式，获取基准图像二中非共视区二中各目标的角度定位信息；相应地，所述方法还包括步骤S5，步骤S5包括：将获取的所有三维定位信息及类别标签语义信息、所有的角度定位信息与多目成像装置中的三维点云数据进行融合，构建用于智能车的三维语义地图。可选地，所述步骤S4包括：采用双目异焦距立体视觉重建方法，获取基准图像一中共视区一所有目标的三维定位信息及类别标签语义信息；以透视网格划分的方式，获取基准图像一中非共视区一中各目标的角度定位信息；采用双目异焦距立体视觉重建方法，获取基准图像二中共视区二所有目标的三维定位信息及类别标签语义信息；以透视网格划分的方式，获取基准图像二中非共视区二中各目标的角度定位信息；将基准图像一和基准图像二中共视区所有目标的三维定位信息及类别标签语义信息以及非共视区中各目标的角度定位信息通过一系列坐标变换转到预定的全局坐标系下(大地坐标系下经纬度)。可选地，所述步骤S3，包括：若步骤S2中检测到同一个目标在任一焦距的镜头的图像中存在对应的角点为a,b,c,d；焦距最小的镜头的图像中存在的对应的角点a′,b′,c′,d′；在上述两个镜头的坐标系不重合和/或镜头焦距不相同时，基于物象空间齐次坐标系变换关系，则将焦距最小镜头作为基准图像并划分为a,b,c,d和a′,b′,c′,d′八个角点组成的回字形区域；其中，回字形区域的中心“口”字形为重叠的成像区域作为共视区；中心“口”字形a,b,c,d至回字形的边界区域a′,b′,c′,d′为非重叠的成像区域作为非共视区。可选地，所述步骤S4，包括：S4-1、根据下述的两像面坐标关系式(A1)确定建立多目标图像的每一目标在各图像中坐标的一一映射关系；S4-2、借助于多个分辨率和焦距不同的相机，并依据双目平行视觉模型，检测空间点M这个目标在三维空间的深度信息Z值；具体地，空间点M的坐标(X,Y,Z)为：其中，两相机镜头的焦距f1、f2以及基线距离b属于预先标定的参数，通过公式(A1)获取像素坐标的对应关系x1、y1和x2、y2；S4-3、根据上述空间点M的三维坐标关系式(A2)在基准图像的共视区对检测目标进行重建，并标记检测目标区域的平均深度值。可选地，短焦镜头为8mm焦距镜头和12mm焦距镜头，长焦镜头为16mm焦距镜头和25mm焦距镜头；8mm和12mm短焦镜头用来监控90°大视场角内5-35m近距离目标，16mm和25mm长焦镜头用来监控40°小视场角内10-60m远距离目标。第二方面，本专利技术实施例提供一种智本文档来自技高网...

【技术保护点】
1.一种仿生视觉的智能车目标实时检测与定位方法，其特征在于，包括：/n步骤S1、实时获取智能车的多目成像装置中各不同焦距镜头的图像；/n步骤S2、检测每一镜头的图像中各目标的类别及位置信息；/n步骤S3、以焦距最小的镜头的图像为基准图像，根据不同焦距镜头对应的物象空间齐次坐标系变换关系，将基准图像划分为共视区和非共视区；/n步骤S4、针对每一图像的共视区，采用双目异焦距立体视觉重建方法对共视区中的目标进行三维重建定位，获得基准图像中共视区所有目标的三维定位信息及类别标签语义信息；/n针对基准图像的非共视区，根据该图像所属摄像装置的第一视角划分上下左右四个区域，以透视网格划分的方式获取每一非共视区中目标的角度定位信息；/n所述三维定位信息及类别标签语义信息和非共视区对应的角度定位信息构建用于智能车的具有语义信息的矢量地图。/n

【技术特征摘要】
1.一种仿生视觉的智能车目标实时检测与定位方法，其特征在于，包括：
步骤S1、实时获取智能车的多目成像装置中各不同焦距镜头的图像；
步骤S2、检测每一镜头的图像中各目标的类别及位置信息；
步骤S3、以焦距最小的镜头的图像为基准图像，根据不同焦距镜头对应的物象空间齐次坐标系变换关系，将基准图像划分为共视区和非共视区；
步骤S4、针对每一图像的共视区，采用双目异焦距立体视觉重建方法对共视区中的目标进行三维重建定位，获得基准图像中共视区所有目标的三维定位信息及类别标签语义信息；
针对基准图像的非共视区，根据该图像所属摄像装置的第一视角划分上下左右四个区域，以透视网格划分的方式获取每一非共视区中目标的角度定位信息；
所述三维定位信息及类别标签语义信息和非共视区对应的角度定位信息构建用于智能车的具有语义信息的矢量地图。


2.根据权利要求1所述的方法，其特征在于，所述步骤S2包括：
采用YOLOv5目标实时检测算法检测每一镜头的图像中各目标的类别及位置信息；
和/或，所述目标包括：红绿灯、限速牌、行人、小动物、车辆或车道线；
所述类别及位置信息包括：目标在各图像中的位置信息、尺寸信息和类别信息。


3.根据权利要求1所述的方法，其特征在于，所述步骤S3包括：
在所述焦距镜头大于等于3个时，将不同焦距镜头划分为长焦距镜头和短焦距镜头；
针对短焦距镜头，以短焦距镜头中焦距最小镜头的图像作为基准图像一，将短焦距镜头中其他镜头视场角对应基准图像一的成像区间划分为共视区一和非共视区一；
针对长焦距镜头，以长焦距镜头中焦距最小的镜头的图像作为基准图像二，将长焦距镜头中其他镜头视场角对应基准图像二的成像区间划分为共视区二和非共视区二。


4.根据权利要求3所述的方法，其特征在于，所述步骤S4包括：
采用双目异焦距立体视觉重建方法，获取基准图像一中共视区一所有目标的三维定位信息及类别标签语义信息；
以透视网格划分的方式，获取基准图像一中非共视区一中各目标的角度定位信息；
采用双目异焦距立体视觉重建方法，获取基准图像二中共视区二所有目标的三维定位信息及类别标签语义信息；
以透视网格划分的方式，获取基准图像二中非共视区二中各目标的角度定位信息；
相应地，所述方法还包括步骤S5，
步骤S5包括：
将获取的所有三维定位信息及类别标签语义信息、所有的角度定位信息与多目成像装置中的三维点云数据进行融合，构建用于智能车的三维语义地图。


5.根据权利要求3所述的方法，其特征在于，所述步骤S4包括：
采用双目异焦距立体视觉重建方法，获取基准图像一中共视区一所有目标的三维定位信息及类别标签语义信息；以透视网格划分的方...

【专利技术属性】
技术研发人员：安成刚，张立国，李巍，李会祥，吴程飞，张志强，王增志，张旗，史明亮，
申请(专利权)人：廊坊和易生活网络科技股份有限公司，
类型：发明
国别省市：河北;13