【技术实现步骤摘要】
本专利技术涉及一种基于光场图像的多传感器融合测距系统及方法，属于信息。
技术介绍
1、近年来，随着人工智能技术的快速普及，自动驾驶成为新的研究热点，它依赖于先进的传感器、计算机视觉技术、机器学习算法和深度学习算法等，通过感知周围环境、分析数据并做出相应的驾驶决策，使得交通载具能够在没有人类驾驶员的情况下自主地进行行驶和操作。自动驾驶技术的发展衍生出了许多引人注目的研究方向，包括实时建图、目标定位、场景感知、路径规划和状态控制系统等。相关的商业化进程以车辆为主，并逐渐扩展到船舶和无人机。
2、自动驾驶场景感知系统是指车辆使用各种传感器和技术来实时感知周围环境和道路条件。这些传感器和技术协同工作，收集和处理大量数据，从而检测所有障碍物，提供位置坐标以及相应的速度信息，以实现准确和全面的认知。现有的感知传感器主要分为雷达和相机两类，前者直接扫描三维点云数据实现距离测量，发射的激光波束可以穿透雨滴、云雾和一些障碍物，对于恶劣天气条件和低光照环境有更好的适应性，但是雷达的低分辨率导致对于垂直结构物体的感知能力有限；后者捕获二维图像以提供颜色和纹理信息。然而，在强烈的光照或低照度环境下，图像质量的退化会降低物体识别准确率，而且单个摄像头视野有限，存在视野盲区无法提供对周围环境的全面感知。
3、为了解决单个感知传感器的问题，自动驾驶车辆通常同时利用多个传感器来增强其感知能力。目前已经提出多个融合雷达和相机多模态数据的方法，发挥点云和图像的优势，将三维结构和深度特征与二维颜色线索和纹理特征相结合。但是，激光雷达作为唯一的
技术实现思路
1、本专利技术技术解决问题：克服现有技术的不足，提供一种基于光场的多传感器融合测距系统及方法，提高了距离测量的准确性和鲁棒性，实现测量量程广、感知精度高、运行延迟低的物体识别和深度估计性能，为自动驾驶系统中的路径规划和避障等关键任务提供了必要信息。
2、本专利技术的技术解决方案如下：
3、第一方面，本专利技术提一种光场图像目标物体检测与深度估计方法，其特点在于：利用光场图像独有的角度维度信息实现鲁棒的物体级深度估计，包括光场图像目标物体检测、光场图像目标物体特征点匹配和光场图像视差-深度转换步骤；实现如下：
4、光场图像目标物体检测步骤：将光场相机获取的光场图像沿水平、竖直、45°和135°四个方向拆分为多个视角规则分布的子孔径图像，在每个子孔径图像内执行已训练好的单目图像目标物体检测算法，获得所有视角图像下的检测框结果；
5、光场图像目标物体特征点匹配步骤：基于所有视角图像下的检测框结果，沿水平、竖直、45°和135°四个方向的子孔径图像序列匹配同一目标物体特征点，匹配同一目标物体特征点的方法采用分治策略，即将整个光场图像目标物体特征点匹配过程拆分为多个相邻视角图像的双目视觉目标物体特征点匹配，双目视觉目标物体特征点匹配时采用目标物体匹配和目标物体特征点匹配两级匹配，先得到目标物体匹配结果，再依据目标物体匹配结果，得到目标物体特征点匹配结果；然后将所有的目标物体特征点匹配结果合并，最后得到光场图像目标物体特征点匹配结果；
6、光场图像视差-深度转换步骤：根据光场图像目标物体特征点匹配结果计算目标物体在每个方向的子孔径图像序列之间的像素偏移，即视差，并结合光场相机内参矩阵和光场相机间距离完成视差到深度的转换，得到水平、竖直、45°和135°四个方向的深度候选，再通过权重自适应加权，最终得到物体级深度估计结果。
7、特别地，所述光场图像目标物体特征点匹配步骤中，目标物体匹配时，对多个相邻视角图像通过设定的约束条件实现准确的粗粒度的目标物体匹配；所述约束条件为图像结构相似性、检测框规模相似性、检测框像素偏移；
8、所述图像结构相似性是指同一目标物体在相邻视角图像中的两个检测框限定的局部图像区域具有相似的结构、纹理、边缘的特征；
9、所述检测框规模相似性是指同一目标物体在相邻视角图像中的两个检测框在水平方向和竖直方向均具有相似的检测框边长；
10、所述检测框像素偏移是指同一目标物体在相邻视角图像中的两个检测框沿水平方向和竖直方向的像素偏移处于合理范围，所述合理范围由目标物体有效深度测距量程和光场相机间距离反向推出。
11、特别地，所述光场图像目标物体特征点匹配步骤中，目标物体特征点匹配实现如下：
12、(1)遍历目标物体匹配结果，在检测框限定的局部图像区域内运行尺度不变特征转换算法，计算同一目标物体在所有视角图像中的特征点集合；
13、(2)以最左侧视角图像作为基准图像，通过k近邻匹配算法将最左侧视角图像的特征点集合依次和其他所有视角图像提取的特征点集合匹配，合并所有特征点匹配结果并进行排序，其中包含特征点的有效视角图像数量具有第一优先级由大至小排序，特征点之间的欧氏距离具有第二优先级由小至大排序；
14、(3)遍历已排序的特征点匹配结果，如果当前的匹配特征点欧氏距离超过最大阈值，继续遍历；如果小于阈值，结束遍历，该当前遍历特征点即为目标物体特征点匹配结果；
15、(4)对于受限于分辨率无法提取尺度不变特征的目标物体，不执行步骤(1)～(3)，直接使用目标物体检测框的中心坐标点作为目标物体特征点匹配结果。
16、特别地，所述光场图像视差-深度转换步骤中，根据光场图像目标物体特征点匹配结果计算目标物体在每个方向的子孔径图像序列之间的像素偏移，即视差，并结合光场相机内参矩阵和光场相机间距离完成视差到深度的转换，得到水平、竖直、45°和135°四个方向的深度候选，再通过权重自适应加权，最终得到物体级深度估计结果具体实现如下：
17、(1)依据目标物体特征点的空间坐标和视角图像的角度坐标，确定组成子孔径图像序列的每个视角图像的目标物体特征点在极面图像中对应的二维坐标；再利用最小二乘法获得初始的拟合直线即极面图像中的视差极线，进而计算每个特征点到视差极线的距离，并将所述距离与预设的阈值进行比较，如果所述距离超出阈值，则认为该特征点异常并从极面图像中删除；对于剩余的特征点，重复上述直线拟合和异常检测过程，直至剩余特征点即有效特征点到视差极线的距离均处于阈值范围内，得到目标物体特征点在极面图像中的视差极线；
18、(2)针对水平、竖直、45°和135°四个方向子孔径图像序列分别执行四次步骤(1)的过程，获得四条视差极线以及每条极线包含的有效匹配特征点个数，计算每条视差极线的斜率，从而获得目标物体在当前方向的子孔径图像序列之间的像素偏移，即视差，结合光场相机内参矩阵和光场相机间距离将所述目标物体的视差转换成深度值，得到水平、竖直、45°和135°四个方向的深度候选本文档来自技高网...
【技术保护点】
1.一种光场图像目标物体检测与深度估计方法，其特征在于：利用光场图像独有的角度维度信息实现鲁棒的物体级深度估计，包括光场图像目标物体检测、光场图像目标物体特征点匹配和光场图像视差-深度转换步骤；实现如下：
2.根据权利要求1所述的光场图像目标物体检测与深度估计方法，其特征在于：所述光场图像目标物体特征点匹配步骤中，目标物体匹配时，对多个相邻视角图像通过设定的约束条件实现准确的粗粒度的目标物体匹配；所述约束条件为图像结构相似性、检测框规模相似性、检测框像素偏移；
3.根据权利要求1所述的光场图像目标物体检测与深度估计方法，其特征在于：所述光场图像目标物体特征点匹配步骤中，目标物体特征点匹配实现如下：
4.根据权利要求1所述的光场图像目标物体检测与深度估计方法，其特征在于：所述光场图像视差-深度转换步骤中，根据光场图像目标物体特征点匹配结果计算目标物体在每个方向的子孔径图像序列之间的像素偏移，即视差，并结合光场相机内参矩阵和光场相机间距离完成视差到深度的转换，得到水平、竖直、45°和135°四个方向的深度候选，再通过权重自适应加权，最终得到物体级深
5.一种光场图像目标物体检测与深度估计系统，其特征在于，包括光场图像目标物体检测模块、光场图像目标物体特征点匹配模块和光场图像视差-深度转换模块；其中：
6.一种基于光场图像的多传感器融合测距系统，其特征在于：包括激光雷达精准定位模块、光场图像目标物体检测与深度估计模块、光场-雷达多传感器融合测距模块；
7.根据权利要求6所述的基于光场图像的多传感器融合测距系统，其特征在于：所述激光雷达精准定位模块实现如下：获取所有激光雷达扫描形成的结构化三维点云数据，根据雷达自身安装位置和周围环境特点对点云数据进行过滤预处理，排除掉无效的数据点，避免对后续处理产生干扰同时简化计算规模；将每个雷达处理后的三维点云数据转化到统一坐标系进行数据合并，忽略点云高度形成鸟瞰图，最后利用快速欧氏聚类进行平面点云聚类，聚类结果反映雷达感知目标物体的整体结构信息，将所有相关点云数据相加求和得到目标物体中心空间点坐标。
8.根据权利要求6所述的基于光场图像的多传感器融合测距系统，其特征在于：所述雷达-相机坐标系正投影和相机-雷达坐标系反投影分别实现如下：
9.一种电子设备，其特征在于，包括处理器和存储器，其中；
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被执行时，实现权利要求1-4中任意之一所述的方法，或权利要求5所述的系统，或权利要求6-8中任意之一所述的系统。
...【技术特征摘要】
1.一种光场图像目标物体检测与深度估计方法，其特征在于：利用光场图像独有的角度维度信息实现鲁棒的物体级深度估计，包括光场图像目标物体检测、光场图像目标物体特征点匹配和光场图像视差-深度转换步骤；实现如下：
2.根据权利要求1所述的光场图像目标物体检测与深度估计方法，其特征在于：所述光场图像目标物体特征点匹配步骤中，目标物体匹配时，对多个相邻视角图像通过设定的约束条件实现准确的粗粒度的目标物体匹配；所述约束条件为图像结构相似性、检测框规模相似性、检测框像素偏移；
3.根据权利要求1所述的光场图像目标物体检测与深度估计方法，其特征在于：所述光场图像目标物体特征点匹配步骤中，目标物体特征点匹配实现如下：
4.根据权利要求1所述的光场图像目标物体检测与深度估计方法，其特征在于：所述光场图像视差-深度转换步骤中，根据光场图像目标物体特征点匹配结果计算目标物体在每个方向的子孔径图像序列之间的像素偏移，即视差，并结合光场相机内参矩阵和光场相机间距离完成视差到深度的转换，得到水平、竖直、45°和135°四个方向的深度候选，再通过权重自适应加权，最终得到物体级深度估计结果具体实现如下：
5.一种光场图像目标物体检测与深度估计系统，其特征在于，包括光场图像目标物体检测模块、光场图像目标物体特征点...
【专利技术属性】
技术研发人员：盛浩，丛睿轩，赵明远，王暾，陈荣山，张莹莹，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。