一种基于单目视觉的道路场景中车辆目标的三维重建方法技术

本发明专利技术公开了一种基于单目视觉的道路场景中车辆目标的三维重建方法；首先分析道路场景与车辆目标形状的先验知识，将物体形状的模型数据转换成体积TSDF网格，实现目标的初始化姿态估计；然后根据3D目标检测方法检测场景中的车辆目标，并基于立体匹配库获得目标的立体重建结果；最后综合先验模型与重建结果进行优化处理；利用真实的评测数据集对算法进行了性能评估。本发明专利技术根据车辆目标形状的先验知识，将物体形状的模型数据转换成体积TSDF网格，通过单目3D目标检测方法，对场景中的车辆目标检测并立体匹配获得重建结果，综合先验模型对重建结果进行优化。本发明专利技术有利于智能车辆的决策和提高安全驾驶的能力。和提高安全驾驶的能力。和提高安全驾驶的能力。

【技术实现步骤摘要】
一种基于单目视觉的道路场景中车辆目标的三维重建方法


[0001]本专利技术涉及计算机视觉
，具体涉及一种基于单目视觉的道路场景中车辆目标的三维重建方法。

技术介绍

[0002]随着我国城市化进程的不断加深，道路交通环境也变得越来越复杂，交通部门对于城市街道的管理也变得更加困难。如果能够获取道路场景中车辆目标的相关三维数据，那么监管道路交通以及改善交通环境将变得容易。三维立体重建能够通过场景的深度信息高效的分析交通流数据，对街道交通状况分析以及自动驾驶判断空间可能发生的碰撞很有帮助。重建车辆在道路场景的三维模型更有助于实现车距检测、驾驶路况判断、车道偏离警告、前部碰撞警告、智能前灯控制等功能。
[0003]当周围环境中的视觉信息传入大脑后，我们的大脑会根据已有的知识或经历，对信息进行加工、分类、推理，从而识别周围环境信息，并且产生自己的理解。对于计算机而言，直接理解图像中的信息是十分困难的。目前可以结合摄像头等外部设备，让计算机模拟人的视觉。通过拍摄的图像获取外界信息，实现对外部世界场景中物体的识别与理解。与人类视觉所不同的是，计算机视觉分为单目视觉、双目视觉和多目视觉。目前基于双目视觉的立体重建得到了广泛研究，但因其使用成本较高、设备结构稳定性要求高以及数据处理复杂的特点，在实际生活中适用的场景计较局限。相比于双目视觉的三维重建，单目视觉使用的摄像设备占用空间更小，只用对单幅图像进行处理，对处理芯片计算能力要求不高，并且不用考虑两个摄像头的精确位置，在机器结构制造工艺的要求有所降低，在未来将会更好的适应市场环境。
[0004]基于以上两点，本文提出了一种单目道路场景中车辆目标的三维重建算法。
[0005]目前，在三维重建的领域有多种建模方法，包括使用三维扫描仪器直接扫描场景进行建模；使用三维建模软件构建模型；以及使用基于图像的建模方法从图像信息计算出三维模型信息。对于本文所研究的道路场景中的车辆目标三维重建，三维扫描仪器对于模型庞大的车辆目标并不适用，三维建模软件对于高速变化的交通场景也无能为力。基于图像的立体重建能够通过摄像设备和计算机对道路图像进行实时分析，根据输入图像配合已有的算法就能重建出车辆目标三维模型，并且使用设备的成本相对较低。
[0006]本专利技术使用基于图像的方法对车辆目标进行三维重建。基于图像的三维重建在如今具有很高的研究价值，它的快速发展得益于计算机视觉算法的完善。将人类视觉能力赋予计算机，使计算机能够获得三维环境信息是计算机视觉的重要研究方向。追溯至二十世纪五十年代的统计模式识别，主要解决了二维图像分析和识别。二十世纪八十年代初，出现了完善的计算机视觉框架体系：计算机视觉框架体系将视觉处理分为三个阶段，第一阶段形成“基元图”；第二阶段形成2.5维描述(部分的、不完整的三维描述)；第三阶段是完整的三维描述。从二十世纪九十年代开始，在工业领域中计算机视觉的应用得到了广泛普及，同时多视图几何视觉理论研究也逐步完善。特征点检测匹配、相机自标定、单目双目或多目的
三维重构理论经过不断完善，使基于图像的三维建模技术一步步走向成熟。
[0007]随着计算机视觉算法的不断完善，以计算机视觉理论框架为基石的图像立体重建产生了多种方向。从相机数目来进行划分，重建的方法可分为多目视觉方法、双目视觉及单目视觉方法。对于重建精度、效果的稳定性和适用范围，双目或多目视觉方法往往优于单目视觉方法。但多个相机之间需要精确标定，位置固定，结构稳定，灵活性较差。为了实现多相机间采集图像的同步性和稳定性，额外增加控制设备是必不可少的，这又会增加硬件成本。单目视觉方法仅使用一台相机拍摄的场景图像进行三维重建。单目视觉所使用的图像又可细分为单一视点单幅图像、多个视点多幅图像和多幅图像。对于单一视点，重建方法主要有：明暗度恢复形状法，它是由麻省理工学院最先提出。明暗度法能通过单一视点获取的一张图像完成三维重建，但它的重建步骤仅仅依赖数学运算，重建的效果并不使人满意；Woodham教授对明暗度法图像信息量少，重建精度较低的缺点进行改良，提出了光度立体视觉法。光度立体视觉法通过多个光源进行照射，光源与光源之前不共线，然后对照射到的物体采集图像并联立亮度方程，以求解物体表面法向，进而实现三维重建，相比较明暗度法，光度立体视觉法的重建精度有较大提高。纹理法是通过对物体表面上的纹理单元的形状、大小进行分析，进而恢复物体立体信息，仅依靠单幅图像便可重建出三维模型。利用多视点多幅图像的三维重建方法主要有运动法和以它为基础形成的多视图立体法，以及轮廓法等方法。随着相机自标定技术的不断发展，在精度要求不太高的场合下，只需要拍摄的图像就能够直接完成三维重建的全过程，这样就可以避免繁琐的相机标定步骤，实现立体重建的全自动化。
[0008]总的来说，虽然双目相机是我们经常使用的三维重建图像获取终端，但由于双目相机的成本较高，研究一种通过单目相机三维重建的方法将可能是三维重建成本控制中的一个突破点。所以单目视觉方法相对于双目或者多目，更具有研究的价值。

技术实现思路

[0009]有鉴于此，本专利技术提供一种基于单目视觉的道路场景中车辆目标的三维重建方法。
[0010]本专利技术一种基于单目视觉的道路场景中车辆目标的三维重建方法，步骤如下：
[0011]S1、采用张正友标定法对单目相机进行标定，获得相机内外参数及其畸变参数；
[0012]S2、对获取的原始图像进行预处理，并对其进行3D车辆目标检测；
[0013]S3、通过图像特征点匹配，并结合标定参数，获得视差图，在视差图的基础上通过三角测量原理得到深度图；
[0014]S4、根据事先估计的相机位姿参数，对深度图进行数据处理，将车辆目标转化TSDF模型，并通过对构建的TSDF模型进行加权融合的方法来不断进行模型的更新；
[0015]S5、根据先验数据与实际数据构造代价函数，对代价函数使用梯度下降法进行求解，使TSDF模型的形状与姿态达到最优化；
[0016]S6、通过可视化工具，对达到最优的TSDF模型数据进行处理并构建可视化窗口。
[0017]本专利技术提供的技术方案带来的有益效果是：本专利技术根据车辆目标形状的先验知识，将物体形状的模型数据转换成体积TSDF网格，通过单目3D目标检测方法，对场景中的车辆目标检测并立体匹配获得重建结果，综合先验模型对重建结果进行优化。本专利技术可帮助
智能车辆获得道路场景中周围车辆信息，通过三维信息的获取，有利于智能车辆的决策和提高安全驾驶的能力。重建方法简单，模型姿态精度高，稠密度好，处理速度快，成本低。
附图说明
[0018]图1是本专利技术的流程图；
[0019]图2是单应性矩阵示意图；
[0020]图3是三角测量原理图；
[0021]图4是对极几何图示意图；
[0022]图5是二维形式的TSDF；
[0023]图6是对目标优化后的TSDF模型；
[0024]图7是道路图像视差图。
具体实施方式
[0025本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于单目视觉的道路场景中车辆目标的三维重建方法，其特征在于，包括以下步骤：S1、采用张正友标定法对单目相机进行标定，获得相机内外参数及其畸变参数；S2、对获取的原始图像进行预处理，并对其进行3D车辆目标检测；S3、通过图像特征点匹配，并结合标定参数，获得视差图，在视差图的基础上通过三角测量原理得到深度图；S4、根据事先估计的相机位姿参数，对深度图进行数据处理，将车辆目标转化TSDF模型，并通过对构建的TSDF模型进行加权融合的方法来不断进行模型的更新；S5、根据先验数据与实际数据构造代价函数，对代价函数使用梯度下降法进行求解，使TSDF模型的形状与姿态达到最优化；S6、通过可视化工具，对达到最优的TSDF模型数据进行处理并构建可视化窗口。2.根据权利要求1所述的一种基于单目视觉的道路场景中车辆目标的三维重建方法，其特征在于，步骤S2所述预处理具体如下：S21、对图像中的噪声进行去除，采用高斯平滑滤波器过滤噪声，去除细节使图像均匀平滑；S22、对图像中的车辆目标进行3D检测，确定车辆位置并在图像上进行分割；S23、根据公式：Gray＝R
×
0.299+G
×
0.587+B
×
0.114将RGB图像进行加权求和转化为灰度图；S24、采用直方图均衡增强图像对比度。3.根据权利要求1所述的一种基于单目视觉的道路场景中车辆目标的三维重建方法，其特征在于，所述步骤S3具体如下：对相机进行标定并且匹配图像后，获得两幅位于同一平面的图像，两个成像平面为A、B，世界坐标系中P点在两个相机成像面上的投影点为X
L
和X
R
，点P在左右相机上投影点坐标差值为视差d，即d＝X
L
‑
X
R
，再根据相似三角形原理得出下式：其中，T为左右相机光心距离，Z为P点的深度信息，即P点与相机平面的距离...

【专利技术属性】
技术研发人员：段帅东，刘玮，高明强，马云，
申请(专利权)人：中国地质大学武汉，
类型：发明
国别省市：