【技术实现步骤摘要】
本专利技术涉及智慧交通，具体涉及基于双目立体视觉的车辆立体框标注方法及系统。
技术介绍
1、在智慧交通领域中，人工智能应用领域越来越广泛，通过人工智能技术，使得计算机视觉更加智能，承担车辆识别、追踪和预测以及流量统计等功能，使得交通系统能够感知道路环境中的汽车，从而帮助交通管理完成决策过程。随着深度学习的快速发展，利用深度学习技术实现车辆的目标检测已经成为智慧交通中一种不可逆的趋势。目标检测方法主要分为基于2d的目标检测以及基于3d的目标检测，而基于3d的目标检测可以检测出车辆的3维立体框，从而给出车辆更准确的位置和形状信息，辅助交通管理做好决策，因此现在基于单目的车辆3d立体框检测成为未来目标检测的趋势。
2、在智慧交通领域中，相机一般装置在路口的监控杆上，以一定角度俯视拍摄行驶测车辆，然后通过目标检测算法检测出行驶车辆，并对车辆的各种信息进行识别。为了提高检测准确率，必须需要大量的用于俯拍车辆的3d立体框检测的样本和数据集。
3、目前存在的车辆3d立体框标注的方法包括：
4、1、采用软件虚拟合成的方法，通过3d建模软件直接生成车辆模型的3维立体框；
5、2、借助点云中的立体框得到rgb图像中的立体框的标注方式，即通过激光雷达产生的点云以及点云中标好的车辆的外接立体框反投影回rgb图像，得到在rgb图像中的3维立体框。例如kitti、nuscenes等。
6、上述方法中，通过3d建模软件合成的数据集存在泛化性较差的问题；通过点云立体框得到rgb三维立体框的数据集要求现
技术实现思路
1、有鉴于此，本专利技术提供了一种基于双目立体视觉的车辆立体框标注方法及系统，以解决立体框标注局限性差、成本高的问题。
2、第一方面，本专利技术提供了一种基于双目立体视觉的车辆立体框标注方法，所述方法包括：
3、通过双目摄像机实时采集预设道路上的图像，并对采集的图像进行预处理；
4、利用立体匹配算法对预处理后的图像进行处理，生成双目图像的视差图和深度图；
5、基于视差图和双目摄像机的参数信息，计算图像中每个像素的三维坐标，生成原始点云；
6、对原始点云进行预处理，得到去除地面后的点云，利用深度图和聚类分割算法的，对去除地面后的点云进行分割，得到分割后的每个车辆的点云；
7、将每个车辆的点云由相机坐标系转换到地面坐标系，获取车辆的高度，再将车辆点云投影到地面，获得每个车辆的俯视图；
8、对车辆的俯视图进行二维框的检测和识别，获取车辆的外接矩形框，再结合车辆高度得到车辆的在地面坐标系下的外接立体框坐标；
9、将立体框坐标转换到相机坐标系，得到相机坐标系下的立体框坐标。
10、本专利技术提供的基于双目立体视觉的车辆立体框标注方法，将双目立体视觉引入车辆标注，通过引入图像的三维信息，提高车辆标注的准确性，并节省了大量的人工标注成本，通过双目摄像头获取点云较之雷达传感器获取点云节省了成本以及点云稠密的优点。
11、在一种可选的实施方式中，对采集的图像进行预处理包括：畸变矫正和极线矫正。
12、本专利技术通过对图像进行畸变矫正和极线矫正，对畸变的图像进行校正及通过对图像中的极线进行矫正，来消除图像中的畸变，使得图像中的直线变得更加平直，以提高后续图像处理的准确性。
13、在一种可选的实施方式中，视差图通过神经网络的立体匹配算法生成。
14、本专利技术通过神经网络的立体匹配算法生成视差图，以获得同一个场景在两个相机下成像的像素的位置偏差。
15、在一种可选的实施方式中，深度图通过以下公式进行计算：
16、d＝b*f/disparity
17、其中，d为车辆到相机的距离,b为双目相机的基线,f为双目相机的焦距,disparity为双目图像的视差值。
18、本专利技术通过上述公式计算场景中每个点离相机的距离。
19、在一种可选的实施方式中，三维坐标的计算通过以下公式进行计算：
20、
21、其中，u，v为图像中像素坐标，d为双目摄像机左右两幅图像的视差，q矩阵为重投影矩阵，重投影矩阵实现像素坐标系和到世界坐标系之间的坐标转换,x，y，z，w为矩阵相乘计算得到的结果，转换后的三维世界坐标为(x/w,y/w,z/w)。
22、本专利技术通过公式计算三维坐标，为后续坐标转换提供基础，通过引入图像的三维信息，提高车辆标注的准确性，并节省大量的人工标注成本。
23、在一种可选的实施方式中，通过以下公式计算重投影矩阵q：
24、
25、其中，重投影矩阵q中，cx和cy为左相机图像中心点的横坐标和纵坐标，f为双目相机的焦距，b为双目相机的基线，c'x为右相机图像中心点的横坐标。
26、第二方面，本专利技术提供了一种基于双目立体视觉的车辆立体框标注系统，所述系统包括：
27、图像获取模块，用于通过双目摄像机实时采集预设道路上的图像，并对采集的图像进行预处理；
28、生成模块，用于利用立体匹配算法对预处理后的图像进行处理，生成双目图像的视差图和深度图；
29、点云生成模块，用于基于视差图和双目摄像机的参数信息，计算图像中每个像素的三维坐标，生成原始点云；
30、分割模块，用于对原始点云进行预处理，得到去除地面后的点云，利用深度图和聚类分割算法的，对去除地面后的点云进行分割，得到分割后的每个车辆的点云；
31、第一转换模块，用于将每个车辆的点云由相机坐标系转换到地面坐标系，获取车辆的高度，再将车辆点云投影到地面，获得每个车辆的俯视图；
32、计算模块，用于对车辆的俯视图进行二维框的检测和识别，获取车辆的外接矩形框，再结合车辆高度得到车辆的在地面坐标系下的外接立体框坐标；
33、第二转换模块，用于将立体框坐标转换到相机坐标系，得到相机坐标系下的立体框坐标。
34、第三方面，本专利技术提供了一种计算机设备，包括：存储器和处理器，存储器和处理器之间互相通信连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行上述第一方面或其对应的任一实施方式的基于双目立体视觉的车辆立体框标注方法。
35、第四方面，本专利技术提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机指令，计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的基于双目立体视觉的车辆立体框标注方法。
本文档来自技高网...【技术保护点】
1.一种基于双目立体视觉的车辆立体框标注方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，对采集的图像进行预处理包括：畸变矫正和极线矫正。
3.根据权利要求1所述的方法，其特征在于，视差图通过神经网络的立体匹配算法生成。
4.根据权利要求1所述的方法，其特征在于，深度图通过以下公式进行计算：
5.根据权利要求1所述的方法，其特征在于，三维坐标的计算通过以下公式进行计算：
6.根据权利要求5所述的方法，其特征在于，通过以下公式计算重投影矩阵Q：
7.一种基于双目立体视觉的车辆立体框标注系统，其特征在于，所述系统包括：
8.一种计算机设备，其特征在于，包括：
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机指令，所述计算机指令用于使计算机执行权利要求1至6中任一项所述的基于双目立体视觉的车辆立体框标注方法。
【技术特征摘要】
1.一种基于双目立体视觉的车辆立体框标注方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，对采集的图像进行预处理包括：畸变矫正和极线矫正。
3.根据权利要求1所述的方法，其特征在于，视差图通过神经网络的立体匹配算法生成。
4.根据权利要求1所述的方法，其特征在于，深度图通过以下公式进行计算：
5.根据权利要求1所述的方法，其特征在于，三维坐标的计算通过以下...
【专利技术属性】
技术研发人员：闫军，张志广，
申请(专利权)人：智慧互通科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。