【技术实现步骤摘要】
本专利技术涉及汽车自动驾驶技术研发的领域，具体涉及一种模拟汽车全景视觉进行场景感知的方法、装置。
技术介绍
1、随着自动驾驶技术的迅猛发展，汽车全景视觉感知在提供360度环境感知方面变得日益关键。这一技术通过提供详细的车辆周围环境视图，对确保自动驾驶汽车的安全行驶至关重要。然而，传统的视角映射方法在变化多端的道路和环境条件下面临精度和效率的双重挑战。
2、传统的汽车视角映射方法包括双目视觉、结构光和激光雷达等，这些方法基于几何原理，需要额外的硬件设备，成本较高。这些技术的出现虽然在一定程度上提升了全景视觉感知的性能，但也带来了一系列问题，如设备成本昂贵、复杂的硬件结构和对环境变化适应性不足等。
3、因此，开发一种模拟汽车全景视觉的方法很有必要，可以在研发阶段模拟汽车全景视觉，减少成本，并更好地适应复杂多变的道路和环境条件。
技术实现思路
1、针对上述问题，本专利技术提供了一种模拟汽车全景视觉进行场景感知的方法、装置，可以模拟汽车全景视觉进行场景感知，可以模拟复杂多变的道路和环境条件，有助于在在自动驾驶技术研发中降低开发成本。
2、其技术方案是这样的：一种模拟汽车全景视觉进行场景感知的方法，包括以下步骤：
3、步骤1：在车辆的前后左右分别安装摄像头，所述摄像头能够覆盖车辆周围360度视野；
4、步骤2：在摄像头的视野内设置投影屏幕，并且设置电气控制系统与数据处理装置控制摄像头进行采集数据并将数据进行处理；
5、步
6、步骤4：在投影屏幕上播放标定图像，通过摄像头采集图像，标定摄像头的内参数；对采集的仿真视频的图像数据进行畸变校正；
7、步骤5：通过训练好的神经网络模型在真实图像和虚拟场景图像中提取特征点，计算真实图像特征点和虚拟场景特征点的特征描述子，使用特征描述子进行匹配，得到匹配的特征点对，使用匹配的特征点，建立真实的图像与虚拟场景之间的映射关系，将摄像头采集的图像映射到虚拟场景中；
8、步骤6：在虚拟场景中进行场景感知。
9、进一步的，在步骤1中，所述摄像头至少设置有四组，所述摄像头具有不低于800万像素的分辨率和不低于120度视场角，采集图像帧频不低于36fps。
10、进一步的，在步骤2中，在设置投影屏幕时，确保摄像头的视野和摆放位置能够覆盖投影屏幕的整个投影图像且保持位置固定不动。
11、进一步的，在步骤4中，所述标定图像采用正方形点阵图，正方形点阵图通过模拟棋盘格标定的不同位姿生成，点阵在不同标定图像之间以及每个标定图像中都表现出异变，所述异变包括点阵大小、形状、以及相邻点之间的距离。
12、进一步的，在步骤4中，标定摄像头的内参数，具体如下执行：
13、提取相机拍摄的正方形点阵图中的点阵角点的像素坐标，通过像素坐标和三维世界坐标对应关系求出单应矩阵，进而得出相机的内参矩阵、镜头畸变参数、外参矩阵，最后通过最优化方法得到最优参数，像素坐标系和世界坐标系之间的关系如下：
14、
15、式中fx＝f/dx，fy＝f/dy，f为镜头焦距，
16、r、t为摄像机坐标系和世界坐标系之间的旋转矩阵和平移向量，zc是沿着z轴摄像机坐标系中的点到摄像机光学中心的距离，u，v代表图像坐标系中的点坐标，以像素为单位，fx，fy分别是相机内参矩阵中的焦距参数，分别表示x方向和y方向上的焦距，以像素为单位，u0，v0是相机内参矩阵中的主点坐标，xw，yw，zw是世界坐标系中的点坐标，表示一个三维空间中的点。
17、进一步的，在步骤4中，在对采集的仿真视频的图像数据进行畸变校正时，通过图像畸变模型进行矫正，所述图像畸变模型包括径向畸变和切向畸变，所述畸变模型如下所示：
18、
19、式中ρ为坐标到原点的距离，k1，k2为径向畸变系数，p1，p2为切向畸变系数，(x，y)为理想状态下的坐标，(x′，y′)为带有畸变的坐标。
20、进一步的，在步骤4中，畸变系数具体如下计算：
21、从测量图像中随机选择n个点阵；
22、使用选择的点阵来估计畸变系数；
23、计算选择的点阵在图像中的重投影坐标；
24、计算选择的点阵的重投影误差；
25、如果重投影误差小于阈值，则保留选择的点阵；
26、重复前序畸变系数的步骤，直到得到预设数量的点阵；
27、得到预设数量的点阵后，使用ransac算法来估计畸变系数。
28、进一步的，在步骤5，采用的所述神经网络模型包括：
29、encoder单元，用于降低图像尺寸提取特征，所述encoder单元基于vgg-style的encoder构建，所述encoder单元包括卷积层、max-pooling层和非线性激活层；
30、特征点提取单元，所述特征点提取单元将所述encoder单元的输出作为输入，通过卷积层对输入特征进行处理，再通过softmax以及reshape操作，输出包含特征点的特征图；
31、特征描述子提取单元，所述特征描述子提取单元将所述encoder单元的输出作为输入，按照通道进行归一化后根据特征点的位置通过双线性插值得到特征描述子；
32、所述神经网络模型建立了关于特征点与特征描述子的损失函数，公式如下：
33、
34、其中为特征点相关的损失，为特征描述子相关的损失，其中y、分别为图像上通过网络提取的特征点、特征描述子和特征点的真值；
35、特征点相关损失定义为一个交叉熵损失，表示为：
36、
37、其中
38、
39、其中hc＝h/8，wc＝w/8；h和w分别为图像高度和宽度，yhw为真值，即8×8的方格中像素为特征点，xhw是一个长度为65的特征描述子，向量的每一个数值代表相应的像素上特征点的响应值；
40、特征描述子相关损失定义为一个合页损失，表示为：
41、
42、其中，是一个关于参数dhw与d′h′w′的函数，其计算结果是一个标量，具体是一个评估度量；dhw是h和w的索引下，表示在第h行和w行的一个位置，dhw用来表示某数据模型中的一个空间位置；d′h′w′表示第h′行与第w′列的另一个位置；
43、ld(d，d′；s)＝λd*s*max(0，mp-dtd′)+(1-s)*max(0，dtd′-mn)
44、其中，λd是一个正则化权重，用于控制损失项的权重；d与d′是向量，表示特征或与位置；s为一个标志，当s＝1，表示相似，s＝0，表示d与d′是不相似的；mp为用于相似样本的正阈值，是期望的相似度；mn为用于不相似样本的负阈值，是期望的不相似度；shwh′w′为判断是通过单本文档来自技高网...
【技术保护点】
1.一种模拟汽车全景视觉进行场景感知的方法,其特征在于，包括以下步骤：
2.根据权利要求1所述的一种模拟汽车全景视觉进行场景感知的方法,其特征在于：在步骤1中，所述摄像头至少设置有四组，所述摄像头具有不低于800万像素的分辨率和不低于120度视场角，采集图像帧频不低于36fps。
3.根据权利要求1所述的一种模拟汽车全景视觉进行场景感知的方法,其特征在于：在步骤2中，在设置投影屏幕时，确保摄像头的视野和摆放位置能够覆盖投影屏幕的整个投影图像且保持位置固定不动。
4.根据权利要求1所述的一种模拟汽车全景视觉进行场景感知的方法,其特征在于：在步骤4中，所述标定图像采用正方形点阵图，正方形点阵图通过模拟棋盘格标定的不同位姿生成，点阵在不同标定图像之间以及每个标定图像中都表现出异变，所述异变包括点阵大小、形状、以及相邻点之间的距离；
5.根据权利要求4所述的一种模拟汽车全景视觉进行场景感知的方法,其特征在于：在步骤4中，在对采集的仿真视频的图像数据进行畸变校正时，通过图像畸变模型进行矫正，所述图像畸变模型包括径向畸变和切向畸变，所述畸变模型
6.根据权利要求1所述的一种模拟汽车全景视觉进行场景感知的方法,其特征在于：在步骤5，采用的所述神经网络模型包括：
7.根据权利要求1所述的一种模拟汽车全景视觉进行场景感知的方法,其特征在于：在步骤6中，所述使用深度学习方法在虚拟场景中进行场景感知，包括：距离测量、物体检测、物体识别、运动跟踪、姿态估计、场景理解。
8.根据权利要求1所述的一种模拟汽车全景视觉进行场景感知的方法,其特征在于：还包括以下步骤7：
9.一种计算机装置，其特征在于，其包括：包括处理器、存储器以及程序；
10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质用于存储程序，所述程序用于执行权利要求1所述的一种模拟汽车全景视觉进行场景感知的方法。
...【技术特征摘要】
1.一种模拟汽车全景视觉进行场景感知的方法,其特征在于，包括以下步骤：
2.根据权利要求1所述的一种模拟汽车全景视觉进行场景感知的方法,其特征在于：在步骤1中，所述摄像头至少设置有四组，所述摄像头具有不低于800万像素的分辨率和不低于120度视场角，采集图像帧频不低于36fps。
3.根据权利要求1所述的一种模拟汽车全景视觉进行场景感知的方法,其特征在于：在步骤2中，在设置投影屏幕时，确保摄像头的视野和摆放位置能够覆盖投影屏幕的整个投影图像且保持位置固定不动。
4.根据权利要求1所述的一种模拟汽车全景视觉进行场景感知的方法,其特征在于：在步骤4中，所述标定图像采用正方形点阵图，正方形点阵图通过模拟棋盘格标定的不同位姿生成，点阵在不同标定图像之间以及每个标定图像中都表现出异变，所述异变包括点阵大小、形状、以及相邻点之间的距离；
5.根据权利要求4所述的一种模拟汽车全景视觉进行场景感知的方法,其...
【专利技术属性】
技术研发人员：贺旭阳，魏智鹏，吴伟康，
申请(专利权)人：江苏集萃智能光电系统研究所有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。