一种适用于车辆应急接管的AR辅助驾驶方法技术

本发明专利技术属于遥控驾驶技术领域，具体公开了一种适用于车辆应急接管的AR辅助驾驶方法，包括如下步骤：获得用于将所述车轮的轨迹坐标转换至屏幕坐标的转换矩阵；根据该对车轮和轮轴的中心点轨迹关系，获得两个该对车轮的轨迹方程；根据摄像头的图像采集角度，对S2获取的轨迹方程进行角度转换获得车轮轨迹；根据S1中的转换矩阵将S3中的车轮轨迹从轨迹坐标转换为屏幕坐标，将处于屏幕坐标系的车轮轨迹投影至屏幕并与屏幕图像融合播放；具有如下优点：预测的虚拟环境和现实环境融为一体，让用户通过增强现实视频预判未知的风险，提高辅助驾驶的安全性；将摄像头的视频与虚拟摄像头系统的视频相结合，定位出车辆所在当前环境和下一阶段环境的位置。环境的位置。环境的位置。

【技术实现步骤摘要】
一种适用于车辆应急接管的AR辅助驾驶方法


[0001]本专利技术涉及遥控驾驶
，具体而言，涉及一种适用于车辆应急接管的AR辅助驾驶方法。

技术介绍

[0002]露天矿矿卡的遥控驾驶场景中，遥控驾驶舱司机对车辆的操控没有实车有感觉，导致司机实际驾驶体验和矿车的行驶状况受到影响；在露天矿无人驾驶领域，缺少能够辅助司机驾驶矿卡的有效手段，使得驾驶舱的司机实际驾驶操作受到驾驶舱内屏幕画面的影响。
[0003]现有技术或当前公开的专利或产品，遥控驾驶领域并无类似技术，在露天矿卡的驾驶车辆中，也没有此类功能，在矿区使用的矿卡暂时没有相关的手段针对于位于驾驶舱的司机远程驾驶矿区运输车辆的实际操作进行辅助。
[0004]为此提出一种适用于车辆应急接管的AR辅助驾驶方法，以解决上述提出的问题。

技术实现思路

[0005]本专利技术旨在提供一种适用于车辆应急接管的AR辅助驾驶方法，以解决或改善上述技术问题中的至少之一。
[0006]有鉴于此，本专利技术的第一方面在于提供一种适用于车辆应急接管的AR辅助驾驶方法。
[0007]本专利技术的第一方面提供了一种适用于车辆应急接管的AR辅助驾驶方法，包括如下步骤：S1，根据车辆的车轮位置将摄像头安装在该车辆上，并对摄像头进行参数标定，以获得将所述车轮的轨迹坐标转换至屏幕坐标的转换矩阵；S2，实时获取某对车轮和与其不相连的轮轴在车辆运动时的物理参数，并根据该对车轮和轮轴的中心点轨迹关系，获得该对车轮的轨迹方程；S3，根据摄像头的图像采集角度，对S2获取的轨迹方程进行角度转换，获得车轮轨迹，以使该摄像头输出的图像与车轮轨迹在屏幕中的播放方向相同；S4，根据S1中的转换矩阵将S3中的车轮轨迹从轨迹坐标转换为屏幕坐标，并投影至屏幕并与屏幕图像融合播放，以在屏幕上对该车辆的驾驶员进行驾驶辅助。
[0008]本专利技术提供的一种适用于车辆应急接管的AR辅助驾驶方法，考虑车轮的位置对摄像头对于该车轮所在车辆的具体位置进行安装，以便在后续的车轮轨迹计算中为公式提供准确的依据，并通过标定计算获得转换矩阵，以便将计算获得的车轮轨迹转换，以便在摄像头输出的屏幕上对车轮轨迹进行显示并与对车辆周围实时显示的画面融合重叠，供位于远程遥控的驾驶舱中采用屏幕获取车辆周边信息的驾驶员被重叠的画面提供可操作性的信息，以便进行辅助驾驶；
[0009]通过在获取车轮轨迹后，对其进行角度的转化，由于计算的车轮轨迹为在车辆所在地面上俯视角度的车轮轨迹，而驾驶员在屏幕中观看的角度为摄像头从某一安装角度对地面的倾斜拍摄，在转化后能够使得车轮轨迹与屏幕所呈现的画面角度一致，以便驾驶员
能够更加方便和准确的了解到车轮轨迹的辅助驾驶提示信息。
[0010]具体地，转换矩阵为下述公式：
[0011][0012]其中，Z是物体与摄像头的距离，u是物体在水平方向的像素坐标，v是物体在竖直方向的像素坐标，fx是水平方向的焦距，fy是竖直方向的焦距，cx是在像素坐标水平方向的偏移量，cy是在像素坐标竖直方向的偏移量，X，Y，Z分别是物体在左右，前后，垂直方向上的位置。P是物体在轨迹坐标系下的位置矩阵。
[0013]另外，根据本专利技术的实施例提供的技术方案还可以具有如下附加技术特征：
[0014]上述任一技术方案中，所述根据车辆的车轮位置将摄像头在该车辆上并对摄像头进行参数标定的步骤，具体包括：在车辆的中轴线前端和后端安装摄像头；根据摄像头的位置，对该摄像头的内参和外参分别建立转换矩阵；其中，内参的所述转换矩阵用于将所述车轮轨迹从GPS坐标系转换至摄像头的相机坐标系，外参的所述转换矩阵用于将所述车轮轨迹从相机坐标系转换至屏幕的图像坐标系。
[0015]在该技术方案中，为了对车辆的前后辆两端分别安置摄像头，以便通过前轮和后轮的轨迹对车辆的整体运动你那个趋势进行更好的判断以增强对驾驶员的驾驶辅助，根据摄像头的位置对摄像头的内参和外参分别建立转换矩阵，以便将计算确定后的gps体系下的车轮轨迹转换为摄像头输出屏幕能够播放的屏幕坐标系。
[0016]上述任一技术方案中，所述对该摄像头的内参和外参分别建立转换矩阵包括：采用标定物在摄像头进行多次换位，并在每次换位中对标定物进行多角度拍摄获取图像；对每个图像分别进行特征提取，以获取角点；根据角点解算内参和外参，并建立对应的转换矩阵。
[0017]在该技术方案中，在标定中采用同一个标定物对于同一个摄像头进行多点位，并在每个点位上进行不同角度的拍摄，以便对摄像头的内参和外参的转化矩阵进行更加准确的标定；
[0018]具体地，制作8行11列，每个格子长款均为的40mm的棋盘格；采用人工在摄像头前举着棋盘格，在摄像头下进行6个站位，每个位置做相同的一组5个动作，顺序可调换；5个动作分别为：正向、下俯、上仰、左偏、右偏。6个位置分别为：近距离、远距离左、中和右；其中远距离与进距离的之间的距离差距可选用5m或10m；根据图像特征提取算法，得到标定板角点的像素坐标值，根据已知的棋盘格大小和轨迹坐标系原点，计算得到标定板角点在轨迹坐标系下的坐标值，求解转换矩阵K。其中Z是棋盘格与摄像头的距离，u是角点在水平方向的像素坐标，v是角点在竖直方向的像素坐标，fx是水平方向的焦距，fy是竖直方向的焦距，cx是在像素坐标水平方向的偏移量，cy是在像素坐标竖直方向的偏移量，X，Y，Z分别是角点在左右，前后，垂直方向上的位置。P是角点在轨迹坐标系下的位置矩阵。
[0019]上述任一技术方案中，所述S2的步骤，具体包括：S201，对于某对车轮中两个车轮的触地中心点及与其不相连轮轴的中心点，确立在车辆转弯时圆弧轨迹为三圆同心关系；S202，对S201中的车轮和轮轴，分别获取该对车轮的转角、轮轴与该对车轮连接轮轴的轮轴间距、与该对车轮相连轮轴的轴长、以及该对车轮与相邻摄像头的距离的数据；S203，以
S201中三圆同心关系的圆心为原点建立车轮的XY坐标系，并在车辆转弯中根据S202中的数据分别对两个车轮建立轨迹方程。
[0020]在该技术方案中，在车轮轨迹的计算中确立车轮与地面接触部位的中线点在车辆转角运动中的轨迹作为车轮轨迹，以便降低车轮的形状对于车轮轨迹的计算影响，保证了由一点的运动轨迹生成车轮运动轨迹；
[0021]在轨迹方程的建立中分别考虑车辆的车轮和轮轴的实际位置与角度关系，以便针对于车辆实际的型号进行轨迹方程的建立，并根据三圆同心关系通过获得的各项数据，以便得到更为准确的轨迹方程。
[0022]上述任一技术方案中，对车辆的两个后轮及与前轮相连的轮轴，S203中的轨迹方程分别为下述公式：
[0023]其中，X为左前轮在水平方向上的轨迹、Y为左前轮在竖直方向的轨迹、L为前轮轮轴与后轮轮轴的距离、为后轮的轨迹圆周半径、为前轮的转角、D为后轮与相邻摄像头的距离、W为后轮轮轴的轴长。
[0024]在该技术方案中，对车辆的后轮考虑与前轮相连的轮轴之间的位置角度关系，并采用前述获得的数据根据上述公式即可得到具体的轨迹方程本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种适用于车辆应急接管的AR辅助驾驶方法，其特征在于，包括如下步骤：S1，根据车辆的车轮位置将摄像头安装在该车辆上，并对摄像头进行参数标定，以获得将所述车轮的轨迹坐标转换至屏幕坐标的转换矩阵；S2，实时获取某对车轮和与其不相连的轮轴在车辆运动时的物理参数，并根据该对车轮和轮轴的中心点轨迹关系，获得该对车轮的轨迹方程；S3，根据摄像头的图像采集角度，对S2获取的轨迹方程进行角度转换，获得车轮轨迹，以使该摄像头输出的图像与车轮轨迹在屏幕中的播放方向相同；S4，根据S1中的转换矩阵将S3中的车轮轨迹从轨迹坐标转换为屏幕坐标，并投影至屏幕并与屏幕图像融合播放，以在屏幕上对该车辆的驾驶员进行驾驶辅助。2.根据权利要求1所述的一种适用于车辆应急接管的AR辅助驾驶方法，其特征在于，所述根据车辆的车轮位置将摄像头在该车辆上并对摄像头进行参数标定的步骤，具体包括：在车辆的中轴线前端和后端安装摄像头；根据摄像头的位置，对该摄像头的内参和外参分别建立转换矩阵；其中，内参的所述转换矩阵用于将所述车轮轨迹从GPS坐标系转换至摄像头的相机坐标系，外参的所述转换矩阵用于将所述车轮轨迹从相机坐标系转换至屏幕的图像坐标系。3.根据权利要求2所述的一种适用于车辆应急接管的AR辅助驾驶方法，其特征在于，所述对该摄像头的内参和外参分别建立转换矩阵包括：采用标定物在摄像头进行多次换位，并在每次换位中对标定物进行多角度拍摄获取图像；对每个图像分别进行特征提取，以获取角点；根据角点解算内参和外参，并建立对应的转换矩阵。4.根据权利要求1所述的一种适用于车辆应急接管的AR辅助驾驶方法，其特征在于，所述S2的步骤，具体包括：S201，对于某对车轮中两个车轮的触地中心点及与其不相连轮轴的中心点，确立在车辆转弯时圆弧轨迹为三圆同心关系；S202，对S201中的车轮和轮轴，分别获取该对车轮的转角、轮轴与该对车轮连接轮轴的轮轴间距、与该对车轮相连轮轴的轴长、以及该对车轮与相邻摄像头的距离的数据；S203，以S201中三圆同心关系的圆心为原点建立车轮的XY坐标系，并在车辆转弯中根据S202中的数据分别对两个车轮建立轨迹方程。5.根据权利要求4所述的一种适用于车辆应急接管的AR辅助驾驶方法，其特征在于，对车辆的两个后轮及与前轮相连的轮轴，S203中的轨迹方程分别为下述公式：其中，X为左前轮在水平方向的轨迹、Y为左前轮...

【专利技术属性】
技术研发人员：徐忠坤，路杰锋，周泰，朱泳怡，薛清柄，
申请(专利权)人：北京踏歌智行科技有限公司，
类型：发明
国别省市：