本申请公开了一种图像的逆透视变换方法、装置及电子设备、存储介质，该方法包括：获取当前帧和上一帧的图像数据，包括原始图像和对应的语义分割图像；获取两帧图像数据对应时刻的惯导数据，包括惯导设备相对于地平面的角度和车辆位姿；根据两帧图像数据对应时刻的惯导数据确定惯导设备相对于地面的角度；根据两帧图像数据以及车辆位姿确定相机相对于地面的高度；根据惯导设备相对于地面的角度和相机相对于地面的高度校正相机相对于地面的外参，以此对当前帧的语义分割图像进行IPM处理。本申请结合惯导数据来确定相机相对于地面的外参，不受外界环境影响，且输出频率高，满足实时性要求，基于此实时校正相机相对于地面的外参，大大提高了IPM效果。大提高了IPM效果。大提高了IPM效果。
【技术实现步骤摘要】
图像的逆透视变换方法、装置及电子设备、存储介质
[0001]本申请涉及自动驾驶
，尤其涉及一种图像的逆透视变换方法、装置及电子设备、存储介质。
技术介绍
[0002]逆透视变换(Inverse Perspective Mapping，简称IPM)是指将图像平面中的二维像素点投影到地面上得到三维空间点的过程。
[0003]在自动驾驶领域，通常需要利用相机采集的图像中的车道线、箭头、停止线等地面标识进行视觉语义建图或车辆辅助定位，因此IPM在自动驾驶领域发挥了重要作用。在视觉语义建图或车辆辅助定位等场景下，已知相机的内外参，将语义分割图像的二维像素点通过IPM可以得到地面上的三维空间点，基于此可以进一步建立语义地图或者与已有的语义地图进行匹配定位。
[0004]然而，现有的IPM过程至少存在如下问题：
[0005]1)IPM依赖相机相对于地面的外参，但是由于道路不平整导致的车辆在行驶过程中的起伏状态会影响IPM效果，如常见的重影问题；
[0006]2)利用消失点计算车辆起伏状态的方案需要保证实际道路中的车道线相互平行，并且在图像中的直线方程拟合准确，但是实际道路情况并不一定符合要求，并且直线拟合精度也会受到语义分割效果的影响；
[0007]3)车辆在行驶过程中的起伏状态的变化，不仅会改变相机相对于地面的角度，也会影响相机离地面的高度，因此同样需要考虑相机离地面的高度变化。
技术实现思路
[0008]本申请实施例提供了一种图像的逆透视变换方法、装置及电子设备、存储介质，以自适应调整逆透视变换的参数，提高逆透视变换的效果。
[0009]本申请实施例采用下述技术方案：
[0010]第一方面，本申请实施例提供一种图像的逆透视变换方法，其中，所述方法包括：
[0011]获取当前帧的图像数据和上一帧的图像数据，所述图像数据包括原始图像和所述原始图像对应的语义分割图像；
[0012]获取所述当前帧的图像数据和所述上一帧的图像数据对应时刻的惯导数据，所述惯导数据包括惯导设备相对于地平面的角度和惯导设备输出的车辆位姿；
[0013]根据所述当前帧的图像数据和所述上一帧的图像数据对应时刻的惯导数据，确定所述惯导设备相对于地面的角度；
[0014]根据所述当前帧的图像数据和上一帧的图像数据，以及所述惯导设备输出的车辆位姿，确定相机相对于地面的高度；
[0015]根据所述惯导设备相对于地面的角度以及所述相机相对于地面的高度校正相机相对于地面的外参，并利用校正后的相机相对于地面的外参对当前帧的语义分割图像进行
逆透视变换，得到逆透视变换后的图像。
[0016]可选地，在获取所述当前帧的图像数据和所述上一帧的图像数据对应时刻的惯导数据之前，所述方法还包括：
[0017]获取惯导设备的IMU测量数据和对应的车辆位姿，所述IMU测量数据包括加速度和角速度；
[0018]利用卡尔曼滤波器对所述IMU测量数据进行融合，得到所述惯导设备相对于地平面的角度；
[0019]将所述惯导设备相对于地平面的角度和对应的车辆位姿作为所述惯导数据。
[0020]可选地，所述根据所述当前帧的图像数据和所述上一帧的图像数据对应时刻的惯导数据，确定所述惯导设备相对于地面的角度包括：
[0021]根据所述当前帧的图像数据对应时刻的车辆位姿和所述上一帧的图像数据对应时刻的车辆位姿，确定当前帧与上一帧之间的相对平移；
[0022]根据所述当前帧与上一帧之间的相对平移确定地平面与地面之间的夹角；
[0023]根据所述当前帧的图像数据对应时刻的惯导设备相对于地平面的角度和所述地平面与地面之间的夹角，确定所述当前帧的图像数据对应时刻的惯导设备相对于地面的角度。
[0024]可选地，所述根据所述当前帧的图像数据和上一帧的图像数据，以及所述惯导设备输出的车辆位姿，确定相机相对于地面的高度包括：
[0025]利用预设跟踪算法对上一帧的原始图像和当前帧的原始图像进行跟踪，得到跟踪结果；
[0026]根据所述跟踪结果和所述惯导设备输出的车辆位姿，确定所述相机相对于地面的高度。
[0027]可选地，所述根据所述跟踪结果和所述惯导设备输出的车辆位姿，确定所述相机相对于地面的高度包括：
[0028]获取相机相对于车辆的外参；
[0029]基于所述相机相对于车辆的外参，利用所述当前帧的图像数据对应时刻的车辆位姿和所述上一帧的图像数据对应时刻的车辆位姿确定当前帧相机与上一帧相机的相对位姿；
[0030]根据所述跟踪结果以及所述当前帧相机与上一帧相机的相对位姿，确定所述相机相对于地面的高度。
[0031]可选地，所述跟踪结果包括相匹配的特征点，所述根据所述跟踪结果以及所述当前帧相机与上一帧相机的相对位姿，确定所述相机相对于地面的高度包括：
[0032]基于所述当前帧相机与上一帧相机的相对位姿，利用三角化算法对所述相匹配的特征点进行三角化处理，得到当前帧相机所在坐标系下的三维特征点；
[0033]对所述当前帧相机所在坐标系下的三维特征点进行平面拟合，得到所述相机相对于地面的高度。
[0034]可选地，所述跟踪结果包括相匹配的特征点，在利用预设跟踪算法对上一帧的原始图像和当前帧的原始图像进行跟踪，得到跟踪结果之后，所述方法还包括：
[0035]确定所述相匹配的特征点的数量是否小于预设数量阈值；
[0036]在所述相匹配的特征点的数量小于预设数量阈值的情况下，利用当前帧的分割图像对所述当前帧的原始图像进行特征提取，以使提取出的特征点和所述相匹配的特征点的数量之和不小于所述预设数量阈值。
[0037]第二方面，本申请实施例还提供一种图像的逆透视变换装置，其中，所述装置包括：
[0038]第一获取单元，用于获取当前帧的图像数据和上一帧的图像数据，所述图像数据包括原始图像和所述原始图像对应的语义分割图像；
[0039]第二获取单元，用于获取所述当前帧的图像数据和所述上一帧的图像数据对应时刻的惯导数据，所述惯导数据包括惯导设备相对于地平面的角度和惯导设备输出的车辆位姿；
[0040]第一确定单元，用于根据所述当前帧的图像数据和所述上一帧的图像数据对应时刻的惯导数据，确定所述惯导设备相对于地面的角度；
[0041]第二确定单元，用于根据所述当前帧的图像数据和上一帧的图像数据，以及所述惯导设备输出的车辆位姿，确定相机相对于地面的高度；
[0042]逆透视变换单元，用于根据所述惯导设备相对于地面的角度以及所述相机相对于地面的高度校正相机相对于地面的外参，并利用校正后的相机相对于地面的外参对当前帧的语义分割图像进行逆透视变换，得到逆透视变换后的图像。
[0043]第三方面，本申请实施例还提供一种电子设备，包括：
[0044]处理器；以及
[0045]被安排成存储计算机可执行指令的存储器，所述可执行指令在被本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种图像的逆透视变换方法，其中，所述方法包括：获取当前帧的图像数据和上一帧的图像数据，所述图像数据包括原始图像和所述原始图像对应的语义分割图像；获取所述当前帧的图像数据和所述上一帧的图像数据对应时刻的惯导数据，所述惯导数据包括惯导设备相对于地平面的角度和惯导设备输出的车辆位姿；根据所述当前帧的图像数据和所述上一帧的图像数据对应时刻的惯导数据，确定所述惯导设备相对于地面的角度；根据所述当前帧的图像数据和上一帧的图像数据，以及所述惯导设备输出的车辆位姿，确定相机相对于地面的高度；根据所述惯导设备相对于地面的角度以及所述相机相对于地面的高度校正相机相对于地面的外参，并利用校正后的相机相对于地面的外参对当前帧的语义分割图像进行逆透视变换，得到逆透视变换后的图像。2.如权利要求1所述方法，其中，在获取所述当前帧的图像数据和所述上一帧的图像数据对应时刻的惯导数据之前，所述方法还包括：获取惯导设备的IMU测量数据和对应的车辆位姿，所述IMU测量数据包括加速度和角速度；利用卡尔曼滤波器对所述IMU测量数据进行融合，得到所述惯导设备相对于地平面的角度；将所述惯导设备相对于地平面的角度和对应的车辆位姿作为所述惯导数据。3.如权利要求1所述方法，其中，所述根据所述当前帧的图像数据和所述上一帧的图像数据对应时刻的惯导数据，确定所述惯导设备相对于地面的角度包括：根据所述当前帧的图像数据对应时刻的车辆位姿和所述上一帧的图像数据对应时刻的车辆位姿，确定当前帧与上一帧之间的相对平移；根据所述当前帧与上一帧之间的相对平移确定地平面与地面之间的夹角；根据所述当前帧的图像数据对应时刻的惯导设备相对于地平面的角度和所述地平面与地面之间的夹角，确定所述当前帧的图像数据对应时刻的惯导设备相对于地面的角度。4.如权利要求1所述方法，其中，所述根据所述当前帧的图像数据和上一帧的图像数据，以及所述惯导设备输出的车辆位姿，确定相机相对于地面的高度包括：利用预设跟踪算法对上一帧的原始图像和当前帧的原始图像进行跟踪，得到跟踪结果；根据所述跟踪结果和所述惯导设备输出的车辆位姿，确定所述相机相对于地面的高度。5.如权利要求4所述方法，其中，所述根据所述跟踪结果和所述惯导设备输出的车辆位姿，确定所述相机相对于地面的高度包括：获取相机相对于车辆的外参；基于所述相机相对于车辆的外参，利用所述当前帧的图像数据对应时刻的车辆位姿和所述上一帧的图像数据对应...
【专利技术属性】
技术研发人员：张康宁，
申请(专利权)人：智道网联科技北京有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。