一种全景辅助泊车系统、装置及全景图像显示方法制造方法及图纸

本发明专利技术实施例提供一种全景辅助泊车系统、装置及全景图像显示方法，方法为车载显示装置采集车辆前后左右四个方向的摄像头输出的四帧图像；分别对采集的每一帧图像进行畸变校正；通过鸟瞰视角变换，将畸变校正后的图像变换到鸟瞰俯视平面内，得到四帧鸟瞰变换后的图像；将所述四帧鸟瞰变换后的图像发送给处理器；按照接收的所述处理器发送的每一帧所述鸟瞰变换后图像的像素点坐标与各视角方向的二维图像的坐标的对应关系，将选择的视角方向的二维图像输出给显示装置进行显示。采用本发明专利技术实施例提供的方案，在泊车时对于所有车载显示装置都能够显示全景图像。

【技术实现步骤摘要】

本专利技术实施例涉及车辆
，尤其涉及一种全景辅助泊车系统、装置及全景图像显示方法。
技术介绍
随着汽车产业的不断发展，汽车数量逐年递增。驾驶员在慢速行驶或者泊车时需要观察车身的周围情况，防止发生刮蹭或者碰撞事件。为了消除车身四周盲区，利用全景成像技术，使得驾驶员能够看到车身周围各个方向的情况，能够给驾驶员提供安全的驾驶体验。现有的全景辅助泊车方式主要为采用车辆上的摄像头采集车身周围的图像，并经过车载显示装置处理后得到全景图像。车载显示装置包括图像采集模块、数字信号处理器(DSP，Digital Signal Processing)、中央处理器(CPU，Central Processing Unit)和图形处理器(GPU，GraphicsProcessing Unit)。其中，图像采集模块接收鱼眼摄像头拍摄的车辆前后左右的四幅图像，DSP对采集的四幅二维图像进行图像畸变校正、鸟瞰变换，以及将四幅图像拼接为一幅图像，GPU通过纹理映射将拼接后的二维图像映射到三维碗状模型上，按照预先设置的视角，在该视角的方向对三维图像进行渲染并显示然而，并不是所有的车载显示装置都具有GPU，对于不支持GPU的车载显示装置，无法提供全景图像来辅助驾驶员泊车。因此，如何使得不支持GPU的车载显示装置也能够提供全景图像是亟待解决的问题。
技术实现思路
本专利技术实施例提供一种全景辅助泊车系统、装置及全景图像显示方法，用以解决现有技术中的不支持GPU的车载显示装置无法提供全景图像的问题。本专利技术实施例提供一种全景辅助泊车系统，包括：包括：车载显示装置和处理器，所述车载显示装置包括：图像采集装置、处理单元和显示装置，其中：所述图像采集装置，用于采集车辆前后左右四个方向的摄像头输出的四帧图像；所述处理单元，用于分别对采集的每一帧图像进行畸变校正；通过鸟瞰视角变换，将畸变校正后的图像变换到鸟瞰俯视平面内，得到四帧鸟瞰变换后的图像；将所述四帧鸟瞰变换后的图像发送给所述处理器；按照接收的所述处理器发送的每一帧所述鸟瞰变换后图像的像素点坐标与各视角方向的二维图像的坐标的对应关系，将选择的视角方向的二维图像输出给显示装置进行显示；所述处理器，用于对每一帧所述鸟瞰变换后的图像在三维碗状模型上进行纹理映射、拼接以及视角变换，得到设定的至少两个视角方向的三维图像；采用透视投影变换将每一个视角方向的三维图像变换为二维图像，并将每一帧所述鸟瞰变换后的图像的像素点坐标与各视角方向的二维图像的坐标的对应关系发送给所述处理单元；所述显示装置，用于显示所述处理器输出的所述选择的视角方向的二维图像。本专利技术实施例提供一种全景辅助泊车系统中的处理装置，包括：获取单元，用于获取车载显示装置处理得到的与车辆前后左右四个方向的摄像头输出的四帧图像对应的四帧鸟瞰变换后的图像；三维图像确定单元，用于对每一帧所述鸟瞰变换后的图像在三维碗状模型上进行纹理映射、拼接以及视角变换，得到设定的至少两个视角方向的三维图像；对应关系确定单元，用于采用透视投影变换将每一个视角方向的三维图像变换为二维图像，得到所述四帧鸟瞰变换后的图像的像素点坐标对应的二维图像的坐标的对应关系。本专利技术实施例提供一种全景辅助泊车方法，包括：车载显示装置采集车辆前后左右四个方向的摄像头输出的四帧图像；分别对采集的每一帧图像进行畸变校正；通过鸟瞰视角变换，将畸变校正后的图像变换到鸟瞰俯视平面内，得到四帧鸟瞰变换后的图像；根据预存的不同视角方向上鸟瞰变换后的图像的像素点坐标对应的二维图像的坐标的对应关系，查找选择的视角方向上，与得到的所述四帧鸟瞰变换后的图像的像素点坐标对应的二维图像的坐标的对应关系；根据查找到的对应关系将鸟瞰变换后的图像变换为选择的视角方向的二维全景图像，并显示所述二维全景图像。其中，每一帧鸟瞰变换后图像的像素点坐标与各视角方向的二维图像的坐标的对应关系为处理器对每一帧所述鸟瞰变换后的图像在三维碗状模型上进行纹理映射、拼接以及视角变换，得到设定的至少两个视角方向的三维图像，并采用透视投影变换将每一个视角方向的三维图像变换为二维图像得到的。本专利技术实施例提供的全景辅助泊车系统、装置及全景图像显示方法，由于采用处理器将鸟瞰变换后的图形进行纹理映射、拼接以及视角变换等处理，将每一帧所述鸟瞰变换后的图像的像素点坐标与各视角方向的二维图像的坐标的对应关系提供给车载显示装置，在泊车时对于大部分车载系统平台的车载显示装置都能够显示全景图像，特别对于不支持GPU的车载显示装置也能够根据该对应关系提供全景图像，并且采用本专利技术实施例提供的车载显示装置进行全景辅助泊车，由于不受车载系统的限制，并不需要车载系统必须支持GPU，更为通用且降低了成本。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例1中全景辅助泊车系统的结构示意图；图2为本专利技术实施例1中车载显示装置的结构示意图；图3为本专利技术实施例1中鸟瞰俯视平面的标准模板的示意图；图4为本专利技术实施例1中三维碗状模型的示意图；图5为本专利技术实施例2中全景辅助泊车系统中的鸟瞰变换后的图像的像
素点坐标与各视角方向的二维图像的坐标的对应关系的确定方法的流程图；图6为本专利技术实施例3中全景辅助泊车系统中的全景图像显示方法的流程图；图7为本专利技术实施例4中全景辅助泊车系统中的处理装置的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。实施例1：本专利技术实施例提供一种全景辅助泊车系统，如图1所示，包括：车载显示装置101和处理器102，所述车载显示装置101，如图2所示，包括：图像采集装置201，处理单元202和显示装置203，其中：图像采集装置201，用于采集车辆前后左右四个方向的摄像头输出的四帧图像。本专利技术实施例中，该摄像头可以为水平视角大于180度的鱼眼镜头，例如，水平视角可以为192度。摄像头分别安装在车辆前后左右四个方向，例如：可以分别安装在车辆左后视镜、右后视镜、前车牌位置以及后车牌位置，摄像头的拍摄角度是预先设置的。四个摄像头拍摄的车辆附近的图像分别在四个不同的成像平面上。为了获取四个不同成像平面上的图像与不同视角方向的全景图像的坐标对应关系，在摄像头前方放置黑白棋盘格子的标准模板。处理单元202，用于分别对采集的每一帧图像进行畸变校正；通过鸟瞰视角变换，将畸变校正后的图像变换到鸟瞰俯视平面内，得到四帧鸟瞰变换后的图像；将四帧鸟瞰变换后的图像发送给处理器102；按照接收的处理器102发送的每一帧鸟瞰变换后图像的像素点坐标与各视角方向的二维图像的坐标的对应关系，将选择的视角方向的二维图像输出给显示装置进行显示。本专利技术实施例中，处理单元202可以为数字信号处理(DSP，Di本文档来自技高网...

【技术保护点】
一种全景辅助泊车系统，其特征在于，包括：车载显示装置和处理器，所述车载显示装置包括：图像采集装置、处理单元和显示装置，其中：所述图像采集装置，用于采集车辆前后左右四个方向的摄像头输出的四帧图像；所述处理单元，用于分别对采集的每一帧图像进行畸变校正；通过鸟瞰视角变换，将畸变校正后的图像变换到鸟瞰俯视平面内，得到四帧鸟瞰变换后的图像；将所述四帧鸟瞰变换后的图像发送给所述处理器；按照接收的所述处理器发送的每一帧所述鸟瞰变换后图像的像素点坐标与各视角方向的二维图像的坐标的对应关系，将选择的视角方向的二维图像输出给显示装置进行显示；所述处理器，用于对每一帧所述鸟瞰变换后的图像在三维碗状模型上进行纹理映射、拼接以及视角变换，得到设定的至少两个视角方向的三维图像；采用透视投影变换将每一个视角方向的三维图像变换为二维图像，并将每一帧所述鸟瞰变换后的图像的像素点坐标与各视角方向的二维图像的坐标的对应关系发送给所述处理单元；所述显示装置，用于显示所述处理单元输出的所述选择的视角方向的二维图像。

【技术特征摘要】
1.一种全景辅助泊车系统，其特征在于，包括：车载显示装置和处理器，所述车载显示装置包括：图像采集装置、处理单元和显示装置，其中：所述图像采集装置，用于采集车辆前后左右四个方向的摄像头输出的四帧图像；所述处理单元，用于分别对采集的每一帧图像进行畸变校正；通过鸟瞰视角变换，将畸变校正后的图像变换到鸟瞰俯视平面内，得到四帧鸟瞰变换后的图像；将所述四帧鸟瞰变换后的图像发送给所述处理器；按照接收的所述处理器发送的每一帧所述鸟瞰变换后图像的像素点坐标与各视角方向的二维图像的坐标的对应关系，将选择的视角方向的二维图像输出给显示装置进行显示；所述处理器，用于对每一帧所述鸟瞰变换后的图像在三维碗状模型上进行纹理映射、拼接以及视角变换，得到设定的至少两个视角方向的三维图像；采用透视投影变换将每一个视角方向的三维图像变换为二维图像，并将每一帧所述鸟瞰变换后的图像的像素点坐标与各视角方向的二维图像的坐标的对应关系发送给所述处理单元；所述显示装置，用于显示所述处理单元输出的所述选择的视角方向的二维图像。2.根据权利要求1所述的系统，其特征在于，所述处理单元分别对采集的图像进行畸变校正的具体方式如下：采用如下公式确定采集的图像的每个像素点坐标对应的畸变校正后该像素点的坐标：ru=tan(rd*ω)2*tan(ω/2);]]>其中，ω为所述摄像头的视场角；rd为所述采集的图像的像素点的极坐标半径，ru为畸变校正后的像素点的极坐标半径；根据所述采集的图像的各像素点的坐标和像素值，以及畸变校正后的各像素点的坐标，采用双线性插值算法确定畸变校正后的各像素点的像素值。3.根据权利要求1所述的系统，其特征在于，所述处理单元通过鸟瞰视角变换，将畸变校正后的图像变换到鸟瞰俯视平面内，得到鸟瞰变换后的图
\t像的具体方式为：根据畸变校正后的图像的像素点的坐标与鸟瞰俯视平面中的设定的特征点坐标的对应关系，确定单应性变换矩阵；采用所述单应性变换矩阵，确定所述畸变校正后的图像的像素点中，除与摄像头采集的图像中的设定的特征像素点对应的像素点以外，剩余的像素点变换到鸟瞰俯视平面的像素点的坐标，得到鸟瞰变换后的图像。4.根据权利要求1所述的系统，其特征在于，所述处理器对每一帧所述鸟瞰变换后的图像在三维碗状模型上进行纹理映射、拼接以及视角变换，得到设定的至少两个视角方向的三维图像，具体包括：根据每一帧所述鸟瞰变换后的图像各像素点与三维碗状模型各三维点的对应关系，将每一帧所述鸟瞰变换后的图像纹理映射到所述三维碗状模型上；根据所述四帧鸟瞰变换后的图像中设定的拼接区域，分别将所述四帧鸟瞰变换后的图像在三维碗状模型上的对应图像进行拼接，并采用如下公式确定拼接后的三维碗状模型上的鸟瞰全景图像的各像素点的像素值：I(x,y)={I1(x,y)(x,y)∈I1α*I1(x,y)+(1-α)*I2(x,y)(x,y)∈I1,I2I2(x,y)(x,y)∈I2;]]>α＝wi/w α∈(0,1)；其中，I1、I2分别为相邻的两帧待拼接图像，I1(x,y)为待拼接图像I1中像素点坐标(x,y)的像素值，I2(x,y)为待拼接图像I2中像素点坐标(x,y)的像素值，I(x,y)为拼接后的图像中像素点坐标(x,y)的像素值，α为设定的拼接区域内的融合比例因子，wi为所述设定的拼接区域内像素点(x,y)与I1、I2的重合区域的两条边缘线中相对位置为左侧的边缘线的距离，w为I1、I2的重合区域宽度；根据设定的至少两个视角方向，通过视角变换，将所述三维碗状模型上的鸟瞰全景图像变换为设定的视角...

【专利技术属性】
技术研发人员：臧成杰，
申请(专利权)人：乐卡汽车智能科技北京有限公司，
类型：发明
国别省市：北京;11