一种应用于重高型车辆的全景影像拼接系统及方法技术方案

本发明专利技术涉及一种应用于重高型车辆的全景影像拼接系统及方法，以解决目前重型高型车辆全景影像拼接系统在图像融合过渡不自然，融合处理方法对图像的纹理信息损坏，计算量大、运算速度慢的技术问题。该系统包括控制单元、摄像单元及信息管理单元。该方法包括：1、采用棋盘格标定板对多个摄像头进行标定；2、根据标定结果，对多个摄像头同一时刻拍摄的图像进行校正，获得校正后图像；3、将多幅校正后图像进行二维全景图像拼接，获得二维全景图像；4、将二维全景图像映射到网状三维模型，获得全景影像拼接图像。拼接图像。拼接图像。

【技术实现步骤摘要】
一种应用于重高型车辆的全景影像拼接系统及方法


[0001]本专利技术涉及车辆的全景影像拼接方法，具体涉及一种应用于重高型车辆的全景影像拼接系统及方法。

技术介绍

[0002]近年来随着智能汽车的快速发展，高级辅助驾驶系统(ADAS)需求量呈爆发性增长，而360全景影像系统无疑成为了最热门的应用之一，在车辆装载率逐步提升，技术也愈加成熟，整体市场处于快速增长期。
[0003]全景影像系统通过安装在车辆四周多个广角摄像头，结合特定的物理安装方式，加载全景拼接、畸变校正、图像融合等算法进行视频合成处理，形成完整的车辆周边影像鸟瞰图，通过车载显示屏观看车辆周围360度全景影像，超宽的视角、无缝拼接的实时图像信息，让驾驶员视野无盲区，有效增加了行车安全。但是在图像在拼接之后，一般会在边界区域出现过渡不自然的可见缝合线，这时就需要对拼接图像的重叠部分进行融合处理。常用融合方法主要分为：基于灰度的融合、基于颜色空间变换的融合以及基于变换域的融合算法，上述方法在处理过程中会对图像的纹理信息造成不同程度的破坏，且计算量大，运算速度慢。

技术实现思路

[0004]为解决目前重型高型车辆全景影像拼接系统在图像融合过渡不自然，融合处理方法对图像的纹理信息损坏，计算量大、运算速度慢的技术问题，本专利技术提出一种应用于重高型车辆的全景影像拼接系统及方法。
[0005]本专利技术提供的技术方案为：
[0006]一种应用于重高型车辆的全景影像拼接系统，其特殊之处在于：包括控制单元、摄像单元及信息管理单元；r/>[0007]所述摄像单元包括多个设置在车辆上的摄像头，用于获得车辆周围的图像并传输给控制单元；
[0008]所述控制单元用于将摄像单元的输出信号进行处理并传输给信息管理单元；
[0009]信息管理单元与控制单元交互连接，信息管理单元用于接收控制单元的输出信息并对控制单元下达启动和切换操作。
[0010]进一步地，所述摄像单元包括六个低照度摄像头，分别为前置摄像头、后置摄像头、两个右侧摄像头及两个左侧摄像头。
[0011]本专利技术还提供一种应用于重高型车辆的全景影像拼接方法，其特殊之处在于，采用上述应用于重高型车辆的全景影像拼接系统，包括以下步骤：
[0012]S1、采用棋盘格标定板对多个摄像头进行标定，获取物理环境空间点与摄像头拍摄的图像像素位置间的关系；
[0013]S2、根据步骤S1摄像头的标定结果，对多个摄像头同一时刻拍摄的图像进行校正，
获得校正后图像；
[0014]S3、将多幅校正后图像进行二维全景图像拼接
[0015]S3.1、校正后图像预处理；
[0016]S3.2、采用Surf特征点检测算法对预处理后的图像进行图像配准；
[0017]S3.2、将步骤S3.2图像配准后的图像进行图像拼接，拼接过程中采用加权平均法进行图像融合，公式如下：
[0018][0019]其中，P为配准图像间的重叠部分，P1为第一幅图像中的非重叠部分，P2为第二幅图像中的非重叠部分，w1为第一幅图像的融合权重；w2为第二幅图的融合权重，(x，y)为重叠部分的像素点，I(x，y)为像素点灰度值，I1(x，y)为像素点在第一幅图像的灰度值，I2(x，y)为像素点在第二幅图像的灰度值；
[0020]获得二维全景图像；
[0021]S4、根据参数方程建立的网状三维模型；
[0022]采用面积等比半球纹理映射，确定二维全景图像上的每个像素点纹理坐标m1(u,v)与网状三维模型的空间坐标m(x,y,z)之间的对应关系；
[0023]根据对应关系，将二维全景图像映射到网状三维模型，获得全景影像拼接图像。
[0024]进一步地，步骤S2中，对多个摄像头同一时刻拍摄的图像进行校正，获得校正后图像，具体为：
[0025]S2.1、根据摄像头的成像模型将图像还原到单位视球面上，成像模型如下：
[0026]r＝fθ
[0027]其中，θ是镜头光轴与入射光线的夹角，r是成像点到图像主点的距离，f是镜头光心到图像主点的距离；
[0028]S2.2、将单位视球面通过预设的映射关系，转变成二维图像，该二维图像为校正后图像。
[0029]进一步地，步骤S3.1中，图像预处理包括：图像増强，图像平滑滤波、图像锐化、图像灰度化或图像对比度拉伸中的一种或多种；
[0030]图像预处理后还包括俯视投影变换。
[0031]进一步地，步骤S3.2中，采用Surf特征点检测算法对预处理后的图像进行图像配准，具体为：
[0032]S3.2.1、使用Surf算法对源图像和目标图像进行特征点检测与匹配，获得匹配点；
[0033]S3.2.2、使用RANSAC算法对匹配点进行提纯，消除部分错误匹配；
[0034]S3.2.3、对于两幅图像的重叠区域，使用最小二乘法筛选匹配点，筛选出前n个最优匹配点进行图像配准，n为预设整数值。
[0035]进一步地，步骤S4中，所述网状三维模型为平底环形柱面网状模型。
[0036]本专利技术的有益效果：
[0037]1、本专利技术提供的全景影像拼接方法通过采用加权平均法进行图像融合，实现图像
二维全景拼接时交接区域自然过渡，且不破坏图像的纹理信息，计算量小，运算速度快。
[0038]2、通过建立网状三维模型，特别是平底环形柱面网状模型，通过面积等比半球纹理映射显示计算，最终实现三维全景视频显影，可将特种车辆前后左右多个摄像头获取的车身实时环境视频图像，经过视频图像处理得到无畸变的360度三维全景图，影像效果好，实用性强。
[0039]3、本专利技术通过棋盘格标定板来完成摄像机标定，实现摄像头鱼眼图像畸变校正，并采用Surf特征点检测算法对预处理后的图像进行图像配准，提高了图像的全景拼接的准确性。
附图说明
[0040]图1为本专利技术应用于重高型车辆的全景影像拼接系统实施例示意图；
[0041]图2为本专利技术实施例中摄像头采集图像向单位视球面转换示意图，其中a为图像坐标与二维直角坐标系转换示意图，b为二维直角坐标系向单位视球面转换示意图；
[0042]图3为本专利技术实施例中二维全景图像拼接流程示意图；
[0043]图4为本专利技术实施例中俯视投影变换原理示意图；
[0044]图5为本专利技术实施例中图像配准示意图；
[0045]图6为本专利技术实施例中图像融合权重计算原理示意图；
[0046]图7为本专利技术实施例中网状三维模型示意图；
[0047]图8为本专利技术实施例中面积等比半球纹理映射原理示意图，其中，a为二维全景图像，b为二维全景图像S1面积在网状三维模型上的映射面积S2。
具体实施方式
[0048]参见图1，本实施例提供一种应用于重高型车辆的全景影像拼接系统，该系统包括控制单元、摄像单元及信息管理单元；
[0049]摄像单元包括6个设置在车辆上的低照度摄本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种应用于重高型车辆的全景影像拼接系统，其特征在于：包括控制单元、摄像单元及信息管理单元；所述摄像单元包括多个设置在车辆上的摄像头，用于获得车辆周围的图像并传输给控制单元；所述控制单元用于将摄像单元的输出信号进行处理并传输给信息管理单元；信息管理单元与控制单元交互连接，信息管理单元用于接收控制单元的输出信息并对控制单元下达启动和切换操作。2.根据权利要求1所述的应用于重高型车辆的全景影像拼接系统，其特征在于：所述摄像单元包括六个低照度摄像头，分别为前置摄像头、后置摄像头、两个右侧摄像头及两个左侧摄像头。3.一种应用于重高型车辆的全景影像拼接方法，其特征在于，采用权利要求1所述应用于重高型车辆的全景影像拼接系统，包括以下步骤：S1、采用棋盘格标定板对多个摄像头进行标定，获取物理环境空间点与摄像头拍摄的图像像素位置间的关系；S2、根据步骤S1摄像头的标定结果，对多个摄像头同一时刻拍摄的图像进行校正，获得校正后图像；S3、将多幅校正后图像进行二维全景图像拼接S3.1、校正后图像预处理；S3.2、采用Surf特征点检测算法对预处理后的图像进行图像配准；S3.2、将步骤S3.2图像配准后的图像进行图像拼接，拼接过程中采用加权平均法进行图像融合，公式如下：其中，P为配准图像间的重叠部分，P1为第一幅图像中的非重叠部分，P2为第二幅图像中的非重叠部分，w1为第一幅图像的融合权重；w2为第二幅图的融合权重，(x，y)为重叠部分的像素点，I(x，y)为像素点灰度值，I1(x，y)为像素点在第一幅图像的灰度值，I2(x，y)为像素点在第二幅图像的灰度值；获得二维全景图像；S4、根据参数方程建立的...

【专利技术属性】
技术研发人员：尤方，李霁，吕志明，陈继铭，韩雷，
申请(专利权)人：西安中科立德红外科技有限公司，
类型：发明
国别省市：