一种应用于车辆的全景图像拼接方法技术

本发明专利技术提供一种应用于车辆的全景图像拼接方法，具体包括：获取车顶摄像头发送的图像imageL，创建消缝图像；将imageL图像和消缝图像进行柱面投影，获取相邻拼接的柱面投影图像相互匹配的特征点对；利用变化矩阵分别对柱面投影图像和对应的柱面投影消缝图像进行投影变换；通过对经过投影变化后的柱面投影图像、柱面投影消缝图像进行图像融合；将融合的图像进行组合，获取全景图像。本发明专利技术提供的技术方案中创建消缝图像，并且经过将将不成图像大小进行先进行上采样后形成图像组，然后在进行下采样后形成的图像组进行对应的累计，获得全景图像。避免色差和拼接缝的产生。图像。避免色差和拼接缝的产生。图像。避免色差和拼接缝的产生。

【技术实现步骤摘要】
一种应用于车辆的全景图像拼接方法


[0001]本专利技术涉及车辆的图像拼接领域，特别是涉及一种应用于车辆的全景图像拼接方法。

技术介绍

[0002]近年来随着科学技术不断进步，推着汽车技术朝着智能化方向前进，人们对智能汽车提出较多的要求，不再仅把汽车看成是简单的代步工具，而是需要汽车具备自动驾驶、车载娱乐等功能，提升汽车用户的舒适度。车载娱乐功能的开发，使得人们可以利用进行网上购物、听音乐、看电影。同时利用车载摄像头对车外的风景进行拍摄。但是由于摄像头视野有限，如果在自驾旅行过程中，需要拍摄道路两旁的风景时，形成全景图像时，现有技术中需要配置多个摄像头同时拍摄，但是需要在车顶安装多个摄像头，导致成本高。

技术实现思路

[0003]基于现有技术中存在的缺陷，本专利技术提供一种应用于车辆的全景图像拼接方法，包括：
[0004]获取车顶摄像头发送的图像imageL，创建与imageL图像大小相同的图像，像素用相同常量填充的消缝图像；
[0005]将imageL图像和消缝图像进行柱面投影，获取柱面投影图像以及柱面投影消缝图像；获取相邻拼接的柱面投影图像相互匹配的特征点对；
[0006]利用变化矩阵分别对柱面投影图像和对应的柱面投影消缝图像进行投影变换；通过对经过投影变化后的柱面投影图像、柱面投影消缝图像进行图像融合；将融合的图像进行组合，获取全景图像。
[0007]一种应用于车辆的全景图像拼接方法，进一步可选的，对柱面投影图像和柱面投影消缝图像进行边缘填充，使填充后的图像不小于相邻图像拼接后形成的图像的大小。
[0008]一种应用于车辆的全景图像拼接方法，进一步可选的，通过利用棋盘格对车顶摄像头进行校正，利用张正友法标定车载摄像头的内参和外参数；
[0009]若车顶摄像头为鱼眼镜头，需要对鱼眼镜头进行畸变校正，获得畸变校正系数；
[0010]启动全景拍摄模式，利用可旋转的车顶摄像头进行多角度旋转拍摄，获取原始序列图像，通过畸变矫正后获得用于拼接的图像imageL。
[0011]一种应用于车辆的全景图像拼接方法，进一步可选的，柱面图像的方法具体包括：
[0012]构建柱面投影关系式，将图像通过柱面投影关系式转化为柱面投影图像；
[0013]通过双线性插值计算每个像素点的精确位置，得到投影后的图像；
[0014]通过自适应阈值将对柱面投影图像进行二值化处理，进行轮廓检测，获取轮廓坐标，从而根据轮廓坐标获取新的投影图像；
[0015]通过边缘调整策略将图像四周预设范围内存在的角点置0。
[0016]一种应用于车辆的全景图像拼接方法，进一步可选的，当图像进行柱面投影后，相
互匹配的特征点对通过SIFT算法获取。
[0017]一种应用于车辆的全景图像拼接方法，进一步可选的，SIFT算法具体包括：
[0018]将图像高斯模糊去除次要信息，将图像降采样成不同的octave，octave内用不同的高斯核卷积；
[0019]找到差分金字塔中的极值点，对极值点进行对比测试和边缘测试；
[0020]关键点邻域梯度方法直方图确定关键点主方向；
[0021]统计特征点领域梯度方向直方图，获得特征描述算子；
[0022]通过获取相邻图像的特征描述算子的两两比较找出相互匹配的若干对相互匹配的特征点。
[0023]一种应用于车辆的全景图像拼接方法，进一步可选的，对SIFT算法获得的匹配特征点对进行预处理，获取高质量的匹配特征点对，其中，通过预设模型对所有相互匹配的特征点对进行通过计算Q值的方式进行质量评价，然后根据Q值降序排列，然后过滤掉Q小于预设阈值P1的匹配特征点对，剩余的匹配特征点对形成高质量的匹配特征点对。
[0024]一种应用于车辆的全景图像拼接方法，进一步可选的，从高质量的匹配特征点对中随机选取用于估计模型参数最少的匹配特征点对，然后计算出透视变化矩阵Th；
[0025]将参考图像所有相互匹配的特征点对中的其中一个特征点利用透视变化矩阵Th进行透视变换，并计算待拼接的柱面投影图像中所对应特征点与经过透视变化的特征点的距离Dh；
[0026]当匹配特征点对中获得Dh小于预设比较阈值C2，判定该点为内点inlier，反之为就判定为外点outlier；
[0027]然后统计内点inlier的总数inlier_num，当inlier_num处于预设阈值范围内时就判定该模型为最优模型，并记录该模型下的统计误差；
[0028]统计误差定义为在透视变换矩阵Th的条件下，所有Dh距离的累加和；
[0029]遍历高质量的匹配特征点对，获得不同匹配特征点对获得的透视变换矩阵Th对应统计误差，获取最小统计误差对应的所有内点为最优内点集合。
[0030]一种应用于车辆的全景图像拼接方法，进一步可选的，当获得变化矩阵Ma后，分别将待拼接图像以及对应的消缝图像通过Ma进行投影到相邻图像的坐标系，获得第一融合图像和第一融合消缝图像，使待拼接的坐标基准进行统一。
[0031]一种应用于车辆的全景图像拼接方法，进一步可选的，图像融合的方法包括：
[0032]获取第二融合图像组、第二融合图像相邻的拼接图像组、第二融合消缝图像组，依次从第二融合图像组、第二融合图像相邻的拼接图像组、第二融合消缝图像组分别取出对应大小相同的图像，然后进融合；、
[0033]融合方式公式如下：
[0034]Imgs[i]＝Imgb1[i]*Seam_img[i]+Imgb2[i]*(1
‑
Seam_img[i])
[0035]其中，i表示融合图像组中对应的图像的索引，Imgb1[i]表示顺序为i第二融合图像，Imgb2[i]表示顺序为i的第二融合图像相邻的拼接图像，Seam_img[i]表示顺序为i的第二融合消缝图像；Imgs[i]表示顺序为i的融合第三融合图像；
[0036]将融合的图像添加入新的图像融合组中形成第三融合图像组；
[0037]获取第三融合图像组，按照图像大小对第三融合图像组的中图像进行排序；
[0038]取出第一幅图像，对第一幅图像进行上采样后使图像等于第二幅图像的大小后，再加上第二幅图像获得结果记为accumulated_img；
[0039]然后对accumulated_img进行上采样，使得经过上采样的图像等于第三幅图像的大小后，再加上第三幅图像；
[0040]依次类推进行遍历，最终获得图像为全景图像。
[0041]有益效果：
[0042]1.本专利技术提供的技术方案中，通过可旋转的车顶摄像头，对车顶周围进行拍摄，将获得的图像进行拼接，获取全景图像，仅用一个车顶摄像就可以完成了。
[0043]2.在图像拼接过程中，为了使得重合区域的图像不出现色差和拼接缝的问题，本实施例创建消缝图像，并且经过将将不成图像大小进行先进行上采样后形成图像组，然后在进行下采样后形成的图像组进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种应用于车辆的全景图像拼接方法，其特征在于，包括：获取车顶摄像头发送的图像imageL，创建与imageL图像大小相同的图像，像素用相同常量填充的消缝图像；将imageL图像和消缝图像进行柱面投影，获取柱面投影图像以及柱面投影消缝图像；获取相邻拼接的柱面投影图像相互匹配的特征点对；利用变化矩阵分别对柱面投影图像和对应的柱面投影消缝图像进行投影变换；通过对经过投影变化后的柱面投影图像、柱面投影消缝图像进行图像融合；将融合的图像进行组合，获取全景图像。2.如权利要求1所述一种应用于车辆的全景图像拼接方法，其特征在于，对柱面投影图像和柱面投影消缝图像进行边缘填充，使填充后的图像不小于相邻图像拼接后形成的图像的大小。3.如权利要求1所述一种应用于车辆的全景图像拼接方法，其特征在于，利用棋盘格对车顶摄像头进行校正，利用张正友法标定车载摄像头的内参和外参数；若车顶摄像头为鱼眼镜头，需要对鱼眼镜头进行畸变校正，获得畸变校正系数；启动全景拍摄模式，利用可旋转的车顶摄像头进行多角度旋转拍摄，获取原始序列图像，通过畸变矫正后获得用于拼接的图像imageL。4.如权利要求1所述一种应用于车辆的全景图像拼接方法，其特征在于，柱面图像的方法具体包括：构建柱面投影关系式，将图像通过柱面投影关系式转化为柱面投影图像；通过双线性插值计算每个像素点的精确位置，得到投影后的图像；通过自适应阈值将对柱面投影图像进行二值化处理，进行轮廓检测，获取轮廓坐标，从而根据轮廓坐标获取新的投影图像；通过边缘调整策略将图像四周预设范围内存在的角点置0。5.如权利要求1所述一种应用于车辆的全景图像拼接方法，其特征在于，当图像进行柱面投影后，相互匹配的特征点对通过SIFT算法获取。6.如权利要求5所述一种应用于车辆的全景图像拼接方法，其特征在于，SIFT算法具体包括：将图像高斯模糊去除次要信息，将图像降采样成不同的octave，octave内用不同的高斯核卷积；找到差分金字塔中的极值点，对极值点进行对比测试和边缘测试；关键点邻域梯度方法直方图确定关键点主方向；统计特征点领域梯度方向直方图，获得特征描述算子；通过获取相邻图像的特征描述算子的两两比较找出相互匹配的若干对相互匹配的特征点。7.如权利要求5所述一种应用于车辆的全景图像拼接方法，其特征在于，对SIFT算法获得的匹配特征点对进行预处理，获取高质量的匹配特征点对，其中，通过预设模型对所有相互匹配的特征点对进行通过计算Q值的方式进行质量评价，然后根据Q值降序排列，然后过滤掉Q小于预设阈值P1的匹...

【专利技术属性】
技术研发人员：肖文平，何敖东，
申请(专利权)人：上海赫千电子科技有限公司，
类型：发明
国别省市：