一种鱼眼相机的图像融合拼接方法、系统及电子设备技术方案

本发明专利技术提供一种鱼眼相机的图像融合拼接方法、系统及电子设备，包括对各鱼眼视图进行预处理，对预处理后的图像进行校正与映射，并转换为鸟瞰图；以标定车的轮廓为基准，将每张鸟瞰图切割为中间静态区域以及左、右重叠区域，计算相邻视角鸟瞰图的重叠区域轮廓；计算重叠区域所有像素点到轮廓曲线的垂直距离，并将垂直距离转换为每个像素属于相邻两个视角的权重，得到各重叠区域权重图，将权重图与对应重叠区域图像做点乘，获得重叠区域融合图像；将全部重叠区域以及中间静态区域按照鸟瞰图进行拼接，得到全景图。本发明专利技术能够准确、快速地对鱼眼相机拍摄的图像进行校正、融合和拼接，使得图像拼接结果更加自然、精细，且计算时间相对较短。间相对较短。间相对较短。

【技术实现步骤摘要】
一种鱼眼相机的图像融合拼接方法、系统及电子设备


[0001]本专利技术涉及图像处理
，更具体地，涉及一种鱼眼相机的图像融合拼接方法、系统及电子设备。

技术介绍

[0002]随着计算机视觉技术的快速发展，图像融合拼接已经成为计算机视觉领域里的热门研究课题。鱼眼相机以其超广角的视野和良好的透视表现能力，越来越被广泛应用于智能监控、智能交通、虚拟现实等多个领域，对于需要拍摄大景观或者行人、车辆等多目标的应用场景具有重要意义。但是，由于鱼眼镜头在映射图像时存在着很大的畸变，因此在实际应用中，需要对鱼眼相机所拍摄的图像进行校正和拼接，以便进行后续处理，如目标检测、视频编码等。
[0003]目前，常见的图像融合拼接方法主要有以下几种：基于特征点的拼接、基于变形模型的拼接、基于卷积神经网络的拼接等。这些方法在一定程度上能够实现对鱼眼相机拍摄的图像的校正和拼接，但是在实际应用中，仍然存在着一定的缺陷，如图像拼接的结果不够自然、所需时间过长、计算量过大等问题。因此，有必要设计一种更优的鱼眼相机图像的处理方法。

技术实现思路

[0004]本专利技术针对现有技术中存在的技术问题，提供一种鱼眼相机的图像融合拼接方法、系统及电子设备，其能准确、快速地对鱼眼相机拍摄的图像进行校正和拼接，使得图像拼接结果更加自然、精细，且计算时间相对较短。
[0005]根据本专利技术的第一方面，提供了一种鱼眼相机的图像融合拼接方法，包括：
[0006]对沿标定车周向拍摄的各鱼眼视图进行预处理，对预处理后的图像进行校正与映射，并转换为鸟瞰图；
[0007]以标定车的轮廓为基准，将每张所述鸟瞰图切割为中间静态区域以及左、右重叠区域，计算相邻视角鸟瞰图的重叠区域轮廓；
[0008]计算重叠区域所有像素点到轮廓曲线的垂直距离，并将垂直距离转换为每个像素属于相邻两个视角的权重，得到各重叠区域权重图，将权重图与对应重叠区域图像做点乘，获得重叠区域融合图像；
[0009]将全部重叠区域以及中间静态区域按照鸟瞰图进行拼接，得到全景图。
[0010]在上述技术方案的基础上，本专利技术还可以作出如下改进。
[0011]可选的，对鱼眼视图进行预处理，至少包括：去除图像噪声，对图像进行直方图均衡化。
[0012]可选的，对图像进行校正与映射，包括：
[0013]使用基于OpenCV库的鱼眼相机对图像进行校正，使用映射库对图像进行映射。
[0014]可选的，将鱼眼图转换为鸟瞰图，包括：
[0015]在每个矫正后鱼眼图像的感兴趣区域选取多个固定角点；
[0016]预先设定鸟瞰图视图，将其左上角作为坐标原点，假设表征上下方向的轴z＝0，依次计算每个鱼眼图像里所述角点对应的物理点坐标；
[0017]利用上述自定义的多个所述角点分别计算每个鱼眼视图的逆透视变换矩阵，根据所述逆透视变换矩阵将鱼眼视图转换成鸟瞰图。
[0018]可选的，将校正后的各鱼眼视图转换为鸟瞰图后，还包括：
[0019]对所述鸟瞰图进行亮度动态平滑处理。
[0020]可选的，计算相邻视角鸟瞰图的重叠区域轮廓之前，还包括，对相邻视角的鱼眼鸟瞰图的重叠区域做预处理，至少包括灰度化、二值化、滤波。
[0021]可选的，所述将全部重叠区域以及中间静态区域按照鸟瞰图进行拼接，得到全景图，包括：
[0022]按照预设的像素与物理尺度比例，定义全景鸟瞰图mask；
[0023]依次将每个视角下分割的中间静态区域图像与对应融合后的重叠区域图像填充到mask图，得到车身全景图。
[0024]根据本专利技术的第二方面，提供一种鱼眼相机的图像融合拼接系统，包括：
[0025]矫正转换模块，用于对沿标定车周向拍摄的各鱼眼视图进行预处理，对预处理后的图像进行校正与映射，并转换为鸟瞰图；
[0026]切割模块，用于以标定车的轮廓为基准，将每张所述鸟瞰图切割为中间静态区域以及左、右重叠区域，并计算相邻视角鸟瞰图的重叠区域轮廓；
[0027]融合模块，用于计算重叠区域所有像素点到轮廓曲线的垂直距离，并将垂直距离转换为每个像素属于相邻两个视角的权重，得到各重叠区域权重图，还用于将权重图与对应重叠区域图像做点乘，获得重叠区域融合图像；
[0028]拼接模块，用于将全部重叠区域以及中间静态区域按照鸟瞰图进行拼接，得到全景图。
[0029]根据本专利技术的第三方面，提供了一种电子设备，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现上述鱼眼相机的图像融合拼接方法的步骤。
[0030]根据本专利技术的第四方面，提供了一种计算机可读存储介质，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现上述鱼眼相机的图像融合拼接方法的步骤。
[0031]本专利技术提供的一种鱼眼相机的图像融合拼接方法、系统、电子设备及存储介质，该技术通过采集多个摄像头的鱼眼图像数据，利用数字图像处理技术，能够准确、快速地对鱼眼相机拍摄的图像进行畸变校正后并无缝融合拼接，得到全方位、高清晰度、无死角的全景图像。本专利技术使得图像拼接结果更加自然、精细，且计算时间相对较短。
附图说明
[0032]图1为本专利技术提供的一种鱼眼相机的图像融合拼接方法流程图；
[0033]图2为某一实施例中以标定车为中心的鱼眼相机前视图；
[0034]图3为某一实施例中以标定车为中心的鱼眼相机左视图；
[0035]图4为图2中前视图与图3中左视图的重叠区域轮廓示意图；
[0036]图5为图4中重叠区域像素分别权重图；
[0037]图6为图4中重叠区域融合图；
[0038]图7为拼接后的全景图；
[0039]图8为本专利技术提供的一种鱼眼相机的图像融合拼接系统组成框图；
[0040]图9为本专利技术提供的一种可能的电子设备的硬件结构示意图；
[0041]图10为本专利技术提供的一种可能的计算机可读存储介质的硬件结构示意图。
具体实施方式
[0042]下面结合附图和实施例，对本专利技术的具体实施方式作进一步详细描述。以下实施例用于说明本专利技术，但不用来限制本专利技术的范围。
[0043]图1为本专利技术提供的一种鱼眼相机的图像融合拼接方法流程图，如图1所示，方法包括步骤S1～S4：
[0044]S1，对沿标定车的周向拍摄的前、后、左、右四个视角的鱼眼视图进行预处理，对预处理后的各个图像进行校正与映射，并分别转换为鸟瞰图。
[0045]可以理解的是，在获取鱼眼视图之前，需首先进行鱼眼相机内参标定，例如：准备棋盘格标定板、相机相关参数设置，然后进行图像数据采集与保存，例如图2所示的前视图与图3所示的左视图，调用OpenCV接口计算每个鱼眼相机的内参与畸变系数。
[0046]在其中一种实施方式中，对鱼眼视图进行预处理，包括但不限于：去除图像噪声，对图像进行直方图均衡化等操作。
[0047]对于预处理后的鱼本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种鱼眼相机的图像融合拼接方法，其特征在于，包括：对沿标定车周向拍摄的各鱼眼视图进行预处理，对预处理后的图像进行校正与映射，并转换为鸟瞰图；以标定车的轮廓为基准，将每张所述鸟瞰图切割为中间静态区域以及左、右重叠区域，计算相邻视角鸟瞰图的重叠区域轮廓；计算重叠区域所有像素点到轮廓曲线的垂直距离，并将垂直距离转换为每个像素属于相邻两个视角的权重，得到各重叠区域权重图，将权重图与对应重叠区域图像做点乘，获得重叠区域融合图像；将全部重叠区域以及中间静态区域按照鸟瞰图进行拼接，得到全景图。2.根据权利要求1所述的一种鱼眼相机的图像融合拼接方法，其特征在于，对鱼眼视图进行预处理，至少包括：去除图像噪声，对图像进行直方图均衡化。3.根据权利要求1所述的一种鱼眼相机的图像融合拼接方法，其特征在于，对图像进行校正与映射，包括：使用基于OpenCV库的鱼眼相机对图像进行校正，使用映射库对图像进行映射。4.根据权利要求1所述的一种鱼眼相机的图像融合拼接方法，其特征在于，将鱼眼图转换为鸟瞰图，包括：在每个矫正后鱼眼图像的感兴趣区域选取多个固定角点；预先设定鸟瞰图视图，将其左上角作为坐标原点，假设表征上下方向的轴z＝0，依次计算每个鱼眼图像里所述角点对应的物理点坐标；利用自定义的多个所述角点分别计算每个鱼眼视图的逆透视变换矩阵，根据所述逆透视变换矩阵将鱼眼视图转换成鸟瞰图。5.根据权利要求1所述的一种鱼眼相机的图像融合拼接方法，其特征在于，将校正后的各鱼眼视图转换为鸟瞰图后，还包括：对所述鸟瞰图进行亮度动态平滑处理。6.根据权利要求1所述的一种鱼眼相机的图像融合拼接方法，其特征在于，...

【专利技术属性】
技术研发人员：乔少华，李汉玢，尹玉成，刘奋，
申请(专利权)人：武汉中海庭数据技术有限公司，
类型：发明
国别省市：