一种基于FPGA的多路视频拼接系统及方法技术方案

一种基于FPGA的多路视频拼接系统及方法，其中拼接系统包括多个鱼眼摄像头、FPGA芯片、ASIC视频处理芯片；所有鱼眼摄像头以等间隔的角度固定在同一水平面；所述鱼眼摄像头的视频数据输入到FPGA中，在FPGA中进行图像畸变矫正与图像融合，完成后将视频数据传输给ASIC视频处理芯片，将视频进行压缩编码，以形成可传输的拼接视频。本发明专利技术采用FPGA作为多路视频拼接处理的核心，FPGA是并行运作的，单个时钟周期内能进行大量的操作，特别适合用于视频图像处理，使得拼接操作同步与视频的采集，达到视频实时处理的效果。

【技术实现步骤摘要】
一种基于FPGA的多路视频拼接系统及方法
本专利技术属于图像通信
，具体涉及一种基于FPGA的多路视频拼接系统及方法。
技术介绍
视频拼接技术采用以计算机技术以及图像处理为核心，从多个视频图像采集设备上同步获得位置及角度不同并有部分重叠区域的视频图像，通过图像配准及融合等技术而得到多路视频拼接图像。目前，多路视频拼接系统的绝大部分都是采用嵌入式ARM方法实现的，嵌入式平台的处理器是串行处理的，它的处理速度有限，对数据量大以及计算复杂的视频拼接方法难以满足实时性要求；嵌入式平台的功耗通常很大，由于视频拼接要求处理大量数据，运算量大，这将使得处理器功耗增大，进而增加了多路视频拼接系统的散热设计难度；为了满足视频拼接的实时性要求，则必须采用高性能的嵌入式处理器，从而增加设计的成本。因此，基于嵌入式平台的多路视频拼接技术很难在移动平台上推广。
技术实现思路
现有技术中，多路视频拼接系统的绝大部分都是采用嵌入式ARM方法实现的，嵌入式平台的处理器是串行处理的，它的处理速度有限，对数据量大以及计算复杂的视频拼接方法难以满足实时性要求，为了解决这种问题，本专利技术提供一种基于FPGA的多路视频拼接系统，具体方案如下：一种基于FPGA的多路视频拼接系统，包括：多个鱼眼摄像头、FPGA芯片、ASIC视频处理芯片；所有鱼眼摄像头以等间隔的角度固定在同一水平面；所述鱼眼摄像头的视频数据输入到FPGA中，在FPGA中进行图像畸变矫正与图像融合，完成后将视频数据传输给ASIC视频处理芯片，将视频进行压缩编码，以形成可传输的拼接视频。其中，在上述系统中，所述系统还包括实时时钟模块和GPS模块，所述实时时钟模块和所述GPS模块用于在视频或图片中添加拍摄时间和拍摄地点信息。其中，在上述系统中，所述系统还包括陀螺仪，用于防止拍摄过程中产生的抖动，以提升拍摄的质量。其中，在上述系统中，所述系统还包括SD卡和WIFI通讯模块，以通过WIFI连接智能终端，将视频数据传输到智能终端，在智能终端的APP中可进行实时预览拼接视频，并通过智能终端可发送拍摄指令，当ASIC视频处理芯片接收到拍摄指令后，将视频或图片保存在设备的SD卡中。本专利技术提供的基于FPGA的多路视频拼接系统，该系统可制作成手持式设备，便于携带，本专利技术制作成便携式的手持设备，并且可自带电池，可以随身携带进行全景视频拍摄，通过WIFI连接在手机APP上进行实时预览，同时设备实现视频存储功能，可将拍摄的视频储存在SD卡中。本专利技术还提供了一种基于FPGA的多路视频拼接方法，具体包括如下步骤：步骤S1，初始化多路视频拼接系统，并使用同一配置线同时对多路视频拼接系统的每个摄像头进行初始化配置，所述初始化配置包括视频处理芯片、FPGA芯片、图像ISP设置以及视频多拼接模式的初始化配置文件；步骤S2，采集图像，并通过FPGA实时地读取每路摄像头的视频数据，以进行图像的畸变矫正；步骤S3，将畸变矫正的视频数据通过FPGA进行图像融合；步骤S4，将图像融合后的视频数据进行视频压缩编码处理，生成可传输的拼接视频。其中，在上述方法中，所述步骤S2中多路视频拼接系统采用全套自主可控的图像ISP处理算法进行图像采集，具体包括；首先，利用多路视频拼接系统的各个摄像头采集Bayer格式的Raw图像；然后，将Raw图像发送给ISP，并经过ISP算法处理，输出RGB空间域的图像给后续的视频采集单元；其中，该系统提供的自主可控的ISP处理算法具体包括自动白平衡(AWB)校正、色彩校正矩阵(CCM)、镜头阴影校正(LSC)以及颜色紫边校正(CAC)。其中，在上述方法中，所述步骤S2采用计算坐标映射表的方法进行图像的畸变矫正，具体包括如下步骤：步骤S21：对给定的多路视频拼接系统，利用棋盘格标定方法计算出各个镜头的内参数和畸变系数，相邻镜头之间的空间关系参数；步骤S22：利用镜头的内参数和畸变系数以及镜头之间的空间关系参数计算出原始图像与目标图像之间的坐标映射表,坐标映射表保存了各个镜头采集的原始图像与经过图像拼接方法形成的目标图像中像素点坐标之间的一对多的对应关系,其中，目标图像为去畸变的图像；步骤S23：根据所述的坐标映射表将各个鱼眼镜头拍摄到的原始图片映射到目标图像上，将所述目标图像中的像素点作为目标像素点，利用所述预设坐标映射表，确定所述目标像素点与所述待处理原始图像上的源像素点的对应关系；其中，在上述方法中，所述步骤S2中确定所述目标像素点与所述待处理原始图像上的源像素点的对应关系具体包括：在原始图像中查找与目标像素点相对应的源像素点，其计算方法如下：Dst(x，y)＝Src(Lut_x(x，y)，Lut_y(x，y))其中，Dst(x，y)表示坐标为(x，y)的目标像素点，Lut_x(x，y)表示目标像素点坐标(x，y)经过预设坐标映射表映射到源图像中X方向上的坐标值，Lut_y(x，y)表示目标像素点坐标(x，y)经过预设坐标映射表映射到源图像中Y方向上的坐标值，Src(Lut_x(x，y)，Lut_y(x，y))表示目标像素点坐标(x，y)经过预设坐标映射表映射到源图像中的位置；当目标像素点坐标映射到源图像中得到的坐标值不为整数时，将非整数坐标进行插值运行，生成非整数坐标下的整数像素值，采用双立方插值算法生成整数像素值，双立方插值算法的计算公式如下：其中，(i′，j′)表示待计算像素点在4×4的采样区域中包含小数部分的像素坐标，P(i′，j′)表示4×4的采样区域中的16个像素值与各自的权重做卷积和之后形成的新像素值，dx表示X方向的小数坐标，dy表示Y方向的小数坐标，m表示4×4的采样区域中X方向上的坐标，n表示4×4的采样区域中Y方向上的坐标，P(m，n)表示4×4的采样区域中的坐标为(m，n)的像素值，R(.)表示插值表达式，常见的有基于三角取值、Bell分布表达式、B样条曲线表达式，本实施例中采用B样条曲线表达式进行插值，数学公式如下：利用双立方插值对目标图像中每一个目标像素点进行投影映射后，保存目标像素点与原始图像中有效像素的对应关系，目标像素点与源像素点的对应关系在目标图像中的重叠区域是一种一对二的关系，在其他区域是一对一的关系。其中，在上述方法中，所述步骤S3中将畸变矫正的视频数据通过FPGA进行图像融合具体包括：根据所述步骤S2计算出来的坐标映射表，由于各个原始图像中相邻两张图片之间存在一定的重叠区域，对于重叠区域，则预设坐标映射表为其保存两组对应关系；判断利用所述目标像素点确定出的所述源像素点的数目是否唯一；如果所述数目唯一，则判定所述目标像素点未位于所述重叠区域；否则判定所述目标像素点位于所述重叠区域；采用线性加权的方法对重叠区域的两个源像素点的像素值做α混合得到混合像素值，计算方法如下:Idst(x，y)＝α×Isrc1(x，y)+(1-α)×Isrc2(x，y)其中，Idst(x，y)表示目标图像中坐标(x，y)处的像素值，Isrc1(x，y)表示原始图像1中坐标(x，y)处的像素值，Lsrc2(x，y)表示原始图像2中坐标(x，y)处的像素值，α表示加权系数；采用线性加权的方法可以使得重叠部分左边图像“渐出”，而重叠部分右边图像“渐入”，这就实现了平缓的过度，使得图像拼接本文档来自技高网...

【技术保护点】
一种基于FPGA的多路视频拼接系统，其特征在于，包括多个鱼眼摄像头、FPGA芯片、ASIC视频处理芯片；所有鱼眼摄像头以等间隔的角度固定在同一水平面；所述鱼眼摄像头的视频数据输入到FPGA中，在FPGA中进行图像畸变矫正与图像融合，完成后将视频数据传输给ASIC视频处理芯片，将视频进行压缩编码，以形成可传输的拼接视频。

【技术特征摘要】
1.一种基于FPGA的多路视频拼接系统，其特征在于，包括多个鱼眼摄像头、FPGA芯片、ASIC视频处理芯片；所有鱼眼摄像头以等间隔的角度固定在同一水平面；所述鱼眼摄像头的视频数据输入到FPGA中，在FPGA中进行图像畸变矫正与图像融合，完成后将视频数据传输给ASIC视频处理芯片，将视频进行压缩编码，以形成可传输的拼接视频。2.根据权利要求1所述的系统，其特征在于，所述系统还包括实时时钟模块和GPS模块，所述实时时钟模块和所述GPS模块用于在视频或图片中添加拍摄时间和拍摄地点信息。3.根据权利要求1所述的系统，其特征在于，所述系统还包括陀螺仪，用于防止拍摄过程中产生的抖动，以提升拍摄的质量。4.根据权利要求1所述的系统，其特征在于，所述系统还包括SD卡和WIFI通讯模块，以通过WIFI连接智能终端，将视频数据传输到智能终端，在智能终端的APP中可进行实时预览拼接视频，并通过智能终端可发送拍摄指令，当ASIC视频处理芯片接收到拍摄指令后，将视频或图片保存在设备的SD卡中。5.一种基于权利要求1至4任一项所述的基于FPGA的多路视频拼接系统的拼接方法，其特征在于，包括如下步骤：步骤S1，初始化多路视频拼接系统，并使用同一配置线同时对多路视频拼接系统的每个摄像头进行初始化配置，所述初始化配置包括视频处理芯片、FPGA芯片、图像ISP设置以及视频多拼接模式的初始化配置文件；步骤S2，采集图像，并通过FPGA实时地读取每路摄像头的视频数据，以进行图像的畸变矫正；步骤S3，将畸变矫正的视频数据通过FPGA进行图像融合；步骤S4，将图像融合后的视频数据进行视频压缩编码处理，生成可传输的拼接视频。6.根据权利要求5所述的方法，其特征在于，所述步骤S2中多路视频拼接系统采用全套自主可控的图像ISP处理算法进行图像采集，具体包括；首先，利用多路视频拼接系统的各个摄像头采集Bayer格式的Raw图像；然后，将Raw图像发送给ISP，并经过ISP算法处理，输出RGB空间域的图像给后续的视频采集单元；其中，该系统提供的自主可控的ISP处理算法具体包括自动白平衡(AWB)校正、色彩校正矩阵(CCM)、镜头阴影校正(LSC)以及颜色紫边校正(CAC)。7.根据权利要求6所述的方法，其特征在于，所述步骤S2采用计算坐标映射表的方法进行图像的畸变矫正，具体包括如下步骤：步骤S21：对给定的多路视频拼接系统，利用棋盘格标定方法计算出各个镜头的内参数和畸变系数，相邻镜头之间的空间关系参数；步骤S22：利用镜头的内参数和畸变系数以及镜头之间的空间关系参数计算出原始图像与目标图像之间的坐标映射表,坐标映射表保存了各个镜头采集的原始图像与经过图像拼接方法形成的目标图像中像素点坐标之间的一对多的对应关系,其中，目标图像为去畸变的图像；步骤S23：根据所述的坐标映射表将各个鱼眼镜头拍摄到的原始图片映射到目标图像上，将所述目标图像中的像素点作为目标像素点，利用所述预设坐标映射表，确定所述目标像素点与所述待处理原始图像上的源像素点的对应关系。8.根据...

【专利技术属性】
技术研发人员：许会，张智福，余思洋，陈捷，
申请(专利权)人：长沙全度影像科技有限公司，
类型：发明
国别省市：湖南,43