抗相机扰动的多相机实时景象拼接系统技术方案

本发明专利技术公开了一种抗相机扰动的多相机实时景象拼接系统，包括底板与插在底板上的拼接板，拼接板具体包括：FPGA，FPGA与底板的接口相连，用于进行图像接收控制以及进行拼接过程控制，FPGA内部包括拼接映射表DPRAM，其中，FPGA经过数模转换器与上位机相连；两个相同的DSP，两个相同的DSP分别与FPGA相连，DSP用于接收拼接参数后计算拼接映射表，并发送拼接映射表给FPGA；外部图像DPRAM，外部图像DPRAM与FPGA相连；n个输入图像FIFO，n个输入图像FIFO分别与FPGA相连，用于分别缓存n路图像，其中n为大于1的正整数；以及显示FIFO，显示FIFO与FPGA相连。本发明专利技术的抗相机扰动的多相机实时景象拼接系统可以实时地生成漫游视场景象，并且可以抗相机姿态扰动。

【技术实现步骤摘要】
抗相机扰动的多相机实时景象拼接系统
本专利技术属于图像拼接
，具体涉及一种抗相机扰动的多相机实时景象拼接系统。
技术介绍
随着技术的进步，图像拼接已经进入到人们的日常生活，例如在数字相机中，全景图合成已经成为了一项数字相机的功能。全景图像拼接显示的任务是把多幅不同视点的图像按一定的方式拼接为一幅能反映场景360度视角的合成图像，经全景拼接后的图像应覆盖整个球视场并无缝平滑，且可以在整个球视场内任意视线角上以任意视场角平面显示，使用户能获得身临其境的体验。具体的生成过程是将各自投影平面的相互重叠图像映射到简单的几何体表面上，如球面、立方体表面或圆柱面，使得平面图像具有深度感，然后对投影图像进行无缝拼接，就可得到没有图像畸变的全景图像。当用户观察某一图像空间时，要将全景图像中相应部分反投影到观察平面上，给用户产生正确的观察结果，因而全景图像为用户提供了极大的观察自由度，使之可以任意地改变观察方向。图像拼接技术研究是计算机视觉研究的一个重要领域。该技术有着广泛的用途，例如卫星图像或航拍图像的合成、全景虚拟场景的建立、照片编辑等。现有的多相机实时景象拼接系统通常不能抗相机姿态扰动和无法实时生成漫游视场的缺点。
技术实现思路
本专利技术旨在至少在一定程度上解决上述技术问题之一或至少提供一种有用的商业选择。为此，本专利技术的目的在于提出一种能够实时生成漫游视场的抗相机扰动的多相机实时景象拼接系统。根据本专利技术实施例的抗相机扰动的多相机实时景象拼接系统，包括底板与插在所述底板上的拼接板，所述拼接板具体包括:FPGA，所述FPGA与所述底板的接口相连，用于进行图像接收控制以及进行拼接过程控制，所述FPGA内部包括拼接映射表DPRAM，其中，所述FPGA经过数模转换器与上位机相连；两个相同的DSP，所述两个相同的DSP分别与所述FPGA相连，所述DSP用于接收拼接参数后计算拼接映射表，并发送拼接映射表给FPGA ;外部图像DPRAM，所述外部图像DPRAM与所述FPGA相连；n个输入图像FIFO，所述η个输入图像FIFO分别与所述FPGA相连，用于分别缓存η路图像，其中η为大于I的正整数；以及显示FIFO,所述显示FIFO与所述FPGA相连。根据本专利技术实施例的抗相机扰动的多相机实时景象拼接系统可以实时地生成漫游视场景象，并且可以抗相机姿态扰动。另外，根据本专利技术实施例的抗相机扰动的多相机实时景象拼接系统还可以具有如下技术特征。在本专利技术的一个实施例中，所述DSP的工作流程包括DSP系统初始化、图像拼接参数的读取、图像拼接映射表的生成和发送。在本专利技术的一个实施例中，所述两个相同的DSP分别用于承担上半幅图像的拼接工作和下半幅图像的拼接工作，以保证在720X576分辨率下的25Hz帧频输出拼接映射表，满足实时漫游的需要。在本专利技术的一个实施例中，在所述DSP中，接收拼接参数后计算拼接映射表的过程包括:所述DSP根据方位角、俯仰角、视场角及投影方式，计算拼接后的场景视图中每一个像素在畸变校正后图像中的坐标值，再通过畸变校正逆运算得到原始图像坐标值，所述原始图像坐标值和所述外部图像DPRAM地址是--映射的关系，通过相应的映射,可以把所述原始图像坐标值转换为外部图像DPRAM地址值，这样所述DSP会生成一个拼接映射表，所述拼接映射表的大小与视场角参数相关，所述拼接映射表里面的每一个元素就是场景视图中对应像素在外部图像DPRAM中的地址值。在本专利技术的一个实施例中，计算原始图像坐标值过程中，由于原始的多幅图有重叠的视场区，场景视图中像素对应原图的坐标值可能有多个，采用最近邻法得到整数坐标值作为最终的原始图像坐标值。在本专利技术的一个实施例中，所述FGPA进行图像接收控制包括:接收η路图像数据进行预处理，预处理操作后的结果数据分别存入η个显示缓存FIFO中，并将η个显示缓存FIFO中的图像数据存入外部图像DPRAM中，完成接收的η路图像数据的同步。 在本专利技术的一个实施例中，所述FGPA进行拼接过程控制包括:所述FPGA接收上位机发送的图像拼接参数，将图像拼接参数传输给所述DSP，所述DSP拼接映射表计算过程，所述FPGA接收所述DSP计算完成的拼接映射表并存入所述FPGA内部的拼接映射表DPRAM中，按地址从O开始递增的方式读所述拼接映射表DPRAM ;将拼接映射表DPRAM读得的数据作为地址读所述外部图像DPRAM ;从所述外部图像DPRAM读得的数据即是最终需要显示的拼接结果，将其按地址从O开始递增的方式写入显示缓存FIFO，遍历完成后显示FIFO中的数据即为拼接的全景图像。本专利技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。【附图说明】本专利技术的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中:图1是本专利技术实施例的抗相机扰动的多相机实时景象拼接系统的漫游视场图像生成算法流程图；图2是本专利技术实施例的抗相机扰动的多相机实时景象拼接系统的结构框图；图3是本专利技术实施例的系统的拼接板拼接部分的结构框图；图4是本专利技术实施例的系统的拼接板拼接过程的流程示意图；图5是本专利技术实施例的系统的DSP的流程示意图。【具体实施方式】下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。为使本领域技术人员更好地理解， 申请人:首先对本专利技术的多相机实时景象拼接系统工作原理进行说明。其工作原理是:多个相机可以进行姿态的改变，根据各个相机的外参数建立各幅图像之间的坐标变换关系，生成任意视线任意视场角的拼接图像，根据全景图像的投影算法得到全景图像。当给定一个相机的视线角和视场角时，可以确定相机的内外参数，从而可计算物方空间坐标系和像素坐标系之间的坐标变换。在确定漫游视场图像上某一个像素的灰度值时，可以先根据该像素点的像素坐标(x，y)，得到该像素点对应的射线方程。根据该射线方程可以得到物点P在物方坐标系中的坐标，根据物点P在物方坐标系中的坐标可以计算物点P在各个输入相机中的像素坐标。若其各个像素坐标在其输入相机的图像尺寸范围内，则取该图像中对应像素的灰度值作为漫游视场的对应像素的灰度值。上述确定任意视线角视场角图像像素灰度值的过程是漫游视场图像生成算法的主要原理，如图1所示，下面将漫游视场图像生成算法的详细流程叙述如下:SI，输入多个相机的内参数和漫游视场虚拟相机的内参数；S2，输入多个相机的外参数和图像；S3，输入漫游视场虚拟相机的外参数；S4，设定像素点(x，y)为漫游视场虚拟相机的图像的左上点；S5，计算出像素点(X，y)对应的射线方程，并得到像素点(X，y)对应的物点P在物方坐标系中的坐标(X，Y，Z)；S6，计算物点P在各个输入相机中的像素坐标(xi，yi)；S7，判断(xi，yi)是否在第i个相机的图像范围内，若在，则把像素点(xi，yi)的灰度值赋给像素点(X，y)；S8，判断(x，y)是否在虚拟视场相机的图像的右下点，若在，则算法结束；否则U，y)按从左到右，从上到下的顺序遍历到图像的下一本文档来自技高网...

【技术保护点】
一种抗相机扰动的多相机实时景象拼接系统，其特征在于，包括底板与插在所述底板上的拼接板，所述拼接板具体包括：FPGA，所述FPGA与所述底板的接口相连，用于进行图像接收控制以及进行拼接过程控制，所述FPGA内部包括拼接映射表DPRAM，其中，所述FPGA经过数模转换器与上位机相连；两个相同的DSP，所述两个相同的DSP分别与所述FPGA相连，所述DSP用于接收拼接参数后计算拼接映射表，并发送拼接映射表给FPGA；外部图像DPRAM，所述外部图像DPRAM与所述FPGA相连；n个输入图像FIFO，所述n个输入图像FIFO分别与所述FPGA相连，用于分别缓存n路图像，其中n为大于1的正整数；以及显示FIFO，所述显示FIFO与所述FPGA相连。

【技术特征摘要】
1.一种抗相机扰动的多相机实时景象拼接系统，其特征在于，包括底板与插在所述底板上的拼接板，所述拼接板具体包括: FPGA，所述FPGA与所述底板的接口相连，用于进行图像接收控制以及进行拼接过程控制，所述FPGA内部包括拼接映射表DPRAM，其中，所述FPGA经过数模转换器与上位机相连； 两个相同的DSP，所述两个相同的DSP分别与所述FPGA相连，所述DSP用于接收拼接参数后计算拼接映射表，并发送拼接映射表给FPGA ； 外部图像DPRAM，所述外部图像DPRAM与所述FPGA相连； η个输入图像FIFO，所述η个输入图像FIFO分别与所述FPGA相连，用于分别缓存η路图像，其中η为大于I的正整数；以及 显示FIFO，所述显示FIFO与所述FPGA相连。2.根据权利要求1所述的抗相机扰动的多相机实时景象拼接系统，其特征在于，所述DSP的工作流程包括DSP系统初始化、图像拼接参数的读取、图像拼接映射表的生成和发送。3.根据权利要求1或2所述的抗相机扰动的多相机实时景象拼接系统，其特征在于，所述两个相同的DSP分别用于承担上半幅图像的拼接工作和下半幅图像的拼接工作。4.根据权利要求1-3任一项所述的抗相机扰动的多相机实时景象拼接系统，其特征在于，在所述DSP中，接收拼接参数后计算拼接映射表的过程包括:所述DSP根据方位角、俯仰角、视场角及投影方式，计算拼接后的场景视图中每一个像素在畸变校正后图像中的坐标值，再通过畸变校正逆运算得到原始图像坐标值，所述原始图像坐标值和所述外部图像DPRAM地址是一一映射的关系，通过相应...

【专利技术属性】
技术研发人员：钟胜，商凯，陈大川，金明智，王建辉，
申请(专利权)人：南京华图信息技术有限公司，
类型：发明
国别省市：