全景视频实时拼接方法及装置制造方法及图纸

本发明专利技术公开了一种全景视频实时拼接方法及装置，所述方法包括接收多个图像采集单元拍摄得到的多路广角视频数据；对多路广角视频数据进行同步处理；将同步后的每一路广角视频数据写入存储器，并展开广角视频数据实现畸变校正；对展开后的多路广角视频数据的重叠区域进行融合拼接处理。本申请能够在全景相机中实现全景视频实时拼接，无需通过手机或计算机进行后期拼接处理，能够实现即时采集、即时拼接且拼接前后帧率一致，提高了全景视频拼接的实时性，且拼接成本低无需再投入其他硬件成本，简化操作、简单易用。

【技术实现步骤摘要】

本申请涉及图像处理技术，尤指一种全景视频实时拼接方法及装置。
技术介绍
随着视觉图像技术和视频采集技术的发展，视频获取已经从获取普通视角的视频，发展到广角视频，进一步发展到水平方向360度、垂直方向360度的全景视频。为了获取全景图像，需要使用两个或两个以上的镜头组成的全景相机拍摄多个方向的图像，再通过手机或PC将两个或两个以上镜头拍摄的多个方向的图像后期拼接为全景图像。上述现有技术中通过全景相机拍摄图像后再通过手机或PC进行后期拼接处理得到全景图像的方式，存在实时性差、拼接成本高且操作复杂的缺陷。
技术实现思路
为了解决上述技术问题，本专利技术提供了一种全景视频实时拼接方法及装置，能够在全景相机内实现实时拼接，且拼接成本低、简单易用。为了达到本专利技术目的，本申请提供了一种全景视频实时拼接方法，应用于拍摄终端中，所述拍摄终端包含多个图像采集单元，所述方法包括：接收多个图像采集单元拍摄得到的多路广角视频数据；对所述多路广角视频数据进行同步处理；将同步后的每一路广角视频数据写入存储器，并展开广角视频数据实现畸变校正；对展开后的多路广角视频数据的重叠区域进行拼接融合处理。本申请还提供了一种全景视频实时拼接装置，应用于拍摄终端中，所述拍摄终端包含多个图像采集单元，所述装置包括：一输入单元，用于接收多路图像采集单元拍摄得到的多路广角视频数据；一同步单元，用于对所述输入单元接收的多路广角视频数据进行同步处理；一存储控制单元，用于将所述同步单元同步后的每一路广角视频数据写入存储器；一全景拼接单元，用于展开广角视频数据实现畸变校正，并对展开后的多路广角视频数据进行重叠区域的融合拼接处理。与现有技术相比，本申请包括接收多个图像采集单元拍摄得到的多路广角视频数据；对多路广角视频数据进行同步处理；将同步后的每一路广角视频数据写入存储器，并展开广角视频数据实现畸变校正；对展开后的多路广角视频数据的重叠区域进行融合拼接处理。本申请能够在全景相机中实现全景视频实时拼接，无需通过手机或计算机进行后期拼接处理，能够实现即时采集、即时拼接且拼接前后帧率一致，提高了全景视频拼接的实时性，且拼接成本低无需再投入其他硬件成本，简化操作、简单易用。本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。附图说明附图用来提供对本专利技术技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本专利技术的技术方案，并不构成对本专利技术技术方案的限制。图1为本申请一实施例提供的全景视频实时拼接方法的流程图；图2为本申请另一实施例提供的全景视频实时拼接装置的架构图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，下文中将结合附图对本专利技术的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。在附图的流程图示出的步骤可以在诸如CPU、专用图像处理芯片等中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。在现有的全景视频拼接方法中，需要通过手机或PC对全景相机拍摄的视频进行后期的拼接融合处理，这种方式的拼接实时性差、拼接成本高且操作复杂。针对该问题，本申请提供了一种解决方案，主要原理是：由拍摄终端的多个图像采集单元拍摄外界图像，得到多路广角视频数据，拍摄终端接收每一路广角视频数据，对多路广角视频数据进行同步处理，完成同步处理后，将同步后的每一路广角视频数据写入存储器，并进行展开实现畸变校正，最后，对展开后的多路广角视频数据的重叠区域进行拼接融合处理。由于本申请中在拍摄终端中完成全景视频的拼接融合处理，因此，在拍摄得到多路广角视频数据后，无需再使用手机或PC进行后期拼接融合处理，提高了全景视频拼接的实时性。并且，采用一台设备完成从广角视频拍摄到图像拼接融合的全部工作，由于无需在后期再投入其他硬件成本，大大降低了图像处理的成本，并且简化了用户的操作、更加简单易用。以下结合附图详细说明本申请各实施例提供的技术方案。本申请的全景视频实时拼接方法应用于拍摄终端中。在实际应用中，为了获得全景图像、全景视频，出现了全景拍摄终端，例如全景相机、全景摄像机等。这些全景拍摄终端中包括至少两个图像采集单元，图像采集单元包括一个广角镜头(如鱼眼镜头)和一个摄取由该广角镜头形成的图像的图像传感器。至少两个图像采集单元背向设置，保证采集到水平和垂直各360°的全景图像。拍摄终端通过将各图像采集单元摄取的图像结合在一起获得立体角弧度为4π的图像。图1为本申请一实施例提供的全景视频实时拼接方法的流程图。如图1所示，该方法包括：步骤101：接收多个图像采集单元拍摄得到的多路广角视频数据；步骤102：对多路广角视频数据进行同步处理；步骤103：将同步后的每一路广角视频数据写入存储器，并展开广角视频数据实现畸变校正；步骤104：对展开后的多路广角视频数据的重叠区域进行拼接融合处理。在实际应用中，为获得全景内容，需要由包含多个图像采集单元的拍摄终端各拍摄超过180度范围的图像，再进行拼接融合得到全景内容。本实施例提供的方法可用于在拍摄终端中将各路超过180度范围的图像拼接融合为全景图像、全景视频。优选的，本方法可用于包含两个图像采集单元的拍摄终端，将两路超过180度范围的图像拼接融合为全景图像、全景视频。值得说明的是，本实施例的方法并不仅限定在对超过180度范围的图像拼接融合为全景图像、全景视频，可选的，对于多幅非广角镜头拍摄的图像也可以采用本实施例提供的方法拼接为全景图像、全景视频，但并不限于此。为了得到全景图像或全景视频，拍摄终端需要首先使用图像采集单元拍摄外界图像，得到多路广角视频数据，两图像采集单元拍摄的图像需保证有部分重叠区域。拍摄终端接收多路广角视频数据，以对多路广角视频数据进行拼接融合处理，得到全景图像、全景视频。由于多路图像采集单元相互独立，采集到的图像有先后时间差异，即使采用同步控制电路进行控制，也无法保证拍摄得到的多路广角视频数据精确同步。因此，在得到多路广角视频数据后，需要对这多路广角视频数据先进行同步处理。具体的，对这多路广角视频数据先进行同步处理，包括：将多路广角视频数据分别写入缓存，经过一指定时间阈值的延迟后在同一时刻将多个缓存中的广角视频数据读出，经过同步处理后的多路广角视频数据完全同步。同步后的多路广角视频数据保证在时间域上精确一致，避免视频出现抖动和时间不一致等现象。广角镜头，尤其是鱼眼镜头，其视角力求达到或超出人眼所能看到的范围。因此，广角镜头在成像过程中存在较大的畸变，畸变图像不符合人眼的观看习惯，所以畸变图像需要进行校正。基于此，在对多路广角视频数据进行同步处理后，需要对每一路广角视频数据进行畸变校正，本实施例提供的方法中，通过对每一路广角视频数据展开实现广角视频数据的畸变校正。本实施例中，将同步后的每一路广角视频数据写入存储器中，并完成展开，以便后续进一步对展开后的多路广角视频数据的重叠区域进行拼接融合处理。上述对广角视频数据的展开是指根据成像模型，将多个图像采集单元拍摄的多幅不同视角图像统本文档来自技高网...

【技术保护点】
一种全景视频实时拼接方法，其特征在于，应用于拍摄终端中，所述拍摄终端包含多个图像采集单元，所述方法包括：接收多个图像采集单元拍摄得到的多路广角视频数据；对所述多路广角视频数据进行同步处理；将同步后的每一路广角视频数据写入存储器，并展开广角视频数据实现畸变校正；对展开后的多路广角视频数据的重叠区域进行拼接融合处理。

【技术特征摘要】
1.一种全景视频实时拼接方法，其特征在于，应用于拍摄终端中，所述拍摄终端包含多个图像采集单元，所述方法包括：接收多个图像采集单元拍摄得到的多路广角视频数据；对所述多路广角视频数据进行同步处理；将同步后的每一路广角视频数据写入存储器，并展开广角视频数据实现畸变校正；对展开后的多路广角视频数据的重叠区域进行拼接融合处理。2.根据权利要求1所述的方法，其特征在于，所述将同步后的每一路广角视频数据写入存储器，并展开广角视频数据实现畸变校正，包括：将同步后的每一路广角视频数据逐帧写入与每一路广角视频数据一一对应的存储器中，所述对应的存储器中预先存储有用于对相应广角视频数据进行畸变校正的图像坐标信息；在逐帧将广角视频数据写入对应的存储器的同时，从对应的存储器中读取图像坐标信息中的坐标，并从已写入该存储器的广角视频数据中读取出坐标对应的像素点从而展开广角视频数据，实现广角视频数据的畸变校正。3.根据权利要求2所述的方法，其特征在于，所述将同步后的每一路广角视频数据逐帧写入与每一路广角视频数据一一对应的存储器中，以及在逐帧将广角视频数据写入对应的存储器的同时，从广角视频数据对应的存储器中读取图像坐标信息中的坐标，并从已写入该存储器的广角视频数据中读取出坐标对应的像素点，包括：针对同步后的每一路广角视频数据，在当前写入帧的行场有效时间内，执行将帧数据写入对应的存储器的操作，在当前写入帧的行场消隐区间内，读取坐标，并根据坐标读取已写入所述存储器的所述当前写入帧的上一帧中的像素点，在同时完成当前写入帧的写入和所述上一帧的读取后，将下一帧作为当前写入帧写入相应的存储器更替已被读取的帧数据，并依次循环完成广角视频数据的展开。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：对同步后的每一路广角视频数据的第一帧，在第一帧的行场有效时间内，执行将该第一帧写入对应的存储器的操作；在第一帧的行场消隐区间内，不执行读取操作。5.根据权利要求1～4任意之一所述的方法，其特征在于，所述对所述多路广角视频数据进行同步处理，包括：将所述多路广角视频数据分别写入缓存，在延迟一指定时间阈值后，在同一时刻将多路广角视频数据读出...

【专利技术属性】
技术研发人员：纪任超，黄业桃，
申请(专利权)人：北京疯景科技有限公司，
类型：发明
国别省市：北京;11