全景视频合成方法、装置、电子设备和计算机存储介质制造方法及图纸

本申请提供一种全景视频合成方法、装置、电子设备和计算机存储介质，全景视频合成方法包括，获取待处理帧和全景图像；将待处理帧映射为待合并全景图；对待合并全景图和全景图像进行合并，得到全景图像帧，待处理视频的每一帧对应的全景图像帧组合为待处理视频对应的全景视频。本方案可以将一个普通的待处理视频与全景图像合成为全景视频，即只需要处理一个待处理视频就可以得到对应的全景视频，不需要处理多个子视频，计算量比现有的生成全景视频的方法少，因此可以减少生成全景视频所消耗的系统资源。

【技术实现步骤摘要】
全景视频合成方法、装置、电子设备和计算机存储介质
本专利技术涉及数据处理
，特别涉及一种全景视频合成方法、装置、电子设备和计算机存储介质。
技术介绍
全景视频是在全景图像的基础上发展出来的一项技术，全景视频的每一帧都可以认为是一个全景图，利用全景视频，可以实现全方位的，动态的场景展示。目前，全景视频已经被广泛应用于旅游展览，城市介绍等领域。现有的生成全景视频的方法，一般是同时使用多个镜头拍摄得到多个不同方位的子视频，最后将多个子视频合成为全景视频。这种方法需要逐一将每个子视频的每一帧合成为对应的全景图，当使用的镜头数量较多时，这种生成全景视频的方法需要处理多个子视频，因而会消耗大量的系统资源。
技术实现思路
基于上述现有技术存在的问题，本申请提供一种全景视频合成方法、装置、电子设备和计算机存储介质，以减少生成全景视频所消耗的系统资源。本申请第一方面提供一种全景视频合成方法，包括：获取待处理帧和全景图像；其中，所述待处理帧指代待处理视频中的每一帧；其中，所述全景图像对应的场景包含所述待处理帧的背景图像对应的场景；将所述待处理帧映射为所述待处理帧对应的待合并全景图；其中，所述待合并全景图的背景图像和所述全景图像相互匹配；对所述待合并全景图和所述全景图像进行合并，得到合并后图像；其中，所述合并后图像作为所述待处理帧对应的全景图像帧；组合所述待处理视频的每一帧对应的全景图像帧，得到所述待处理视频对应的全景视频。可选的，所述将所述待处理帧映射为所述待处理帧对应的待合并全景图，包括：将所述待处理帧的每一个像素点均投影至目标球面；其中，所述目标球面根据所述全景图像的分辨率确定；所述待处理帧投影在所述目标球面上的位置，根据所述全景图像中与所述待处理帧对应的区域的位置确定；将所述目标球面上属于所述待处理帧的每一个像素点投影至所述目标球面的正切面，并根据每一个投影至所述正切面的像素点生成所述待处理帧对应的待合并全景图。可选的，所述根据每一个投影至所述正切面的像素点生成所述待处理帧对应的待合并全景图，包括：对每一个投影至所述正切面的像素点依次进行畸变处理和针孔映射处理，得到处理后的像素点；组合每一个所述处理后的像素点，得到所述待处理帧对应的待合并全景图。可选的，所述对所述待合并全景图和所述全景图像进行合并，得到合并后图像之后，还包括：调整所述合并后图像的亮度，使所述合并后图像中对应于所述待合并全景图的像素点的亮度和对应于所述全景图像的像素点的亮度趋于一致；其中，调整后的所述合并后图像作为所述待处理帧对应的全景图像帧。可选的，所述对所述待合并全景图和所述全景图像进行合并，得到合并后图像，包括：对所述待合并全景图和所述全景图像进行对齐；用所述待合并全景图覆盖所述全景图像中与所述待合并全景图对齐的区域，得到拼接图像；利用图像融合算法对所述待合并全景图在所述拼接图像中的边界进行融合，得到合并后图像。本申请第二方面提供一种全景视频合成装置，包括：获取单元，用于获取待处理帧和全景图像；其中，所述待处理帧指代待处理视频中的每一帧；所述全景图像所显示的场景包含所述待处理帧所显示的场景；映射单元，用于将所述待处理帧映射为所述待处理帧对应的待合并全景图；其中，所述待合并全景图的背景图像和所述全景图像相互匹配；合并单元，用于对所述待合并全景图和所述全景图像进行合并，得到合并后图像；其中，所述合并后图像作为所述待处理帧对应的全景图像帧；组合单元，用于组合所述待处理视频的每一帧对应的全景图像帧，得到所述待处理视频对应的全景视频。可选的，所述映射单元将所述待处理帧映射为所述待处理帧对应的待合并全景图时，具体用于：将所述待处理帧的每一个像素点均投影至目标球面；其中，所述目标球面根据所述全景图像的分辨率确定；所述待处理帧投影在所述目标球面上的位置，根据所述全景图像中与所述待处理帧对应的区域的位置确定；将所述目标球面上属于所述待处理帧的每一个像素点投影至所述目标球面的正切面，并根据每一个投影至所述正切面的像素点生成所述待处理帧对应的待合并全景图。可选的，所述合并单元对所述待合并全景图和所述全景图像进行合并，得到合并后图像时，具体用于：对所述待合并全景图和所述全景图像进行对齐；用所述待合并全景图覆盖所述全景图像中与所述待合并全景图对齐的区域，得到拼接图像；利用图像融合算法对所述待合并全景图在所述拼接图像中的边界进行融合，得到合并后图像。本申请第三方面提供一种电子设备，包括存储器和处理器；其中，所述存储器用于存储程序；所述处理器用于执行所述程序，具体用于执行如本申请第一方面任意一项提供的全景视频合成方法。本申请第四方面提供一种计算机存储介质，用于存储计算机程序，所述计算机程序被执行时，用于实现如本申请第一方面任意一项提供的全景视频合成方法。本申请提供一种全景视频合成方法、装置、电子设备和计算机存储介质，全景视频合成方法包括，获取待处理帧和全景图像；将待处理帧映射为待合并全景图；对待合并全景图和全景图像进行合并，得到全景图像帧，待处理视频的每一帧对应的全景图像帧组合为待处理视频对应的全景视频。本方案可以将一个普通的待处理视频与全景图像合成为全景视频，即只需要处理一个待处理视频就可以得到对应的全景视频，不需要处理多个子视频，计算量比现有的生成全景视频的方法少，因此可以减少生成全景视频所消耗的系统资源。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获取其他的附图。图1为现有的一种生成全景视频的方法的流程图；图2为本申请实施例提供的一种全景视频合成方法的流程图；图3为本申请实施例提供的一种拍摄全景图像的方法的流程图；图4为本申请实施例提供的一个待处理帧和映射后的待合并全景图的对比示意图；图5为本申请实施例提供的一种将待合并全景图和全景图像合并为拼接图像的示意图；图6为本申请实施例提供的一种全景视频合成方法生成全景视频的示意图；图7为本申请实施例提供的一种对待处理帧进行映射的方法的流程图；图8为本申请实施例提供的一种等角投影模型的原理示意图；图9为本申请实施例提供的一种将球面上的像素点投影至正切面的示意图；图10为本申请实施例提供的一种全景视频合成装置的结构示意图；图11为本申请实施例提供的一种电子设备的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例本文档来自技高网...

【技术保护点】
1.一种全景视频合成方法，其特征在于，包括：/n获取待处理帧和全景图像；其中，所述待处理帧指代待处理视频中的每一帧；其中，所述全景图像对应的场景包含所述待处理帧的背景图像对应的场景；/n将所述待处理帧映射为所述待处理帧对应的待合并全景图；其中，所述待合并全景图的背景图像和所述全景图像相互匹配；/n对所述待合并全景图和所述全景图像进行合并，得到合并后图像；其中，所述合并后图像作为所述待处理帧对应的全景图像帧；/n组合所述待处理视频的每一帧对应的全景图像帧，得到所述待处理视频对应的全景视频。/n

【技术特征摘要】
1.一种全景视频合成方法，其特征在于，包括：
获取待处理帧和全景图像；其中，所述待处理帧指代待处理视频中的每一帧；其中，所述全景图像对应的场景包含所述待处理帧的背景图像对应的场景；
将所述待处理帧映射为所述待处理帧对应的待合并全景图；其中，所述待合并全景图的背景图像和所述全景图像相互匹配；
对所述待合并全景图和所述全景图像进行合并，得到合并后图像；其中，所述合并后图像作为所述待处理帧对应的全景图像帧；
组合所述待处理视频的每一帧对应的全景图像帧，得到所述待处理视频对应的全景视频。


2.根据权利要求1所述的方法，其特征在于，所述将所述待处理帧映射为所述待处理帧对应的待合并全景图，包括：
将所述待处理帧的每一个像素点均投影至目标球面；其中，所述目标球面根据所述全景图像的分辨率确定；所述待处理帧投影在所述目标球面上的位置，根据所述全景图像中与所述待处理帧对应的区域的位置确定；
将所述目标球面上属于所述待处理帧的每一个像素点投影至所述目标球面的正切面，并根据每一个投影至所述正切面的像素点生成所述待处理帧对应的待合并全景图。


3.根据权利要求2所述的方法，其特征在于，所述根据每一个投影至所述正切面的像素点生成所述待处理帧对应的待合并全景图，包括：
对每一个投影至所述正切面的像素点依次进行畸变处理和针孔映射处理，得到处理后的像素点；
组合每一个所述处理后的像素点，得到所述待处理帧对应的待合并全景图。


4.根据权利要求1所述的方法，其特征在于，所述对所述待合并全景图和所述全景图像进行合并，得到合并后图像之后，还包括：
调整所述合并后图像的亮度，使所述合并后图像中对应于所述待合并全景图的像素点的亮度和对应于所述全景图像的像素点的亮度趋于一致；其中，调整后的所述合并后图像作为所述待处理帧对应的全景图像帧。


5.根据权利要求1所述的方法，其特征在于，所述对所述待合并全景图和所述全景图像进行合并，得到合并后图像，包括：
对所述待合并全景图和所述全景图像进行对齐；
用所述待合并全景图覆盖所述全景图像中与所述待合并全景图对齐的区域，得到拼接图像；...

【专利技术属性】
技术研发人员：李虎民，孙鑫，
申请(专利权)人：北京爱笔科技有限公司，
类型：发明
国别省市：北京;11