【技术实现步骤摘要】
本申请涉及视频植入的，尤其是涉及一种基于三维高斯神经辐射场的自动化视频合成方法。
技术介绍
1、在进行视频内容的编辑时，目前采用将需要植入的物体视频分解成多幅连续的单帧图片，并将图片按照一定系数进行模糊处理，将处理后的图片按照分解时的顺序直接与原视频进行融合的方法。
2、但是，目前的处理方案中，植入的物体视频或者图片往往依靠庞大的素材库，如果素材库中不包含某些视角的图片或者图片的质量较差，就会导致最终合成的视频出现失真的问题，无法和原视频内容做到很好的融合，为了提高视频融合的质量，就需要提高素材的数量和质量，从而提高融合成本，并且，在融合时由于不同的视频其所处环境不同，在视频中的呈现效果也不同，只采用素材库中的图片进行融合，依旧会导致合成的视频失真严重。
技术实现思路
1、为了提高合成视频的视频质量，本申请提供一种基于三维高斯神经辐射场的自动化视频合成方法。
2、第一方面，本申请提供一种基于三维高斯神经辐射场的自动化视频合成方法，采用如下的技术方案：
3、一种基于三维高斯神经辐射场的自动化视频合成方法，包括：
4、获取目标合成视频，其中，所述目标合成视频包括目标物体；
5、基于colmap对所述目标合成视频进行相机位姿估计，确定所述目标合成视频的相机位姿信息；
6、基于depi算法对所述目标合成视频进行光场信息提取，确定所述目标合成视频的视频光场信息；
7、基于所述相机位姿信息和三维高斯神经辐射场模
8、基于所述目标合成视频、所述视频光场信息和所述三维模型自动生成包含所述目标物体的合成视频。
9、通过采用上述技术方案，能够从较少的素材库中获取更好的视频编辑效果，成本更低；结合视频相机位姿信息以及光场信息，可以使最终合成的视频更加拟真，从而提高合成视频的视频质量；形成从原视频到合成视频的技术闭环，进而减少人工操作，降低人力成本，缩短项目周期。
10、可选的，所述基于colmap对所述目标合成视频进行相机位姿估计，确定所述目标合成视频的相机位姿信息包括：
11、基于帧将所述目标合成视频划分为图像序列；
12、将所述图像序列输入至所述colmap；
13、所述colmap基于所述图像序列进行特征点提取和匹配，生成特征点和所述特征点之间的匹配关系；
14、基于所述特征点和所述匹配关系确定所述目标合成视频的相机位姿信息。
15、可选的，所述视频光场信息包括深度信息和角度信息；所述基于depi算法对所述目标合成视频进行光场信息提取，确定所述目标合成视频的视频光场信息包括：
16、对所述图像序列的每一帧进行关键提取,确定关键视觉特征；
17、基于所述depi算法和所述关键视觉特征确定深度信息；
18、基于所述depi算法和所述深度信息生成视差平面图像；
19、基于所述时差平面图像确定角度信息。
20、可选的，所述基于所述相机位姿信息和三维高斯神经辐射场模型生成所述目标物体的三维模型包括：
21、获取所述目标物体的物体图像；
22、基于所述物体图像和所述相机位姿信息确定待使用位姿；
23、对所述物体图像进行关键特征提取，生成关键特征点；
24、将所述关键特征点转换为高斯飞溅点；
25、基于所述高斯飞溅点构建所述目标物体的三维模型。
26、可选的，所述基于所述高斯飞溅点构建所述目标物体的三维模型包括：
27、将所述高斯飞溅点进行融合，将融合后的模型作为所述目标物体的三维模型。
28、可选的，所述基于所述目标合成视频、所述视频光场信息和所述三维模型自动生成包含所述目标物体的合成视频包括：
29、基于所述相机信息和所述视频光场信息生成渲染参数；
30、将所述高斯飞溅点进行投影平面处理，生成处理图像；
31、将所述处理图像与所述渲染参数进行融合，生成渲染图像；
32、基于所述目标合成视频定位所述目标物体的代替位置；
33、基于所述渲染图像、所述代替位置和所述三维模型生成包含所述目标物体的合成视频。
34、可选的，所述基于所述目标合成视频定位所述目标物体的代替位置包括：
35、基于oa-slam和所述目标合成视频进行特征提取和物体识别；
36、将提取的特征与识别的物体进行关联，基于关联结果确定代替位置。
37、第二方面，本申请提供一种基于三维高斯神经辐射场的自动化视频合成装置，采用如下的技术方案：
38、一种基于三维高斯神经辐射场的自动化视频合成装置，包括：
39、目标视频获取模块，用于获取目标合成视频，其中，所述目标合成视频包括目标物体；
40、位姿信息确定模块，用于基于colmap对所述目标合成视频进行相机位姿估计，确定所述目标合成视频的相机位姿信息；
41、光场信息确定模块，用于基于depi算法对所述目标合成视频进行光场信息提取，确定所述目标合成视频的视频光场信息；
42、三维模型生成模块，用于基于所述相机位姿信息和三维高斯神经辐射场模型生成所述目标物体的三维模型；
43、合成视频生成模块，用于基于所述目标合成视频、所述视频光场信息和所述三维模型自动生成包含所述目标物体的合成视频。
44、通过采用上述技术方案，能够从较少的素材库中获取更好的视频编辑效果，成本更低；结合视频相机位姿信息以及光场信息，可以使最终合成的视频更加拟真，从而提高合成视频的视频质量；形成从原视频到合成视频的技术闭环，进而减少人工操作，降低人力成本，缩短项目周期。
45、第三方面，本申请提供一种电子设备，采用如下的技术方案：
46、一种电子设备，包括处理器，所述处理器与存储器耦合；
47、所述处理器用于执行所述存储器中存储的计算机程序，以使得所述电子设备执行第一方面任一项所述的基于三维高斯神经辐射场的自动化视频合成方法的计算机程序。
48、第四方面，本申请提供一种计算机可读存储介质，采用如下的技术方案：
49、一种计算机可读存储介质，存储有能够被处理器加载并执行第一方面任一项所述的基于三维高斯神经辐射场的自动化视频合成方法的计算机程序。
本文档来自技高网...【技术保护点】
1.一种基于三维高斯神经辐射场的自动化视频合成方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述基于COLMAP对所述目标合成视频进行相机位姿估计，确定所述目标合成视频的相机位姿信息包括：
3.根据权利要求2所述的方法，其特征在于，所述视频光场信息包括深度信息和角度信息；所述基于DEPI算法对所述目标合成视频进行光场信息提取，确定所述目标合成视频的视频光场信息包括：
4.根据权利要求1所述的方法，其特征在于，所述基于所述相机位姿信息和三维高斯神经辐射场模型生成所述目标物体的三维模型包括：
5.根据权利要求4所述的方法，其特征在于，所述基于所述高斯飞溅点构建所述目标物体的三维模型包括：
6.根据权利要求4所述的方法，其特征在于，所述基于所述目标合成视频、所述视频光场信息和所述三维模型自动生成包含所述目标物体的合成视频包括：
7.根据权利要求6所述的方法，其特征在于，所述基于所述目标合成视频定位所述目标物体的代替位置包括：
8.一种基于三维高斯神经辐射场的自动化视频合成装置，其特
9.一种电子设备，其特征在于，包括处理器，所述处理器与存储器耦合；
10.一种计算机可读存储介质，其特征在于，包括计算机程序或指令，当所述计算机程序或指令在计算机上运行时，使得所述计算机执行如权利要求1至7任一项所述的方法。
...【技术特征摘要】
1.一种基于三维高斯神经辐射场的自动化视频合成方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述基于colmap对所述目标合成视频进行相机位姿估计，确定所述目标合成视频的相机位姿信息包括：
3.根据权利要求2所述的方法，其特征在于，所述视频光场信息包括深度信息和角度信息；所述基于depi算法对所述目标合成视频进行光场信息提取，确定所述目标合成视频的视频光场信息包括：
4.根据权利要求1所述的方法，其特征在于，所述基于所述相机位姿信息和三维高斯神经辐射场模型生成所述目标物体的三维模型包括：
5.根据权利要求4所述的方法，其特征在于，所述基于所述高斯飞溅点构...
【专利技术属性】
技术研发人员：刘祖渊，杨白云，
申请(专利权)人：星河视效科技北京有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。