一种特定轨迹下新视点合成视频生成的方法及系统技术方案

本发明专利技术公开了一种特定轨迹下新视点合成视频生成的方法及系统，将基于三维重建SFM算法的稀疏重建结果3Dproxy文件进行配准和刚性变换处理，使其世界坐标系的原点与物体的正中心达到重合，可以确保形成理想的正圆形拍摄轨迹，并且根据特定的观察视点输入特定的相机外参矩阵至神经渲染模型输出对应视点的图像，可实现按照某一轨迹进行运动时，得到精准的、特定轨迹下的合成视频，通过为用户提供方便的轨迹操控界面，从而可以借助神经渲染算法，完成特定轨迹下的新视点合成视频生成任务。特定轨迹下的新视点合成视频生成任务。特定轨迹下的新视点合成视频生成任务。

A method and system of new viewpoint synthetic video generation under specific trajectory

【技术实现步骤摘要】
一种特定轨迹下新视点合成视频生成的方法及系统


[0001]本专利技术涉及视频合成
，具体涉及一种特定轨迹下新视点合成视频生成的方法及系统。

技术介绍

[0002]神经渲染是近年来出现的一种自动化内容生成AI算法，可以被用于新视点合成、重光照等生成式AI任务。新视点合成任务是指，基于某一场景多角度的大量图片数据、通过深度学习的方式，获得该场景的神经表示，并通过相应的神经渲染层进行逼真的图片生成；从而可以在指定的观察角度条件下，生成相应的图像输出，通过这种方式，理论上可以实现自由视点的视频生成。
[0003]对于物品展示类的场景，经常需要生成环绕拍摄的视频内容，换言之，需要虚拟相机围绕物品的正中心做正圆轨迹的运动。但是，现有的神经渲染新视点合成算法，例如ADOB，依赖于SFM步骤的稀疏重建的结果作为3D proxy，进而完成最终的神经渲染输出，SFM步骤，例如使用Colmap，得到的3D proxy，例如PLY格式的3D模型文件，其世界坐标系的原点与物体的正中心并不重合，这会造成，例如当指定虚拟相机绕Y轴进行旋转时，无法确保形成理想的正圆形拍摄轨迹；又例如当指定虚拟相机从物体的正面开始，按照某一轨迹进行运动时，系统无法得知所需的语义上的物体正面究竟对应什么样的相机外参矩阵。目前常见的新视点合成算法，在效果展示上，多生成随机观看轨迹，不能进行精准的、特定轨迹下的视频合成。

技术实现思路

[0004]为此，本专利技术提供一种特定轨迹下新视点合成视频生成的方法及系统，以解决现有新视点合成算法不能进行精准的、特定轨迹下的视频合成的问题。
[0005]为了实现上述目的，本专利技术提供如下技术方案：
[0006]根据本专利技术实施例的第一方面，提出了一种特定轨迹下新视点合成视频生成的方法，所述方法包括：
[0007]根据采集的物体正视和侧视图像获取物体的三维包围盒的中心点坐标，并获取刚体变换矩阵，根据所述刚体变换矩阵能通过刚体变换将所述三维包围盒的中心点移至世界坐标系的原点，且三维物体包围盒的正前面平行于世界坐标系的XOY平面、底面平行于世界坐标系的XOZ平面；
[0008]对物体通过三维重建得到的三维稀疏点云模型根据所述刚体变换矩阵进行配准和变换处理；
[0009]根据处理后的三维稀疏点云模型以及训练集图片对预先构建的神经渲染模型进行训练；
[0010]将与用户预设观察视点对应的设定相机外参矩阵输入至训练的神经渲染模型，输出该观察视点下的物体图像；
[0011]获取特定轨迹下不同观察视点的多张物体图像，并合成为视频。
[0012]进一步地，根据采集的物体正视和侧视图像获取物体的三维包围盒的中心点坐标，具体包括：
[0013]采集物体正视和侧视图像分别作为第一和第二参考帧，在所述第一和第二参考帧上标记出物体的二维包围框，根据所述二维包围框获取物体的关键角点；
[0014]对所述关键角点进行坐标转换得到对应的在世界坐标系下的3D坐标，根据关键角点的3D坐标即可得到物体的三维包围盒；
[0015]根据关键角点的3D坐标计算得到物体的三维包围盒的中心点坐标。
[0016]进一步地，对所述关键角点进行坐标转换得到世界坐标系下的3D坐标，具体包括：
[0017]通过三维重建SFM算法得到相机内参矩阵K、对应于第一和第二参考帧的相机外参矩阵M1、M2；
[0018]根据小孔相机模型以及得到的相机内参矩阵K、相机外参矩阵M1、M2计算得到关键角点在世界坐标系下的3D坐标。
[0019]进一步地，获取刚体变换矩阵，具体包括：
[0020]计算旋转矩阵R和平移矩阵T，根据所述旋转矩阵R和平移矩阵T得到刚体变换矩阵M。
[0021]进一步地，对物体通过三维重建得到的三维稀疏点云模型根据所述刚体变换矩阵进行配准和变换处理，具体包括：
[0022]将刚体变换矩阵M乘以三维稀疏点云模型中每一个3D点的坐标得到标准化的三维稀疏点云模型。
[0023]根据本专利技术实施例的第二方面，提出了一种特定轨迹下新视点合成视频生成的系统，所述系统包括：
[0024]配准模块，用于根据采集的物体正视和侧视图像获取物体的三维包围盒的中心点坐标，并获取刚体变换矩阵，根据所述刚体变换矩阵能通过刚体变换将所述三维包围盒的中心点移至世界坐标系的原点，且三维物体包围盒的正前面平行于世界坐标系的XOY平面、底面平行于世界坐标系的XOZ平面；
[0025]对物体通过三维重建得到的三维稀疏点云模型根据所述刚体变换矩阵进行配准和变换处理；
[0026]神经渲染模型训练模块，用于根据处理后的三维稀疏点云模型以及训练集图片对预先构建的神经渲染模型进行训练；
[0027]视频生成模块，用于将与用户预设观察视点对应的设定相机外参矩阵输入至训练的神经渲染模型，输出该观察视点下的物体图像；
[0028]获取特定轨迹下不同观察视点的多张物体图像，并合成为视频。
[0029]进一步地，所述配准模块具体用于：
[0030]采集物体正视和侧视图像分别作为第一和第二参考帧，在所述第一和第二参考帧上标记出物体的二维包围框，根据所述二维包围框获取物体的关键角点；
[0031]对所述关键角点进行坐标转换得到对应的在世界坐标系下的3D坐标，根据关键角点的3D坐标即可得到物体的三维包围盒；
[0032]根据关键角点的3D坐标计算得到物体的三维包围盒的中心点坐标。
[0033]根据本专利技术实施例的第三方面，提出了一种计算机存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于被一种特定轨迹下新视点合成视频生成的系统执行如上任一项所述的方法。
[0034]本专利技术具有如下优点：
[0035]本专利技术提出的一种特定轨迹下新视点合成视频生成的方法及系统，将基于SFM算法的稀疏重建结果3D proxy文件进行配准和刚性变换处理，使其世界坐标系的原点与物体的正中心达到重合，可以确保形成理想的正圆形拍摄轨迹，并且根据特定的观察视点输入特定的相机外参矩阵至神经渲染模型输出对应视点的图像，可实现按照某一轨迹进行运动时，得到精准的、特定轨迹下的合成视频，通过为用户提供方便的轨迹操控界面，从而可以借助神经渲染算法，完成特定轨迹下的新视点合成视频生成任务。
附图说明
[0036]为了更清楚地说明本专利技术的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
[0037]图1为本专利技术实施例1提供的一种特定轨迹下新视点合成视频生成的方法的流程示意图。
具体实施方式
[0038]以下由特定的具体实施例说明本专利技术的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本专利技术的其他优点及功效本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种特定轨迹下新视点合成视频生成的方法，其特征在于，所述方法包括：根据采集的物体正视和侧视图像获取物体的三维包围盒的中心点坐标，并获取刚体变换矩阵，根据所述刚体变换矩阵能通过刚体变换将所述三维包围盒的中心点移至世界坐标系的原点，且三维物体包围盒的正前面平行于世界坐标系的XOY平面、底面平行于世界坐标系的XOZ平面；对物体通过三维重建得到的三维稀疏点云模型根据所述刚体变换矩阵进行配准和变换处理；根据处理后的三维稀疏点云模型以及训练集图片对预先构建的神经渲染模型进行训练；将与用户预设观察视点对应的设定相机外参矩阵输入至训练的神经渲染模型，输出该观察视点下的物体图像；获取特定轨迹下不同观察视点的多张物体图像，并合成为视频。2.根据权利要求1所述的一种特定轨迹下新视点合成视频生成的方法，其特征在于，根据采集的物体正视和侧视图像获取物体的三维包围盒的中心点坐标，具体包括：采集物体正视和侧视图像分别作为第一和第二参考帧，在所述第一和第二参考帧上标记出物体的二维包围框，根据所述二维包围框获取物体的关键角点；对所述关键角点进行坐标转换得到对应的在世界坐标系下的3D坐标，根据关键角点的3D坐标即可得到物体的三维包围盒；根据关键角点的3D坐标计算得到物体的三维包围盒的中心点坐标。3.根据权利要求2所述的一种特定轨迹下新视点合成视频生成的方法，其特征在于，对所述关键角点进行坐标转换得到世界坐标系下的3D坐标，具体包括：通过三维重建SFM算法得到相机内参矩阵K、对应于第一和第二参考帧的相机外参矩阵M1、M2；根据小孔相机模型以及得到的相机内参矩阵K、相机外参矩阵M1、M2计算得到关键角点在世界坐标系下的3D坐标。4.根据权利要求1所述的一种特定轨迹下新视点合成视频生成的方法，其特征在于，获取刚体变换矩阵，具体包括：计算旋转矩阵R和平移矩阵T，根据所述旋转矩阵R和平移矩阵T得到刚体变...

【专利技术属性】
技术研发人员：吉长江，
申请(专利权)人：北京影数科技有限公司，
类型：发明
国别省市：