基于3D重建技术的视频编辑方法和装置以及设备制造方法及图纸

本发明专利技术公开了基于3D重建技术的视频编辑方法，所述方法包括：获取待编辑视频；检测所述待编辑视频每一帧中可识别的对象；利用神经网络重建与每一所述对象对应的第一3D模型；选择所述待编辑视频中的所述对象的当前帧，对所选择的所述对象进行编辑，并将所编辑的内容修改所述第一3D模型，生成第二3D模型；基于所述第二3D模型对所述对象所在的每一帧图像进行实时姿态估计，并根据所述姿态估计驱动所述第二3D模型生成替换图像，将所述替换图像渲染至所述待编辑视频的同一所述对象的所有帧上。本发明专利技术提出的方案能够实现在视频中单帧编辑物体后，自动应用到整个视频帧上的相同物体，从而提高了用户编辑视频的效率以及提高了体验效果。

【技术实现步骤摘要】
基于3D重建技术的视频编辑方法和装置以及设备
本专利技术涉及视频处理
，尤其涉及基于3D重建技术的视频编辑方法和装置以及设备。
技术介绍
随着5G和短视频应用的发展，用户逐步开始从编辑图片转向编辑视频。现阶段的视频编辑软件更多在于视频整体时间线编辑，如删除无用片段、增加音乐等。若用户想编辑视频中的某一物体，如在视频中改变家具颜色或修改人物衣服图案等，则需逐帧进行修改，一段5分钟视频就要编辑7200帧图像，工作量极大；没有办法对某一物体进行编辑后同步给后续的视频帧，从而导致用户编辑视频的体验效果不好。
技术实现思路
有鉴于此，本专利技术的目的在于提出一种基于3D重建技术的视频编辑方法和装置以及设备，能够实现在视频中单帧编辑物体后，自动应用到整个视频帧上的相同物体，从而提高了用户编辑视频的效率以及提高了体验效果。为实现上述目的，本专利技术提供一种基于3D重建技术的视频编辑方法，所述方法包括：获取待编辑视频；检测所述待编辑视频每一帧中可识别的对象；利用神经网络重建与每一所述对象对应的第一3D模本文档来自技高网...

【技术保护点】
1.一种基于3D重建技术的视频编辑方法，其特征在于，所述方法包括：/n获取待编辑视频；/n检测所述待编辑视频每一帧中可识别的对象；/n利用神经网络重建与每一所述对象对应的第一3D模型；/n选择所述待编辑视频中的所述对象的当前帧，对所选择的所述对象进行编辑，并将所编辑的内容修改所述第一3D模型，生成第二3D模型；/n基于所述第二3D模型对所述对象所在的每一帧图像进行实时姿态估计，并根据所述姿态估计驱动所述第二3D模型生成替换图像，将所述替换图像渲染至所述待编辑视频的同一所述对象的所有帧上。/n

【技术特征摘要】
1.一种基于3D重建技术的视频编辑方法，其特征在于，所述方法包括：
获取待编辑视频；
检测所述待编辑视频每一帧中可识别的对象；
利用神经网络重建与每一所述对象对应的第一3D模型；
选择所述待编辑视频中的所述对象的当前帧，对所选择的所述对象进行编辑，并将所编辑的内容修改所述第一3D模型，生成第二3D模型；
基于所述第二3D模型对所述对象所在的每一帧图像进行实时姿态估计，并根据所述姿态估计驱动所述第二3D模型生成替换图像，将所述替换图像渲染至所述待编辑视频的同一所述对象的所有帧上。


2.根据权利要求1所述的一种基于3D重建技术的视频编辑方法，其特征在于，所述检测所述待编辑视频每一帧中可识别的对象，包括：
利用通用物体检测技术检测所述待编辑视频每一帧中可识别的对象。


3.根据权利要求1所述的一种基于3D重建技术的视频编辑方法，其特征在于，所述利用神经网络重建与每一所述对象对应的第一3D模型，包括：
通过自编码器根据每一所述对象的体素组成重建所述对象对应的所述第一3D模型。


4.根据权利要求1所述的一种基于3D重建技术的视频编辑方法，其特征在于，基于所述第二3D模型对所述对象所在的每一帧图像进行实时姿态估计，并根据所述姿态估计驱动所述第二3D模型生成替换图像，将所述替换图像渲染至所述待编辑视频的同一所述对象的所有帧上，包括：
根据所述对象所在的每一帧图像的坐标，裁出所述对象，并输入至所述第二3D模型中；
输出所述对象所在的每一帧图像的坐标和所述对象的三维姿态参数；
根据所述坐标和所述三维姿态参数驱动所述第二3D模型旋转平移至对应的所在的每一帧图像中出现所述对象的位置，将所编辑的内容投影至同一所述对象的所有帧上，替换所有帧中的像素点，实现渲染。


5.一种基于3D重建技术的视频编辑装置，其特征在于，所述装置包括：
获取单元，用于获取待编辑视频；
检测单元，用于检测所述待编辑视频每一帧中可识别的对...

【专利技术属性】
技术研发人员：吴善思源，龚秋棠，吴方灿，林奇，
申请(专利权)人：厦门真景科技有限公司，
类型：发明
国别省市：福建;35