一种视频对象的重建方法和装置制造方法及图纸

本申请涉及一种视频对象的重建方法和装置，其中，该方法包括：对多个视频帧进行对象检测，得到多个对象区域图像，其中，多个对象区域图像与多个视频帧一一对应，多个对象区域图像中的每个对象区域图像是所对应的视频帧中目标对象所在区域的图像；从多个对象区域图像中提取预测信息，其中，预测信息用于指示目标对象在每个对象区域图像中的位置、形状和旋转角度；对预测信息进行平滑处理，得到平滑信息；使用平滑信息创建目标对象的对象模型。本申请解决了对视频对象进行重建的准确度较低的技术问题。

A method and device of video object reconstruction

【技术实现步骤摘要】
一种视频对象的重建方法和装置
本申请涉及计算机领域，尤其涉及一种视频对象的重建方法和装置。
技术介绍
针对视频对象重建任务，目前受模型精度及视频拍摄环境等多方面的影响，单帧去重建对象存在不准的时候，那么对于视频这个序列，把重建的结果连起来的时候就会发现重建的对象是抖动的，导致对视频对象进行重建的准确度较低。针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种视频对象的重建方法和装置。根据本申请实施例的一个方面，提供了一种视频对象的重建方法，包括：对多个视频帧进行对象检测，得到多个对象区域图像，其中，所述多个对象区域图像与所述多个视频帧一一对应，多个对象区域图像中的每个对象区域图像是所对应的视频帧中目标对象所在区域的图像；从所述多个对象区域图像中提取预测信息，其中，所述预测信息用于指示所述目标对象在所述每个对象区域图像中的位置、形状和旋转角度；对所述预测信息进行平滑处理，得到平滑信息；使用所述平滑信息创建本文档来自技高网...

【技术保护点】
1.一种视频对象的重建方法，其特征在于，包括：/n对多个视频帧进行对象检测，得到多个对象区域图像，其中，所述多个对象区域图像与所述多个视频帧一一对应，多个对象区域图像中的每个对象区域图像是所对应的视频帧中目标对象所在区域的图像；/n从所述多个对象区域图像中提取预测信息，其中，所述预测信息用于指示所述目标对象在所述每个对象区域图像中的位置、形状和旋转角度；/n对所述预测信息进行平滑处理，得到平滑信息；/n使用所述平滑信息创建所述目标对象的对象模型。/n

【技术特征摘要】
1.一种视频对象的重建方法，其特征在于，包括：
对多个视频帧进行对象检测，得到多个对象区域图像，其中，所述多个对象区域图像与所述多个视频帧一一对应，多个对象区域图像中的每个对象区域图像是所对应的视频帧中目标对象所在区域的图像；
从所述多个对象区域图像中提取预测信息，其中，所述预测信息用于指示所述目标对象在所述每个对象区域图像中的位置、形状和旋转角度；
对所述预测信息进行平滑处理，得到平滑信息；
使用所述平滑信息创建所述目标对象的对象模型。


2.根据权利要求1所述的方法，其特征在于，
从所述多个对象区域图像中提取预测信息包括：从所述多个对象区域图像中提取预测位置信息，预测形状信息和预测旋转信息，其中，所述预测位置信息用于指示所述目标对象在所述多个对象区域图像中每个对象区域图像上的位置，所述预测形状信息用于指示所述目标对象在所述每个对象区域图像上的形状，所述预测旋转信息用于指示所述目标对象在所述每个对象区域图像上的旋转角度；
对所述预测信息进行平滑处理，得到平滑信息包括：分别对所述预测位置信息，所述预测形状信息和所述预测旋转信息进行平滑处理，得到平滑位置信息、平滑形状信息和平滑旋转信息。


3.根据权利要求2所述的方法，其特征在于，从所述多个对象区域图像中提取预测位置信息，所述预测形状信息和所述预测旋转信息包括：
将所述多个对象区域图像输入3D重建网络；
获取所述3D重建网络输出的多个预测姿态信息矩阵，多个预测形状信息矩阵，多个预测镜头信息，其中，所述预测位置信息包括所述多个预测镜头信息，所述预测形状信息包括所述多个预测形状信息矩阵，所述预测旋转信息包括所述多个预测姿态信息矩阵。


4.根据权利要求2所述的方法，其特征在于，对所述预测位置信息进行平滑处理，得到所述平滑位置信息包括：
获取对象X轴位移信息和对象Y轴位移信息，其中，所述预测位置信息包括所述对象X轴位移信息和所述对象Y轴位移信息，所述对象X轴位移信息用于指示所述目标对象相对于所述对象区域图像在X轴方向上的位移，所述对象Y轴位移信息用于指示所述目标对象相对于所述对象区域图像在Y轴方向上的位移；
分别将所述对象X轴位移信息和所述对象Y轴位移信息映射到所述视频帧，得到对象X轴映射信息和对象Y轴映射信息，其中，所述对象X轴映射信息用于指示所述目标对象相对于所述视频帧在X轴方向上的位移，所述对象Y轴映射信息用于指示所述目标对象相对于所述视频帧在Y轴方向上的位移；
分别对所述对象X轴映射信息和所述对象Y轴映射信息进行平滑处理，得到所述平滑位置信息。


5.根据权利要求2所述的方法，其特征在于，对所述预测形状信息进行平滑处理，得到平滑形状信息包括：
获取n个视频帧中每个视频帧的预测形状信息矩阵Sk，得到预测形状信息总矩阵Sn，其中，所述预测形状信息包括n个所述预测形状信息矩阵Sk，k表示所述每个视频帧，所述预测形状信息矩阵Sk为1×a维的矩阵，a为正整数，所述预测形状信息总矩阵Sn为n×a维的矩阵；
对所述预测形状信息总矩阵Sn按照每一维进行拆分，得到a个n维向量；
对所述a个n维向量中的每个n维向量，剔除所述每个n维向量中的m个最大值和m个最小值得到a个n-2m维向量，其中，2m<n；
对所述a个n-2m维向量中的每个n-2m维向量取平均值，得到1个a维向量作为所述平滑形状信息。


6.根据权利要求2所述的方法，其特征在于，对所述预测旋转信息进行平滑处理，得到平滑旋转信息包括：
获取预测姿态信息矩阵PL和部位连接关系，其中，所述预测姿态信息矩阵PL包括b个子矩阵，b为正整数，所述b个子矩阵中每个子矩阵与所述目标对象的b个部位中的每个部位一一对应，所述部位连接关系用于指示所述b个部位之间的从属关系，所述b个子矩阵中每个子矩阵为所述每个部位的局部角度表示；
将所述每个部位的局部角度表示转换为所述每个部位的全局角度表示，得到全局角度表示矩阵PG，其中，在所述从属关系中的子节点的全局角度表示为所述子节点的局部角度表示与所述...

【专利技术属性】
技术研发人员：刘思阳，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：北京;11