用于估算视频旋转的方法、装置、电子设备和存储介质制造方法及图纸

技术编号:37237265 阅读:22 留言:0更新日期:2023-04-20 23:19
本公开涉及一种用于估算视频旋转的方法、装置、电子设备和存储介质。其中的方法包括:对于待处理视频中的每一帧图像,根据当前帧图像与其前后K帧图像中的每一帧图像之间的匹配关系,计算得到当前帧图像的全局旋转初值和图像获取装置的内参数矩阵;根据当前帧图像与其前后M帧图像中的每一帧图像之间的匹配关系,计算得到当前帧图像与其前后M帧图像中的每一帧图像之间的单应性矩阵;根据当前帧图像的全局旋转初值和图像获取装置的内参数矩阵设置损失函数,并使用优化方法得到最小化的损失函数;根据最小化的损失函数和各个单应矩阵,计算得到当前帧图像的全局旋转优化值。应用本公开可以对视频的旋转进行比较精确的估算。开可以对视频的旋转进行比较精确的估算。开可以对视频的旋转进行比较精确的估算。

【技术实现步骤摘要】
用于估算视频旋转的方法、装置、电子设备和存储介质


[0001]本申请涉及计算机
,尤其涉及一种用于估算视频旋转的方法、装置、电子设备和存储介质。

技术介绍

[0002]在现有技术中,有时需要对视频文件中出现的旋转进行估算。一般情况下,现有技术中通常使用如下的方法来估算视频旋转:
[0003]方法1:旋转平均(Rotation average)算法。
[0004]在该方法中,可以基于多个两帧图像之间的相对旋转,来求解全局的旋转。该方法的计算速度快,但是由于其中并未利用二维空间点(2D点)的信息,因此无法保证求解得到的旋转在画面里的贴合度,所以估算的精度不高。
[0005]方法2:运动恢复结构(Structure from Motion,SFM)算法,或者同步定位与地图构建(Simultaneous Localization and Mapping,SLAM)算法。
[0006]在上述方法中,可以使用SFM算法或SLAM算法直接求解整个视频的每一帧位姿(平移+旋转)和场景三维空间点(3D点)的坐标。该方法的估算本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于估算视频旋转的方法,其特征在于,所述方法包括:对于待处理视频中的每一帧图像,根据当前帧图像与其前后K帧图像中的每一帧图像之间的匹配关系,计算得到当前帧图像的全局旋转初值和图像获取装置的内参数矩阵;其中,K为自然数;根据当前帧图像与其前后M帧图像中的每一帧图像之间的匹配关系,计算得到当前帧图像与其前后M帧图像中的每一帧图像之间的单应性矩阵;其中,M为小于或等于K的自然数;根据当前帧图像的全局旋转初值和图像获取装置的内参数矩阵设置损失函数,并使用优化方法得到最小化的损失函数;根据最小化的损失函数和各个单应矩阵,计算得到当前帧图像的全局旋转优化值。2.根据权利要求1所述的方法,其特征在于,所述根据当前帧图像与其前后M帧图像中的每一帧图像之间的匹配关系,计算得到当前帧图像与其前后M帧图像中的每一帧图像之间的单应性矩阵包括:对当前帧图像与其前后M帧图像中的每一帧图像之间的匹配关系进行降采样;根据各个降采样后的匹配关系,计算得到当前帧图像与其前后M帧图像中的每一帧图像之间的单应性矩阵。3.根据权利要求2所述的方法,其特征在于,对两帧图像之间的匹配关系进行降采样包括:将两帧图像均对应划分为N
×
N个格子,且每个格子的初始状态为空;其中,N为预先设置的值;从两帧图像的匹配点对中选取一个未被选取过的匹配点对;当所选取的匹配点对中的任意一个点所在的格子的状态为空时,保留该所选取的匹配点对,并将该所选取的匹配点对的两个点所在的格子的状态设置为非空;当所选取的匹配点对中的两个点所在的格子的状态均为非空时,删除该所选取的匹配点对;当两帧图像的匹配点对中有未被选取过的匹配点对时,返回执行从两帧图像的匹配点对中选取一个未被选取过的匹配点对的步骤。4.根据权利要求1所述的方法,其特征在于,所述根据当前帧图像与其前后K帧图像中的每一帧图像之间的匹配关系,计算得到当前帧图像的全局旋转初值和图像获取装置的内参数矩阵包括:根据当前帧图像与其前后K帧图像中的每一帧图像之间的匹配关系,计算得到当前帧图像与其前后K帧图像中的每一帧图像之间的基础矩阵;根据基础矩阵计算得到当前帧图像的全局旋转初值和图像获取装置的内参数矩阵。5.根据权利要求4所述的方法,其特征在于,所述根据基础矩阵计算得到当前帧图像的全局旋转初值和图像获取装置的内参数矩阵包括:根据基础矩阵计算得到当前帧图像与其前后K帧图像中的每一帧图像之间的相对旋转和相对平移,以及图像获取装置的内参数矩阵;根据当前帧图像与其前后K帧图像中的每一帧图像之间的相对旋转,计算得到当前帧图像的全局旋转初值。6.根据权利要求1所述的方法,其特征在于,所述方法还进一步包括:
当当前帧图像中的二维空间点的平均重投影误差大于或等于预设的误差阈值时,根据当前帧图像与其前后K帧图像中的每一帧图像之间的相对平移,计算得到当前帧图像的全局位移;根据匹配点对在各帧图像上的对应的二维空间点的位置,计算得到该匹配点对所对应的三维空间点的轨迹;根据当前帧图像的全局旋转优化值和当前帧图像的全局位移,对三维空间点的轨迹进行三角化,计算得到三维空间点在世界坐标系中的位置;进行全局的光束法平差优化,计算得到当前帧图像的全局旋转估计值、全局位移估计值以及当前帧中的各个匹配点对对应的三维空间点在世界坐标系中的坐标估计值。7.根据权利要求6所述的方法,其...

【专利技术属性】
技术研发人员:郭亨凯温佳伟
申请(专利权)人:北京字跳网络技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1