【技术实现步骤摘要】
自由视角系统的检测方法、装置、设备及系统
[0001]本申请涉及图像处理领域,尤其涉及自由视角系统的检测方法、装置、设备及系统。
技术介绍
[0002]自由视角技术实现了实时、可交互视频模式,使用户在终端上自主选择自由视角视频的360
°
观看视角。自由视角技术主要应用在节目特效拍摄和现场直播等场景。自由视角技术也可称为自由视点技术。自由视角系统中的多个拍摄设备根据控制信号触发快门,对同一场景进行同步拍摄,得到多个角度的多帧图像。计算设备根据多个拍摄设备的参数对多个角度的多帧图像进行处理,生成自由视角视频。在拍摄过程中,如果自由视角系统中的拍摄设备发生碰撞或抖动等,引发拍摄设备的位置和角度等发生偏移,利用偏移后拍摄设备的参数处理图像生成的自由视角视频,同样出现抖动。通常,自由视角系统中拍摄设备的偏移检测是由工作人员依据最终生成的自由视角视频的主观观看体验确定的。检测与拍摄设备偏移发生的时间跨度较大,并且对于微小偏移,主观上的判断容易忽略。因此,如何实时准确地检测自由视角系统中拍摄设备偏移成为亟待解决的问题。
技术实现思路
[0003]本申请提供的自由视角系统的检测方法、装置、设备及系统,解决了如何实时准确地检测自由视角系统中拍摄设备偏移的问题。
[0004]第一方面,提供了一种自由视角系统的检测方法,自由视角系统包括N个拍摄设备,N个拍摄设备对第一场景进行同步拍摄,N个拍摄设备包含第一拍摄设备,第一拍摄设备包含相机和惯性测量组件(Inertial Measurement Uni ...
【技术保护点】
【技术特征摘要】
1.一种自由视角系统的检测方法,其特征在于,所述自由视角系统包括N个拍摄设备,所述N个拍摄设备对第一场景进行同步拍摄,所述N个拍摄设备包含第一拍摄设备,所述第一拍摄设备包含相机和惯性测量组件IMU,所述方法由所述第一拍摄设备执行,所述方法包括:当所述第一拍摄设备的IMU信息变化时,通过所述相机获取第一时刻的第一图像;获取M个拍摄设备在所述第一时刻获取的M个图像,所述M个拍摄设备为所述自由视角系统中除了所述第一拍摄设备之外的设备,所述M个拍摄设备的IMU信息未变化,N为大于或等于3的整数,M为大于或等于1的整数,M<N;根据所述第一图像和所述M个图像确定偏移量,所述偏移量用于指示所述第一拍摄设备在所述第一时刻获取第一图像时的变化外参相对初始相机外参发生偏移的程度。2.根据权利要求1所述的方法,其特征在于,所述M个拍摄设备包括与所述第一拍摄设备相邻的设备。3.根据权利要求1所述的方法,其特征在于,所述M个拍摄设备包括所述自由视角系统内预设机位范围内的拍摄设备。4.根据权利要求1
‑
3中任一项所述的方法,其特征在于,所述根据所述第一图像和所述M个图像确定偏移量包括:根据所述第一图像和所述M个图像确定重投影误差,所述重投影误差用于表征所述第一图像和所述M个图像中检测区域内的特征点的坐标误差;根据所述重投影误差确定所述偏移量。5.根据权利要求1
‑
4中任一项所述的方法,其特征在于,在所述根据所述第一图像和所述M个图像确定偏移量之后,所述方法还包括:向所述计算设备发送提示信息,所述提示信息用于指示所述第一拍摄设备的姿态发生了偏移。6.根据权利要求1
‑
5中任一项所述的方法,其特征在于,所述根据所述第一图像和所述M个图像确定偏移量之后,所述方法还包括:若所述偏移量小于预设偏移量,根据所述偏移量和所述初始相机外参确定所述第一拍摄设备的重标外参,所述重标外参用于对生成所述第一场景的自由视角视频的所述第一拍摄设备获取的图像进行后处理。7.根据权利要求1
‑
5中任一项所述的方法,其特征在于,所述根据所述第一图像和所述M个图像确定偏移量之后,所述方法还包括:若所述偏移量小于预设偏移量,根据所述第一场景的背景点云确定所述M个拍摄设备在第二时刻获取的M个图像中的投影点;根据所述第一拍摄设备获取的所述第二时刻的第二图像的特征点,以及所述投影点确定所述第一拍摄设备的重标外参,所述重标外参用于对生成所述第一场景的自由视角视频的所述第一拍摄设备获取的图像进行后处理。8.根据权利要求1
‑
5中任一项所述的方法,其特征在于,所述根据所述第一图像和所述M个图像确定偏移量之后,所述方法还包括:若所述偏移量大于或等于预设偏移量,所述第一拍摄设备所在的云台对所述第一拍摄设备的姿态进行调整。
9.根据权利要求8所述的方法,其特征在于,在所述第一拍摄设备所在的云台对所述第一拍摄设备的姿态进行调整之后,所述方法还包括:根据所述第一场景的背景点云确定所述M个拍摄设备在第二时刻获取的M个图像中的投影点;根据所述第一拍摄设备获取的所述第二时刻的第二图像的特征点,以及所述投影点确定所述第一拍摄设备的重标外参,所述重标外参用于对生成所述第一场景的自由视角视频的所述第一拍摄设备获取的图像进行后处理。10.根据权利要求6、7或9所述的方法,其特征在于,所述方法还包括:向计算设备发送所述重标外参。11.一种生成自由视角视频的方法,其特征在于,所述自由视角系统包括N个拍摄设备,所述N个拍摄设备对第一场景进行同步拍摄,所述N个拍摄设备包含第一拍摄设备,所述方法由计算设备执行,所述方法包括:根据所述N个拍摄设备的相机参数对所述N个拍摄设备获取的图像进行后处理,得到第一自由视角视频,所述相机参数包含初始相机内参和初始相机外参;若所述计算设备获取到所述第一拍摄设备的重标外参,根据所述第一拍摄设备的重标外参和初始相机内参对所述第一拍摄设备获取的图像进行后处理,得到第二自由视角视频,所述重标外参为所述初始相机外参更新后的外参;合并所述第一自由视角视频和所述第二自由视角视频,得到所述第一场景的自由视角视频。12.根据权利要求11所述的方法,其特征在于,在根据所述第一拍摄设备的重标外参和初始相机内参对所述第一拍摄设备获取的图像进行后处理之前,所述方法还包括:接收所述第一拍摄设备发送的提示信息,所述提示信息用于指示所述第一拍摄设备的姿态发生了偏移;获取所述第一拍摄设备的重标外参,所述重标外参用于对生成所述第一场景的自由视角视频的所述第一拍摄设备获取的图像进行后处理。13.根据权利要求12所述的方法,其特征在于,获取所述第一拍摄设备的重标外参,包括:接收所述第一拍摄设备发送的所述重标外参;或者,根据所述第一场景的背景点云确定M个拍摄设备获取的M个图像中的投影点,所述M个拍摄设备为所述自由视角系统中除了所述第一拍摄设备之外的设备,所述M个拍摄设备的IMU信息未变化,N为大于或等于3的整数,M为大于或等于1的整数,M<N;根据所述第一拍摄设备获取的第二图像的特征点,以及所述投影点确定所述第一拍摄设备的重标外参。14.根据权利要求12或13所述的方法,其特征在于,在所述获取所述第一拍摄设备的重标外参之前,所述方法还包括:暂停对所述第一拍摄设备发送的图像进行后处理。15.一种检测装置,其特征在于,所述检测装置应用于自由视角系统中的拍摄设备,所述自由视角系统包括N个拍摄设备,所述N个拍摄设备对第一场景进行同步拍摄,所述N个拍摄设备包含第一拍摄设备,所述第一拍摄设备包含相机和惯性测量组件IMU,所述检测装置
包括:当所述第一拍摄设备的IMU信息变化时,所述相机,用于获取第一时刻的第一图像;图像获取模块,用于获取M个拍摄设备在所述第一时刻获取的M个图像,所述M个拍摄设备为所述自由视角系统中除了所述第一拍摄设备之外的设备,所述M...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。