自由视角系统的检测方法、装置、设备及系统制造方法及图纸

本申请公开的自由视角系统的检测方法、装置、设备及系统，涉及自由视角领域，解决了如何实时准确地检测自由视角系统中拍摄设备偏移的问题。自由视角系统包括N个拍摄设备，N个拍摄设备对第一场景进行同步拍摄。在第一拍摄设备发生偏移后，第一拍摄设备可以依据IMU信息初步确定偏移，以及根据第一拍摄设备发生偏移后获取的图像和系统中其他未发生偏移的拍摄设备的图像确定偏移量，根据偏移量确定第一拍摄设备发生偏移的程度。从而，在自由视角系统中N个拍摄设备对第一场景进行同步拍摄的过程中，能够实时准确地检测发生偏移的拍摄设备。能够实时准确地检测发生偏移的拍摄设备。能够实时准确地检测发生偏移的拍摄设备。

【技术实现步骤摘要】
自由视角系统的检测方法、装置、设备及系统


[0001]本申请涉及图像处理领域，尤其涉及自由视角系统的检测方法、装置、设备及系统。

技术介绍

[0002]自由视角技术实现了实时、可交互视频模式，使用户在终端上自主选择自由视角视频的360
°
观看视角。自由视角技术主要应用在节目特效拍摄和现场直播等场景。自由视角技术也可称为自由视点技术。自由视角系统中的多个拍摄设备根据控制信号触发快门，对同一场景进行同步拍摄，得到多个角度的多帧图像。计算设备根据多个拍摄设备的参数对多个角度的多帧图像进行处理，生成自由视角视频。在拍摄过程中，如果自由视角系统中的拍摄设备发生碰撞或抖动等，引发拍摄设备的位置和角度等发生偏移，利用偏移后拍摄设备的参数处理图像生成的自由视角视频，同样出现抖动。通常，自由视角系统中拍摄设备的偏移检测是由工作人员依据最终生成的自由视角视频的主观观看体验确定的。检测与拍摄设备偏移发生的时间跨度较大，并且对于微小偏移，主观上的判断容易忽略。因此，如何实时准确地检测自由视角系统中拍摄设备偏移成为亟待解决的问题。

技术实现思路

[0003]本申请提供的自由视角系统的检测方法、装置、设备及系统，解决了如何实时准确地检测自由视角系统中拍摄设备偏移的问题。
[0004]第一方面，提供了一种自由视角系统的检测方法，自由视角系统包括N个拍摄设备，N个拍摄设备对第一场景进行同步拍摄，N个拍摄设备包含第一拍摄设备，第一拍摄设备包含相机和惯性测量组件(Inertial Measurement Unit，IMU)。该方法由第一拍摄设备执行，第一拍摄设备是自由视角系统中任意一个拍摄设备。所述方法包括：当第一拍摄设备的IMU信息变化时，通过相机获取第一时刻的第一图像，以及从M个拍摄设备获取M个拍摄设备在第一时刻获取的M个图像，根据第一图像和M个图像确定偏移量，偏移量用于指示第一拍摄设备在第一时刻获取第一图像时的变化外参相对初始相机外参发生偏移的程度。其中，M个拍摄设备为自由视角系统中除了第一拍摄设备之外的设备，M个拍摄设备的IMU信息未变化，N为大于或等于3的整数，M为大于或等于1的整数，M<N。
[0005]如此，在第一拍摄设备发生偏移后，第一拍摄设备可以依据IMU信息初步确定偏移，以及根据第一拍摄设备发生偏移后获取的图像和系统中其他未发生偏移的拍摄设备的图像确定偏移量，根据偏移量确定第一拍摄设备发生偏移的程度。从而，在自由视角系统中N个拍摄设备对第一场景进行同步拍摄的过程中，能够实时准确地检测发生偏移的拍摄设备。
[0006]如果M个图像与第一图像的差异较大，根据第一图像和M个图像确定的偏移量的准确性较低。为了提高第一拍摄设备确定偏移量的准确性，第一拍摄设备可以从指定的拍摄设备中的未发生偏移的拍摄设备获取图像。
[0007]例如，M个拍摄设备包括与第一拍摄设备相邻的设备。
[0008]又如，M个拍摄设备包括自由视角系统内预设机位范围内的拍摄设备。
[0009]在一种可能的实现方式中，根据第一图像和M个图像确定偏移量包括：第一拍摄设备根据第一图像和M个图像确定重投影误差，重投影误差用于表征第一图像和M个图像中检测区域内的特征点的坐标误差；根据重投影误差确定偏移量。
[0010]在另一种可能的实现方式中，在根据第一图像和M个图像确定偏移量之后，方法还包括：第一拍摄设备向计算设备发送提示信息，从而，及时告知计算设备第一拍摄设备的姿态发生了偏移，避免计算设备根据第一拍摄设备的相机参数对偏移后第一拍摄设备获取的图像进行后处理，导致发生图像抖动的现象。
[0011]在第一拍摄设备确定发生偏移后，可以根据第一拍摄设备的偏移量确定对第一拍摄设备进行重标定的方法。
[0012]在另一种可能的实现方式中，根据第一图像和M个图像确定偏移量之后，方法还包括：若偏移量小于预设偏移量，表示第一拍摄设备偏移程度较小，第一拍摄设备根据偏移量和初始相机外参确定第一拍摄设备的重标外参后，向计算设备发送重标外参。重标外参用于对生成第一场景的自由视角视频的第一拍摄设备获取的图像进行后处理。或者，第一拍摄设备根据第一场景的背景点云确定M个拍摄设备在第二时刻获取的M个图像中的投影点；根据第一拍摄设备获取的第二时刻的第二图像的特征点，以及投影点确定第一拍摄设备的重标外参，向计算设备发送重标外参。
[0013]在另一种可能的实现方式中，根据第一图像和M个图像确定偏移量之后，方法还包括：若偏移量大于或等于预设偏移量，表示第一拍摄设备偏移程度较大，第一拍摄设备触发第一拍摄设备所在的云台对第一拍摄设备的姿态进行调整。
[0014]可选地，在触发第一拍摄设备所在的云台对第一拍摄设备的姿态进行调整之后，方法还包括：第一拍摄设备根据第一场景的背景点云确定M个拍摄设备在第二时刻获取的M个图像中的投影点；根据第一拍摄设备获取的第二时刻的第二图像的特征点，以及投影点确定第一拍摄设备的重标外参，向计算设备发送重标外参。
[0015]第二方面，提供了一种生成自由视角视频的方法，自由视角系统包括N个拍摄设备，N个拍摄设备对第一场景进行同步拍摄，N个拍摄设备包含第一拍摄设备，方法由计算设备执行，方法包括：计算设备根据N个拍摄设备的相机参数对N个拍摄设备获取的图像进行后处理，得到第一自由视角视频，相机参数包含初始相机内参和初始相机外参；若计算设备获取到第一拍摄设备的重标外参，根据第一拍摄设备的重标外参和初始相机内参对第一拍摄设备获取的图像进行后处理，得到第二自由视角视频；合并第一自由视角视频和第二自由视角视频，得到第一场景的自由视角视频。重标外参为初始相机外参更新后的外参。
[0016]在一种可能的实现方式中，在根据第一拍摄设备的重标外参和初始相机内参对第一拍摄设备获取的图像进行后处理之前，方法还包括：计算设备接收第一拍摄设备发送的提示信息，获取第一拍摄设备的重标外参。提示信息用于指示第一拍摄设备的姿态发生了偏移。重标外参用于对生成第一场景的自由视角视频的第一拍摄设备获取的图像进行后处理。
[0017]在另一种可能的实现方式中，获取第一拍摄设备的重标外参，包括：接收第一拍摄设备发送的重标外参。
[0018]在另一种可能的实现方式中，获取第一拍摄设备的重标外参，包括：计算设备根据第一场景的背景点云确定M个拍摄设备获取的M个图像中的投影点，M个拍摄设备为自由视角系统中除了第一拍摄设备之外的设备，M个拍摄设备的IMU信息未变化，N为大于或等于3的整数，M为大于或等于1的整数，M<N；根据第一拍摄设备获取的第二图像的特征点，以及投影点确定第一拍摄设备的重标外参。
[0019]在另一种可能的实现方式中，在获取第一拍摄设备的重标外参之前，方法还包括：暂停对第一拍摄设备发送的图像进行后处理。
[0020]第三方面，提供了一种检测装置，所述装置包括用于执行第一方面或第一方面任一种可能设计中的自由视角系统的检测方法的各个模块。
[0021]第四方面，提供了一种生成本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自由视角系统的检测方法，其特征在于，所述自由视角系统包括N个拍摄设备，所述N个拍摄设备对第一场景进行同步拍摄，所述N个拍摄设备包含第一拍摄设备，所述第一拍摄设备包含相机和惯性测量组件IMU，所述方法由所述第一拍摄设备执行，所述方法包括：当所述第一拍摄设备的IMU信息变化时，通过所述相机获取第一时刻的第一图像；获取M个拍摄设备在所述第一时刻获取的M个图像，所述M个拍摄设备为所述自由视角系统中除了所述第一拍摄设备之外的设备，所述M个拍摄设备的IMU信息未变化，N为大于或等于3的整数，M为大于或等于1的整数，M<N；根据所述第一图像和所述M个图像确定偏移量，所述偏移量用于指示所述第一拍摄设备在所述第一时刻获取第一图像时的变化外参相对初始相机外参发生偏移的程度。2.根据权利要求1所述的方法，其特征在于，所述M个拍摄设备包括与所述第一拍摄设备相邻的设备。3.根据权利要求1所述的方法，其特征在于，所述M个拍摄设备包括所述自由视角系统内预设机位范围内的拍摄设备。4.根据权利要求1
‑
3中任一项所述的方法，其特征在于，所述根据所述第一图像和所述M个图像确定偏移量包括：根据所述第一图像和所述M个图像确定重投影误差，所述重投影误差用于表征所述第一图像和所述M个图像中检测区域内的特征点的坐标误差；根据所述重投影误差确定所述偏移量。5.根据权利要求1
‑
4中任一项所述的方法，其特征在于，在所述根据所述第一图像和所述M个图像确定偏移量之后，所述方法还包括：向所述计算设备发送提示信息，所述提示信息用于指示所述第一拍摄设备的姿态发生了偏移。6.根据权利要求1
‑
5中任一项所述的方法，其特征在于，所述根据所述第一图像和所述M个图像确定偏移量之后，所述方法还包括：若所述偏移量小于预设偏移量，根据所述偏移量和所述初始相机外参确定所述第一拍摄设备的重标外参，所述重标外参用于对生成所述第一场景的自由视角视频的所述第一拍摄设备获取的图像进行后处理。7.根据权利要求1
‑
5中任一项所述的方法，其特征在于，所述根据所述第一图像和所述M个图像确定偏移量之后，所述方法还包括：若所述偏移量小于预设偏移量，根据所述第一场景的背景点云确定所述M个拍摄设备在第二时刻获取的M个图像中的投影点；根据所述第一拍摄设备获取的所述第二时刻的第二图像的特征点，以及所述投影点确定所述第一拍摄设备的重标外参，所述重标外参用于对生成所述第一场景的自由视角视频的所述第一拍摄设备获取的图像进行后处理。8.根据权利要求1
‑
5中任一项所述的方法，其特征在于，所述根据所述第一图像和所述M个图像确定偏移量之后，所述方法还包括：若所述偏移量大于或等于预设偏移量，所述第一拍摄设备所在的云台对所述第一拍摄设备的姿态进行调整。
9.根据权利要求8所述的方法，其特征在于，在所述第一拍摄设备所在的云台对所述第一拍摄设备的姿态进行调整之后，所述方法还包括：根据所述第一场景的背景点云确定所述M个拍摄设备在第二时刻获取的M个图像中的投影点；根据所述第一拍摄设备获取的所述第二时刻的第二图像的特征点，以及所述投影点确定所述第一拍摄设备的重标外参，所述重标外参用于对生成所述第一场景的自由视角视频的所述第一拍摄设备获取的图像进行后处理。10.根据权利要求6、7或9所述的方法，其特征在于，所述方法还包括：向计算设备发送所述重标外参。11.一种生成自由视角视频的方法，其特征在于，所述自由视角系统包括N个拍摄设备，所述N个拍摄设备对第一场景进行同步拍摄，所述N个拍摄设备包含第一拍摄设备，所述方法由计算设备执行，所述方法包括：根据所述N个拍摄设备的相机参数对所述N个拍摄设备获取的图像进行后处理，得到第一自由视角视频，所述相机参数包含初始相机内参和初始相机外参；若所述计算设备获取到所述第一拍摄设备的重标外参，根据所述第一拍摄设备的重标外参和初始相机内参对所述第一拍摄设备获取的图像进行后处理，得到第二自由视角视频，所述重标外参为所述初始相机外参更新后的外参；合并所述第一自由视角视频和所述第二自由视角视频，得到所述第一场景的自由视角视频。12.根据权利要求11所述的方法，其特征在于，在根据所述第一拍摄设备的重标外参和初始相机内参对所述第一拍摄设备获取的图像进行后处理之前，所述方法还包括：接收所述第一拍摄设备发送的提示信息，所述提示信息用于指示所述第一拍摄设备的姿态发生了偏移；获取所述第一拍摄设备的重标外参，所述重标外参用于对生成所述第一场景的自由视角视频的所述第一拍摄设备获取的图像进行后处理。13.根据权利要求12所述的方法，其特征在于，获取所述第一拍摄设备的重标外参，包括：接收所述第一拍摄设备发送的所述重标外参；或者，根据所述第一场景的背景点云确定M个拍摄设备获取的M个图像中的投影点，所述M个拍摄设备为所述自由视角系统中除了所述第一拍摄设备之外的设备，所述M个拍摄设备的IMU信息未变化，N为大于或等于3的整数，M为大于或等于1的整数，M<N；根据所述第一拍摄设备获取的第二图像的特征点，以及所述投影点确定所述第一拍摄设备的重标外参。14.根据权利要求12或13所述的方法，其特征在于，在所述获取所述第一拍摄设备的重标外参之前，所述方法还包括：暂停对所述第一拍摄设备发送的图像进行后处理。15.一种检测装置，其特征在于，所述检测装置应用于自由视角系统中的拍摄设备，所述自由视角系统包括N个拍摄设备，所述N个拍摄设备对第一场景进行同步拍摄，所述N个拍摄设备包含第一拍摄设备，所述第一拍摄设备包含相机和惯性测量组件IMU，所述检测装置
包括：当所述第一拍摄设备的IMU信息变化时，所述相机，用于获取第一时刻的第一图像；图像获取模块，用于获取M个拍摄设备在所述第一时刻获取的M个图像，所述M个拍摄设备为所述自由视角系统中除了所述第一拍摄设备之外的设备，所述M...

【专利技术属性】
技术研发人员：曹世明，李明，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：