一种视频防抖方法及相关设备技术

本申请实施例提供了一种视频防抖方法及相关设备。其中，所述方法包括：获取数据，所述数据包括第一传感器数据和第二传感器数据；所述第一传感器数据和所述第二传感器数据用于进行位姿估计；所述位姿用于表示世界坐标系和相机坐标系之间的转换关系；所述第一传感器数据包括事件相机数据；所述第二传感器数据包括图像序列；所述图像序列包括一系列图像帧；基于所述事件相机数据和所述图像序列，得到第一平移位姿；据所述图像序列，得到第二平移位姿；根据所述第一平移位姿，对所述第二平移位姿进行矫正，得到矫正后的平移位姿。上述方法可以通过事件相机采集更多有效数据，突破了原有传感器的限制，在更多场景下都能达到更好的防抖效果。效果。效果。

【技术实现步骤摘要】
一种视频防抖方法及相关设备


[0001]本申请涉及防抖
，尤其涉及一种视频防抖方法及相关设备。

技术介绍

[0002]目前，因为手机等智能终端功能强大且便于携带，所以很多人使用它们来进行拍摄，而人们对拍摄的要求越来越高，也就要求智能终端带来更佳的拍摄效果，大多数智能终端都采用了防抖方案。
[0003]现有技术中一般会利用惯性传感器、图像传感器等传感器获取位姿，然后对获取到的位姿进行处理，最终输出视频。这种防抖方式因传感器硬件的限制、场景变化等很可能影响拍摄的防抖效果。
[0004]因此，如何在场景变化及传感器受限等情况下提升拍摄的防抖效果是目前亟待解决的问题。

技术实现思路

[0005]本申请提供了一种视频防抖方法及相关设备，能够通过事件相机采集数据以得到高动态、高帧率位姿，然后根据得到的高动态、高帧率位姿对其他低帧率、不可靠位姿进行矫正，并对矫正后的位姿进行后续防抖处理，最后输出视频，这种视频防抖方法可在极端光照条件、运动场景等不同场景下得到更准确的位姿，提升了视频的防抖效果。
[0006]第一方面，本申请提供一种视频防抖方法，所述方法可包括：获取数据，所述数据包括第一传感器数据和第二传感器数据；所述第一传感器数据和所述第二传感器数据用于进行位姿估计；所述位姿用于表示世界坐标系和相机坐标系之间的转换关系；所述第一传感器数据包括事件相机数据；所述第二传感器数据包括图像序列；所述图像序列包括一系列图像帧；基于所述事件相机数据和所述图像序列，得到第一平移位姿；根据所述图像序列，得到第二平移位姿；根据所述第一平移位姿，对所述第二平移位姿进行矫正，得到矫正后的平移位姿。
[0007]在本申请提供的方案中，通过第一传感器(事件相机等)获取第一传感器数据(事件相机数据等)，基于第一传感器数据进行位姿估计，得到高帧率、高动态位姿，基于第二传感器数据进行位姿估计，得到低帧率、不可靠位姿，根据获得的高帧率、高动态位姿对低帧率、不可靠位姿进行矫正，再对矫正后的位姿进行后续防抖处理，最终输出视频，这种视频防抖方法在极端光照条件、运动场景等场景下可以采集可靠的数据，因此在不同场景下都有较好的防抖效果。
[0008]结合第一方面，在第一方面的一种可能的实现方式中，在所述根据所述第一平移位姿，对所述第二平移位姿进行矫正之前，所述方法还包括：将所述事件相机数据和所述图像序列输入场景判断模型，根据所述场景判断模型确定矫正权重；所述矫正权重包括所述第一平移位姿和所述第二平移位姿的组合关系；所述根据所述第一平移位姿，对所述第二平移位姿进行矫正，包括：基于所述矫正权重和所述第一平移位姿，对所述第二平移位姿进
行矫正。
[0009]在本申请提供的方案中，利用场景判断模型确定矫正权重，得到第一平移位姿和第二平移位姿的一个组合关系，基于这个组合关系对第二平移位姿进行矫正，得到矫正后的平移位姿，其中场景判断模型可以用于判断图像序列中的光照强度，根据光照强度的不同来改变矫正权重，以实现更好的矫正效果。
[0010]结合第一方面，在第一方面的一种可能的实现方式中，对所述矫正后的平移位姿进行平滑处理，得到平滑处理后的平移位姿；根据所述平滑处理后的平移位姿，得到图像变形信息；所述图像变形信息包括图像变形向量；所述图像变形向量用于表示所述图像帧的偏移；根据所述图像变形信息，对所述图像帧进行图像变形处理，得到处理后的图像帧；输出所述处理后的图像帧。
[0011]在本申请提供的方案中，得到矫正后的位姿之后，还可以对其进行包括平滑处理、变形处理在内的一系列后续防抖处理，在位姿矫正的基础上，提升了防抖效果。
[0012]结合第一方面，在第一方面的一种可能的实现方式中，所述第二传感器数据还包括IMU数据，所述方法还包括：基于所述事件相机数据和所述图像序列，得到第一旋转位姿；所述第一旋转位姿包括第一旋转向量；根据所述IMU数据得到第二旋转位姿；所述第二旋转位姿包括第二旋转向量；根据所述第一旋转位姿，对所述第二旋转位姿进行矫正，得到第一旋转矫正位姿。
[0013]在本申请提供的方案中，除了利用一般的传感器(比如IMU传感器等)实现正常场景下的防抖，但是由于这些传感器的限制，得到的位姿可能是低帧率、不可靠位姿，从而导致防抖效果不理想，此时，再利用高帧率、高动态位姿对低帧率、不可靠位姿进行矫正，既可以利用一般传感器所获取的数据，又能保证较好的防抖的效果。
[0014]结合第一方面，在第一方面的一种可能的实现方式中，所述根据所述第一旋转位姿，对所述第二旋转位姿进行矫正，包括：确定所述第一旋转向量和所述第二旋转向量的外积，得到第一误差向量；根据所述第一误差向量，对所述第二旋转向量进行补偿处理。
[0015]在本申请提供的方案中，可以通过确定误差向量来对低帧率、不可靠位姿进行补偿处理，从而得到更准确的位姿，使得最终输出的视频没有明显的漂移，提升了视频防抖效果。
[0016]结合第一方面，在第一方面的一种可能的实现方式中，所述第二传感器数据还包括深度数据，所述方法还包括：基于所述事件相机数据和所述图像序列，得到第一旋转位姿；所述第一旋转位姿包括第一旋转向量；根据所述深度数据和所述图像序列，得到第三旋转位姿；所述第三旋转位姿包括第三旋转向量；根据所述第一旋转位姿，对所述第三旋转位姿进行矫正，得到第二旋转矫正位姿。
[0017]在本申请提供的方案中，还可以使用深度传感器来进行位姿估计，得到低帧率、不可靠位姿，再根据由事件相机等传感器得到的高帧率、高动态位姿对低帧率、不可靠位姿进行矫正，得到矫正后的位姿，进行后续防抖处理后输出稳定视频，既利用了深度传感器所获取的数据，又保证了较好的防抖效果。
[0018]结合第一方面，在第一方面的一种可能的实现方式中，所述第二传感器数据还包括深度数据，所述方法还包括：根据所述深度数据和所述图像序列，得到第三旋转位姿；所述第三旋转位姿包括第三旋转向量；根据所述第一旋转位姿，对所述第三旋转位姿进行矫
正，得到第二旋转矫正位姿；根据所述第一旋转矫正位姿和所述第二旋转矫正位姿，得到第三旋转矫正位姿。
[0019]在本申请提供的方案中，可以利用多种类型的传感器进行位姿估计，比如利用深度传感器、IMU传感器等进行位姿估计，得到低帧率、不可靠位姿，再根据高帧率、高动态位姿对其进行矫正，利用了传感器获取的有效数据，同时也有效提升了防抖效果。
[0020]结合第一方面，在第一方面的一种可能的实现方式中，根据所述第一旋转位姿，对所述第三旋转位姿进行矫正，包括：确定所述第一旋转向量和所述第三旋转向量的外积，得到第二误差向量；根据所述第二误差向量，对所述第三旋转向量进行补偿处理。
[0021]在本申请提供的方案中，可以通过确定误差向量来对低帧率、不可靠位姿进行补偿处理，从而得到更准确的位姿，使得最终输出的视频没有明显的漂移、果冻效应，提升了视频防抖效果。
[0022]第二方面，本申请提供了一种电子设备，所述电子设备包括：一个或多个处理器、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频防抖方法，其特征在于，所述方法包括：获取数据，所述数据包括第一传感器数据和第二传感器数据；所述第一传感器数据和所述第二传感器数据用于进行位姿估计；所述位姿用于表示世界坐标系和相机坐标系之间的转换关系；所述第一传感器数据包括事件相机数据；所述第二传感器数据包括图像序列；所述图像序列包括一系列图像帧；基于所述事件相机数据和所述图像序列，得到第一平移位姿；根据所述图像序列，得到第二平移位姿；基于所述第一平移位姿，对所述第二平移位姿进行矫正，得到矫正后的平移位姿。2.如权利要求1所述的方法，其特征在于，在所述根据所述第一平移位姿，对所述第二平移位姿进行矫正之前，所述方法还包括：将所述事件相机数据和所述图像序列输入场景判断模型，根据所述场景判断模型确定矫正权重；所述矫正权重包括所述第一平移位姿和所述第二平移位姿的组合关系；所述根据所述第一平移位姿，对所述第二平移位姿进行矫正，包括：基于所述矫正权重和所述第一平移位姿，对所述第二平移位姿进行矫正。3.如权利要求1或2所述的方法，其特征在于，所述方法还包括：对所述矫正后的平移位姿进行平滑处理，得到平滑处理后的平移位姿；根据所述平滑处理后的平移位姿，得到图像变形信息；所述图像变形信息包括图像变形向量；所述图像变形向量用于表示所述图像帧的偏移；根据所述图像变形信息，对所述图像帧进行图像变形处理，得到处理后的图像帧；输出所述处理后的图像帧。4.如权利要求1
‑
3任一项所述的方法，其特征在于，所述第二传感器数据还包括IMU数据，所述方法还包括：基于所述事件相机数据和所述图像序列，得到第一旋转位姿；所述第一旋转位姿包括第一旋转向量；根据所述IMU数据得到第二旋转位姿；所述第二旋转位姿包括第二旋转向量；根据所述第一旋转位姿，对所述第二旋转位姿进行矫正，得到第一旋转矫正位姿。5.如权利要求4...

【专利技术属性】
技术研发人员：郑淇，刘蒙，段光菲，徐其超，刘志鹏，贾志平，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：