基于机器学习模型的增强的视频稳定制造技术

提供了与视频内容的稳定相关的装置和方法。示例方法包括由移动计算设备接收与多个视频帧中的视频帧相关联的一个或多个图像参数。该方法还包括从移动计算设备的运动传感器接收与视频帧相关联的运动数据。该方法还包括通过将神经网络应用于一个或多个图像参数和运动数据来预测视频帧的稳定版本。动数据来预测视频帧的稳定版本。动数据来预测视频帧的稳定版本。

【技术实现步骤摘要】
【国外来华专利技术】基于机器学习模型的增强的视频稳定

技术介绍

[0001]包括移动电话、个人计算机和平板电脑的许多现代计算设备包括图像捕获设备，诸如视频相机。一些图像捕获设备和/或计算设备可以校正或以其他方式修改捕获的图像。例如，相机或对象可能在曝光期间移动，从而使视频看起来模糊和/或失真。因此，一些图像捕获设备可以校正这种模糊和/或失真。在已经校正所捕获的图像之后，可以保存、显示、发射和/或以其它方式利用经校正的图像。

技术实现思路

[0002]本公开总体上涉及视频内容的稳定。在一个方面中，图像捕获装置可以被配置为稳定输入视频。由机器学习组件的系统供电，图像捕获设备可以被配置为稳定视频以去除由图像捕获设备的非预期抖动引起的失真和其他缺陷、由视频中的对象的移动引起的运动模糊和/或可以在捕获视频的同时被引入到视频图像中的伪影。
[0003]在一些方面中，移动设备可以被配置有这些特征，使得可以实时增强输入视频。在一些实例中，移动设备可以自动增强视频。在其他方面中，移动电话用户可以非破坏性地增强视频以匹配他们的偏好。此外，例如，可以基于本文描述的技术来增强用户的视频库中本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种计算机实现的方法，包括：由移动计算设备接收与多个视频帧中的视频帧相关联的一个或多个图像参数；从所述移动计算设备的运动传感器接收与所述视频帧相关联的运动数据；以及通过将神经网络应用于所述一个或多个图像参数和所述运动数据来预测所述视频帧的稳定版本。2.根据权利要求1所述的计算机实现的方法，其中，所述神经网络包括编码器和解码器，并且其中应用所述神经网络包括：将所述编码器应用于所述一个或多个图像参数以生成潜在空间表示；基于所述运动数据来调整所述潜在空间表示；以及将所述解码器应用于所调整的潜在空间表示以输出所述稳定版本。3.根据权利要求2所述的计算机实现的方法，还包括：根据所述运动数据生成与所述视频帧相关联的真实相机姿势，以及其中，所述潜在空间表示是基于所述真实相机姿势。4.根据权利要求2或3中任一项所述的计算机实现的方法，其中，所述解码器包括长短期记忆(LSTM)组件，并且其中，应用所述解码器还包括应用所述LSTM组件来预测虚拟相机姿势。5.根据权利要求2或3中任一项所述的计算机实现的方法，其中，所述解码器包括翘曲网格，并且其中应用所述解码器还包括将所述翘曲网格应用于所预测的虚拟相机姿势以输出所述稳定版本。6.根据权利要求2至5中任一项所述的计算机实现的方法，还包括：确定真实相机姿势的历史和虚拟相机姿势的历史，以及其中，所述潜在空间表示是基于所述真实相机姿势的历史和所述虚拟相机姿势的历史。7.根据权利要求1所述的计算机实现的方法，其中，所述运动数据包括旋转数据和时间戳数据，并且所述方法还包括：根据所述旋转数据和所述时间戳数据确定所述视频帧中的相机姿势相对于参考视频帧中的参考相机姿势的相对旋转，以及其中，所述稳定版本的预测是基于所述相对旋转。8.根据权利要求2至7中任一项所述的计算机实现的方法，其中，应用所述编码器还包括：根据所述多个视频帧中的一对连续视频帧生成指示所述一对连续视频帧之间的对应关系的光流；以及基于所述光流来生成所述潜在空间表示。9.根据权利要求1所述的计算机实现的方法，还包括：训练所述神经网络以接收特定视频帧，并且基于与所述特定视频帧相关联的一个或多个图像参数和运动数据来输出所述特定视频帧的稳定版本。10.根据权利要求9所述的计算机实现的方法，其中，所述神经网络的所述训练还包括针对所述特定视频帧调整针对连续视频...

【专利技术属性】
技术研发人员：石福昊，史震美，赖威昇，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：