基于机器学习的视频压缩制造技术

本申请公开基于机器学习的视频压缩，并且公开用于压缩目标内容的系统和方法。在一个实施方式中，系统可以包括非瞬态电子存储设备和一个或多个物理计算机处理器。一个或多个物理计算机处理器可以由机器可读指令配置以获得包括一个或多个帧的目标内容，其中给定帧包括一个或多个特征。一个或多个物理计算机处理器可以由机器可读指令配置以获得条件网络。一个或多个物理计算机处理器可以由机器可读指令配置，以通过将条件网络应用于目标内容来生成解码的目标内容。

Video compression based on machine learning

【技术实现步骤摘要】
基于机器学习的视频压缩相关申请的交叉引用本申请要求于2018年9月14日提交的美国临时专利申请No.62/731,672的优先权，该专利申请以引用方式并入本文。
本公开总体上涉及视频压缩。
技术实现思路
本公开的实施方式针对用于压缩视频的系统和方法。在一个实施方式中，系统可以经配置用于压缩内容。该系统可以包括非瞬态电子存储(storage)/存储设备(storage)和由机器可读指令配置为执行若干操作的一个或多个物理计算机处理器。一个操作可以是从非瞬态电子存储设备获得包括一个或多个帧的目标内容。给定帧可以包括一个或多个特征。另一个操作可以是从非瞬态电子存储设备获得条件网络。可以通过使用训练内容训练初始网络来训练条件网络。条件网络可以包括一个或多个编码器、一个或多个量化器以及一个或多个解码器。训练内容可以包括一个或多个训练帧。给定的训练帧可以包括一个或多个训练特征。另一个这样的操作可以是利用一个或多个物理计算机处理器，通过将条件网络应用于目标内容来生成解码的目标内容。条件网络可以生成目标内容的潜在空间(latentspac本文档来自技高网...

【技术保护点】
1.一种系统，经配置用于压缩目标内容，所述系统包括：/n非瞬态电子存储设备；以及/n一个或多个物理计算机处理器，其由机器可读指令配置为：/n从所述非瞬态电子存储设备获得包括一个或多个帧的所述目标内容，其中给定帧包括一个或多个特征；/n从所述非瞬态电子存储设备获得条件网络，所述条件网络已通过使用训练内容训练初始网络来训练，其中所述条件网络包括一个或多个编码器、一个或多个量化器以及一个或多个解码器，并且其中所述训练内容包括一个或多个训练帧，并且其中给定训练帧包括一个或多个训练特征；以及/n利用所述一个或多个物理计算机处理器，通过将所述条件网络应用于所述目标内容来生成经解码的目标内容，其中所述条件网...

【技术特征摘要】
20180914 US 62/731,672;20190122 US 16/254,4751.一种系统，经配置用于压缩目标内容，所述系统包括：
非瞬态电子存储设备；以及
一个或多个物理计算机处理器，其由机器可读指令配置为：
从所述非瞬态电子存储设备获得包括一个或多个帧的所述目标内容，其中给定帧包括一个或多个特征；
从所述非瞬态电子存储设备获得条件网络，所述条件网络已通过使用训练内容训练初始网络来训练，其中所述条件网络包括一个或多个编码器、一个或多个量化器以及一个或多个解码器，并且其中所述训练内容包括一个或多个训练帧，并且其中给定训练帧包括一个或多个训练特征；以及
利用所述一个或多个物理计算机处理器，通过将所述条件网络应用于所述目标内容来生成经解码的目标内容，其中所述条件网络生成包括一个或多个局部变量和一个或多个全局变量的所述目标内容的潜在空间。


2.根据权利要求1所述的计算机实现的方法，其中应用所述条件网络包括：
利用所述一个或多个物理计算机处理器，通过使用所述条件网络来编码所述目标内容，以生成一个或多个局部变量和一个或多个全局变量；
利用所述一个或多个物理计算机处理器，通过使用所述条件网络生成所述潜在空间，所述潜在空间包括所述一个或多个局部变量和所述一个或多个全局变量，其中所述一个或多个局部变量基于所述给定帧中的所述一个或多个特征，并且其中所述一个或多个全局变量基于所述目标内容的多个帧共有的一个或多个特征；
利用所述一个或多个物理计算机处理器，通过使用所述条件网络生成对应于所述潜在空间的多个分布，其中所述多个分布指示所述一个或多个局部变量和所述一个或多个全局变量的值的似然；以及
利用所述一个或多个物理计算机处理器量化所述潜在空间。


3.根据权利要求2所述的系统，其中编码所述目标内容包括：
利用所述一个或多个物理计算机处理器，将多个卷积层应用于所述目标内容；
利用所述一个或多个物理计算机处理器，将全局模型应用于卷积的目标内容以生成所述一个或多个全局变量；以及
利用所述一个或多个物理计算机处理器，将多层感知器模型应用于所述卷积的目标内容以生成所述一个或多个局部变量。


4.根据权利要求3所述的系统，其中所述全局模型包括长短期记忆模型和卡尔曼滤波器中的一个或多个。


5.根据权利要求3所述的系统，其中应用所述条件网络还包括：
利用所述一个或多个物理计算机处理器，通过使用所述多个分布对量化的潜在空间进行编码；以及
利用所述一个或多个物理计算机处理器对经编码的潜在空间进行解码。


6.根据权利要求5所述的系统，其中对所述量化的潜在空间进行解码包括：
利用所述一个或多个物理计算机处理器，对所述经编码的潜在空间进行熵解码；
利用所述一个或多个物理计算机处理器，将经熵解码的潜在空间与多层感知器模型组合；以及
利用所述一个或多个物理计算机处理器，将多个反卷积应用于所述经熵解码的潜在空间与所述多层感知器模型的组合。


7.根据权利要求1所述的系统，其中对应于所述潜在空间的所述多个分布以所述一个或多个全局变量和所述一个或多个局部变量的平均值为中心，并且包括噪声。


8.一种用于训练初始网络以同时学习如何使用训练内容来改进潜在空间以及如何使用所述训练内容来改进所述潜在空间的多个分布的计算机实现的方法，所述方法在包括非瞬态电子存储设备和一个或多个物理计算机处理器的计算机系统中实现，包括：
从所述非瞬态电子存储设备获得包括一个或多个帧的训练内容，其中给定帧包括一个或多个特征；
从所述非瞬态电子存储设备获得所述初始网络，所述初始网络包括一个或多个编码器、一个或多个量化器以及一个或多个解码器；
利用所述一个或多个物理计算机处理器，通过使用所述训练内容训练所述初始网络来生成条件网络，所述条件网络包括所述一个或多个编码器、所述一个或多个量化器以及所述一个或多个解码器；以及
在所述非瞬态电子存储设备中存储所述条件网络。


9.根据权利要求8所述的计算机实现的方法，还包括：
从所述非瞬态电子存储设备获得包括一个或多个帧的所述目标内容，其中给定帧包括一个或多个特征；
利用所述一个或多个物理计算机处理器编码所述目标内容，以使用所述条件网络生成一个或多个局部变量和一个或多个全局变量；
利用所述一个或多个物理计算机处理器，通过使用所述条件网络生成所述潜在空间，...

【专利技术属性】
技术研发人员：S·M·曼特，C·斯科尔斯，J·韩，S·D·伦巴多，
申请(专利权)人：迪斯尼企业公司，
类型：发明
国别省市：美国;US