【技术实现步骤摘要】
以下描述涉及用于视频处理的装置和方法。
技术介绍
1、正在研究使用深度学习的视频压缩技术以提高视频压缩率。
2、传统的视频压缩方法基于(i)先前由编码器发送或由解码器接收的帧与(ii)当前发送的帧之间的运动信息，将运动补偿技术应用于先前发送的帧，以便去除连续帧的时间冗余。这种基于帧间运动的压缩允许针对当前帧生成预测帧并且仅对预测帧与当前帧之间的残差(差)进行编码并发送，从而减小发送的视频数据的大小。
3、然而，传统方法会生成将每个像素的光流发送到解码器的额外成本，因此增加了要发送的数据量。此外，这些方法在处理具有形状复杂的各种对象的编码单元方面存在困难，并且在参数调整方面存在局限性。
技术实现思路
1、提供本
技术实现思路
以用简化形式介绍对下面在具体实施方式中进一步描述的构思的选择。本
技术实现思路
不意在标识所请求保护的主题的关键特征或基本特征，也不意在帮助确定所请求保护的主题的范围。
2、在一个总体方面，一种计算装置包括一个或多个处理器和存储指令的存储设备，该指令被配置为当由一个或多个处理器执行时使该一个或多个处理器：使用通过执行聚类操作生成的聚类来生成聚类图，其中，生成聚类图是基于视频的参考帧来执行的，参考帧是基于视频的先前时间点来生成的；通过基于聚类图执行运动补偿来生成预测帧；以及通过基于当前帧和预测帧执行解码来生成解码帧。
3、参考帧可以基于先前时间点的解码帧来生成。
4、一个或多个处理器可以被配置为：基于参考帧、当前
5、一个或多个处理器可以被配置为：通过基于聚类图和运动向量对参考帧进行补偿来生成预测帧。
6、一个或多个处理器可以被配置为：使用运动向量的总和对参考帧进行运动补偿；或通过基于聚类图和运动向量执行变形，使用逐像素运动向量对参考帧进行运动补偿。
7、一个或多个处理器可以被配置为：基于参考帧来计算用于聚类的分配概率；基于参考帧和当前帧来计算光流；以及基于分配概率和光流来生成多个聚类的代表性运动向量。
8、一个或多个处理器可以被配置为：基于分配概率和光流来计算与多个聚类相对应的光流的平均值；以及基于平均值和与分配到聚类的像素相对应的光流之间的差来计算分配概率的准确度。
9、一个或多个处理器可以被配置为：基于当前帧和预测帧来生成残差；通过对残差进行编码来生成编码残差；以及通过对编码残差进行解码来生成解码残差。
10、一个或多个处理器可以被配置为：基于预测帧和解码残差来生成解码帧。
11、一个或多个处理器可以被配置为：基于参考帧、当前帧和聚类图来生成与聚类相对应的第一运动向量，基于与聚类相对应的分配概率和第一运动向量来生成与像素相对应的第二运动向量，基于参考帧、当前帧和第二运动向量来计算运动残差，以及通过基于运动残差和第二运动向量执行运动补偿来生成预测帧。
12、在另一总体方面，一种视频处理方法包括：接收视频的当前帧和基于视频的先前时间点生成的参考帧；使用聚类来生成聚类图，该聚类是通过基于参考帧执行聚类操作来生成的；通过基于聚类图执行运动补偿来生成预测帧；以及通过基于当前帧和预测帧执行解码来生成解码帧。
13、参考帧可以基于先前时间点的解码帧来生成。
14、生成预测帧可以包括：基于参考帧、当前帧和聚类图来估计与聚类相对应的运动向量。
15、生成预测帧可以包括：通过基于聚类图和运动向量对参考帧进行补偿来生成预测帧。
16、生成预测帧可以包括：使用运动向量的总和对参考帧进行补偿；或者通过基于聚类图和运动向量执行变形来使用逐像素运动向量对参考帧进行补偿。
17、生成聚类图可以包括：基于参考帧来计算用于聚类的分配概率；基于参考帧和当前帧来计算光流；以及基于分配概率和光流来生成聚类的代表性运动向量。
18、生成聚类图可以包括：基于分配概率和光流来计算与聚类相对应的光流的平均值；以及基于平均值和与分配到聚类的像素相对应的光流之间的差来计算分配概率的准确度。
19、生成解码帧可以包括：基于当前帧和预测帧来生成残差；通过对残差进行编码来生成编码残差；以及通过对编码残差进行解码来生成解码残差。
20、生成解码帧还可以包括：基于预测帧和解码残差来生成解码帧。
21、生成预测帧可以包括：基于参考帧、当前帧和聚类图来生成与聚类相对应的第一运动向量；基于与聚类相对应的分配概率和第一运动向量来生成与像素相对应的第二运动向量；基于参考帧、当前帧和第二运动向量来计算运动残差；以及通过基于运动残差和第二运动向量执行运动补偿来生成预测帧。
22、其他特征和方面将通过以下详细描述、附图和权利要求变得清楚明白。
本文档来自技高网...【技术保护点】
1.一种计算装置，包括：
2.根据权利要求1所述的计算装置，其中，所述参考帧是基于所述先前时间点的解码帧来生成的。
3.根据权利要求1所述的计算装置，其中，所述指令还被配置为使所述一个或多个处理器基于所述参考帧、所述当前帧和所述聚类图来估计与所述聚类相对应的运动向量。
4.根据权利要求3所述的计算装置，其中，所述指令还被配置为使所述一个或多个处理器通过基于所述聚类图和所述运动向量对所述参考帧进行补偿来生成所述预测帧。
5.根据权利要求4所述的计算装置，其中，所述指令还被配置为使所述一个或多个处理器：
6.根据权利要求1所述的计算装置，其中，所述指令还被配置为使所述一个或多个处理器：
7.根据权利要求6所述的计算装置，其中，所述指令还被配置为使所述一个或多个处理器：
8.根据权利要求4所述的计算装置，其中，所述指令还被配置为使所述一个或多个处理器：
9.根据权利要求8所述的计算装置，其中，所述指令还被配置为使所述一个或多个处理器基于所述预测帧和所述解码残差来生成所述解码帧。
11.一种视频处理方法，包括：
12.根据权利要求11所述的视频处理方法，其中，所述参考帧是基于所述先前时间点的解码帧来生成的。
13.根据权利要求11所述的视频处理方法，其中，生成所述预测帧包括：基于所述参考帧、所述当前帧和所述聚类图来估计与所述聚类相对应的运动向量。
14.根据权利要求13所述的视频处理方法，其中，所述预测帧是通过基于所述聚类图和所述运动向量对所述参考帧进行补偿来生成的。
15.根据权利要求14所述的视频处理方法，其中，生成所述预测帧包括：
16.根据权利要求11所述的视频处理方法，其中，生成所述聚类图包括：
17.根据权利要求16所述的视频处理方法，其中，生成所述聚类图包括：
18.根据权利要求14所述的视频处理方法，其中，生成所述解码帧包括：
19.根据权利要求18所述的视频处理方法，其中，生成所述解码帧还包括：基于所述预测帧和所述解码残差来生成所述解码帧。
20.根据权利要求11所述的视频处理方法，其中，生成所述预测帧包括：
...【技术特征摘要】
1.一种计算装置，包括：
2.根据权利要求1所述的计算装置，其中，所述参考帧是基于所述先前时间点的解码帧来生成的。
3.根据权利要求1所述的计算装置，其中，所述指令还被配置为使所述一个或多个处理器基于所述参考帧、所述当前帧和所述聚类图来估计与所述聚类相对应的运动向量。
4.根据权利要求3所述的计算装置，其中，所述指令还被配置为使所述一个或多个处理器通过基于所述聚类图和所述运动向量对所述参考帧进行补偿来生成所述预测帧。
5.根据权利要求4所述的计算装置，其中，所述指令还被配置为使所述一个或多个处理器：
6.根据权利要求1所述的计算装置，其中，所述指令还被配置为使所述一个或多个处理器：
7.根据权利要求6所述的计算装置，其中，所述指令还被配置为使所述一个或多个处理器：
8.根据权利要求4所述的计算装置，其中，所述指令还被配置为使所述一个或多个处理器：
9.根据权利要求8所述的计算装置，其中，所述指令还被配置为使所述一个或多个处理器基于所述预测帧和所述解码残差来生成所述解码帧。
10.根据权利要求1所述的计算装置，其...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。