一种视频压缩方法、视频解码方法和相关装置制造方法及图纸

本申请公开一种视频压缩方法、视频解码方法和相关装置，对获取到的待处理视频帧和前一视频帧分别进行关键点提取，得到第一位置信息和第二位置信息，根据第一位置信息和第二位置信息进行运动估计得到运动信息。根据运动信息和前一视频帧进行图像修复得到初始重建视频帧。根据待处理视频帧和初始重建视频帧确定隐特征，根据第一位置信息、第二位置信息和隐特征进行视频压缩得到视频压缩文件，极大减小运动信息消耗的字节流，减小视频压缩文件传输带宽。视频接收端获取到视频压缩文件，并基于第一位置信息和第二位置信息得到初始重建视频帧后，利用隐特征对初始重建视频帧进行二次修复，缓解复杂画面运动造成的重建视频帧失真现象，提升算法鲁棒性。提升算法鲁棒性。提升算法鲁棒性。

【技术实现步骤摘要】
一种视频压缩方法、视频解码方法和相关装置


[0001]本申请涉及通信
，特别是涉及一种视频压缩方法、视频解码方法和相关装置。

技术介绍

[0002]随着计算机技术、网络技术、通信技术和流媒体技术的迅速发展，为多媒体视频通信的发展提供了强有力的技术保障。视频通信被广泛的应用于如视频会议、在线教育、在线娱乐等场景中。然而如何减少视频卡顿，降低视频通信对带宽的需求，保证用户的视频通信体验是一个亟需解决的问题。
[0003]视频压缩是解决这个问题的关键技术，通过对视频帧进行压缩，使得能用较低字节流传输视频，并尽可能保证根据较低字节流的视频压缩文件恢复出高质量视频。目前，主要是计算待处理视频帧相较前一视频帧的运动信息，进而发送该运动信息以便基于前一视频帧和该运动信息恢复出待处理视频帧。
[0004]然而，这种方法中，运动信息消耗的字节流较大，并且在视频帧出现复杂画面运动的情况下很难估计运动信息，重建画面容易失真。

技术实现思路

[0005]为了解决上述技术问题，本申请提供了一种视频压缩方法、视频解码方法和相关装置，从而缓解复杂画面运动造成的重建视频帧失真现象，提升算法鲁棒性。另外，视频压缩文件中包括的是第一位置信息和第二位置信息，并非表示运动信息的稠密特征向量，从而在实现视频压缩的情况下，极大减小运动信息消耗的字节流，减小视频压缩文件传输带宽。
[0006]本申请实施例公开了如下技术方案：
[0007]一方面，本申请实施例提供一种视频压缩方法，所述方法包括：
[0008]获取待处理视频帧和所述待处理视频帧的前一视频帧，所述前一视频帧是视频帧序列中与所述待处理视频帧相邻、且位于所述待处理视频帧之前的视频帧；
[0009]对所述待处理视频帧和所述前一视频帧分别进行关键点提取，得到所述待处理视频帧的关键点的第一位置信息和所述前一视频帧的关键点的第二位置信息；
[0010]根据所述第一位置信息和所述第二位置信息进行运动估计，得到所述待处理视频帧相对于所述前一视频帧的运动信息；
[0011]根据所述运动信息和所述前一视频帧进行图像修复，得到初始重建视频帧；
[0012]根据所述待处理视频帧和所述初始重建视频帧确定隐特征，所述隐特征表征所述初始重建视频帧相对于所述待处理视频帧的修复偏差；
[0013]根据所述第一位置信息、所述第二位置信息和所述隐特征进行视频压缩得到视频压缩文件。
[0014]一方面，本申请实施例提供一种视频解码方法，所述方法包括：
[0015]获取视频压缩文件，所述视频压缩文件中包括待处理视频帧的关键点的第一位置信息、前一视频帧的关键点的第二位置信息和隐特征，所述前一视频帧是视频帧序列中与所述待处理视频帧相邻、且位于所述待处理视频帧之前的视频帧；
[0016]根据所述第一位置信息和所述第二位置信息进行运动估计，得到所述待处理视频帧相对于所述前一视频帧的运动信息；
[0017]根据所述运动信息和所述前一视频帧进行图像修复，得到初始重建视频帧；
[0018]利用所述隐特征对所述初始重建视频帧进行二次修复得到目标重建视频帧。
[0019]一方面，本申请实施例提供一种视频压缩装置，所述装置包括获取单元、提取单元、确定单元、修复单元和压缩单元：
[0020]所述获取单元，用于获取待处理视频帧和所述待处理视频帧的前一视频帧，所述前一视频帧是视频帧序列中与所述待处理视频帧相邻、且位于所述待处理视频帧之前的视频帧；
[0021]所述提取单元，用于对所述待处理视频帧和所述前一视频帧分别进行关键点提取，得到所述待处理视频帧的关键点的第一位置信息和所述前一视频帧的关键点的第二位置信息；
[0022]所述确定单元，用于根据所述第一位置信息和所述第二位置信息进行运动估计，得到所述待处理视频帧相对于所述前一视频帧的运动信息；
[0023]所述修复单元，用于根据所述运动信息和所述前一视频帧进行图像修复，得到初始重建视频帧；
[0024]所述确定单元，还用于根据所述待处理视频帧和所述初始重建视频帧确定隐特征，所述隐特征表征所述初始重建视频帧相对于所述待处理视频帧的修复偏差；
[0025]所述压缩单元，用于根据所述第一位置信息、所述第二位置信息和所述隐特征进行视频压缩得到视频压缩文件。
[0026]一方面，本申请实施例提供一种视频解码装置，所述装置包括获取单元、确定单元和修复单元：
[0027]所述获取单元，用于获取视频压缩文件，所述视频压缩文件中包括待处理视频帧的关键点的第一位置信息、前一视频帧的关键点的第二位置信息和隐特征，所述前一视频帧是视频帧序列中与所述待处理视频帧相邻、且位于所述待处理视频帧之前的视频帧；
[0028]所述确定单元，用于根据所述第一位置信息和所述第二位置信息进行运动估计，得到所述待处理视频帧相对于所述前一视频帧的运动信息；
[0029]所述修复单元，用于根据所述运动信息和所述前一视频帧进行图像修复，得到初始重建视频帧；
[0030]所述修复单元，还用于利用所述隐特征对所述初始重建视频帧进行二次修复得到目标重建视频帧。
[0031]一方面，本申请实施例提供一种计算机设备，所述计算机设备包括处理器以及存储器：
[0032]所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
[0033]所述处理器用于根据所述程序代码中的指令执行前述任一方面所述的方法。
[0034]一方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质
用于存储程序代码，所述程序代码当被处理器执行时使所述处理器执行前述任一方面所述的方法。
[0035]一方面，本申请实施例提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现前述任一方面所述的方法。
[0036]由上述技术方案可以看出，在需要对待处理视频帧进行视频压缩时，可以获取待处理视频帧和待处理视频帧的前一视频帧，前一视频帧是视频帧序列中与待处理视频帧相邻、且位于待处理视频帧之前的视频帧。接着，对待处理视频帧和前一视频帧分别进行关键点提取，得到待处理视频帧的关键点的第一位置信息和前一视频帧的关键点的第二位置信息，以便根据第一位置信息和第二位置信息进行运动估计，得到待处理视频帧相对于前一视频帧的运动信息。根据运动信息和前一视频帧进行图像修复，得到初始重建视频帧。为了避免在待处理视频帧中包括多个对象运动、出现前一视频帧未出现的对象等画面复杂的情况下，导致重建画面失真，本申请在视频压缩时，还可以进一步根据待处理视频帧和初始重建视频帧确定隐特征，通过隐特征表征初始重建视频帧相对于待处理视频帧的修复偏差，从而根据第一位置信息、第二位置信息和隐特征进行视频压缩得到视频压缩文件。这样，视频接收端在获取到视频压缩文件后，便可以根据第一位置信息和第二位置信息计算得到运动信息，并基于运动信息和前一视频帧进行图像修复得到初始重建视频帧，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频压缩方法，其特征在于，所述方法包括：获取待处理视频帧和所述待处理视频帧的前一视频帧，所述前一视频帧是视频帧序列中与所述待处理视频帧相邻、且位于所述待处理视频帧之前的视频帧；对所述待处理视频帧和所述前一视频帧分别进行关键点提取，得到所述待处理视频帧的关键点的第一位置信息和所述前一视频帧的关键点的第二位置信息；根据所述第一位置信息和所述第二位置信息进行运动估计，得到所述待处理视频帧相对于所述前一视频帧的运动信息；根据所述运动信息和所述前一视频帧进行图像修复，得到初始重建视频帧；根据所述待处理视频帧和所述初始重建视频帧确定隐特征，所述隐特征表征所述初始重建视频帧相对于所述待处理视频帧的修复偏差；根据所述第一位置信息、所述第二位置信息和所述隐特征进行视频压缩得到视频压缩文件。2.根据权利要求1所述的方法，其特征在于，所述根据所述待处理视频帧和所述初始重建视频帧确定隐特征，包括：通过特征提取器对所述初始重建视频帧进行特征提取，得到所述初始重建视频帧的特征向量，并将所述初始重建视频帧的特征向量作为视频帧压缩条件；将所述待处理视频帧的像素矩阵和所述视频压缩条件进行拼接，并将拼接后得到的第一拼接结果输入至条件编码器得到所述隐特征。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：对所述隐特征进行概率建模，得到分布参数，所述分布参数用于表示所述隐特征中不同信息的分布情况；利用所述分布参数辅助所述隐特征进行算数编码得到编码后的隐特征；所述根据所述第一位置信息、所述第二位置信息和所述隐特征进行视频压缩得到视频压缩文件，包括：将所述第一位置信息、所述第二位置信息、所述编码后的隐特征和所述分布参数写入所述视频压缩文件。4.根据权利要求3所述的方法，其特征在于，所述对所述隐特征进行概率建模，得到分布参数，包括：对所述隐特征进行层次先验学习得到第一先验信息；对所述隐特征进行空间先验学习得到第二先验信息；对所述隐特征进行时序先验学习得到第三先验信息；将所述第一先验信息、所述第二先验信息和所述第三先验信息进行融合得到所述分布参数。5.根据权利要求1所述的方法，其特征在于，所述根据所述第一位置信息和所述第二位置信息进行运动估计，得到所述待处理视频帧相对于所述前一视频帧的运动信息，包括：根据所述第一位置信息和所述第二位置信息进行薄板样条变换，得到薄板样条变换矩阵；根据所述薄板样条变换矩阵对所述前一视频帧进行变换得到变换图像；根据所述变换图像，通过运动网络输出贡献图，所述贡献图用于表示所述薄板样条变
换矩阵对所述前一视频帧上的每个像素的运动的贡献；根据所述贡献图和所述薄板样条变换矩阵计算所述运动信息。6.根据权利要求5所述的方法，其特征在于，所述方法还包括：将所述待处理视频帧和所述前一视频帧进行拼接，并将拼接后得到的第二拼接结果输入至背景运动预测网络得到仿射变换矩阵，所述仿射变换矩阵用于表示所述待处理视频帧相对于所述前一视频帧的背景运动；所述根据所述薄板样条变换矩阵对所述前一视频帧进行变换得到变换图像，包括：利用所述薄板样条变换矩阵和所述仿射变换矩阵对所述前一视频帧进行变换得到所述变换图像；所述根据所述第一位置信息、所述第二位置信息和所述隐特征进行视频压缩得到视频压缩文件，包括：将所述第一位置信息、所述第二位置信息、所述隐特征和所述仿射变换矩阵写入所述视频压缩文件。7.根据权利要求5所述的方法，其特征在于，所述根据所述变换图像，通过运动网络输出贡献图，包括：根据所述变换图像，通过所述运动网络输出所述贡献图和掩码信息；根据所述运动信息和所述前一视频帧进行图像修复，得到初始重建视频帧，包括：根据所述运动信息、所述掩码信息和所述前一视频帧进行图像修复，得到初始重建视频帧。8.根据权利要求1
‑
7任一项所述的方法，其特征在于，所述待处理视频帧的关键点包括所述待处理图像帧中第一对象所包括的各个身体部位的关键点，所述前一视频帧的关键点包括所述前一视频帧中第二对象所包括的各个身体部位的关键点。9.根据权利要求8所述的方法，其特征在于，所述对所述待处理视频帧和所述前一视频帧分别进行关键点提取，包括：识别所述待处理视频帧中所述第一对象所包括的身体部位，以及识别所述前一视频帧中所述第二对象所述包括的身体部位；根据身体部位与关键点的映射关系，确定所述第一对象所包括身体部位对应的关键点，以及根据身体部位与关键点的映射关系，确定所述第二对象所包括身体部位对应的关键点。10.根据权利要求8所述的方法，其特征在于，所述对所述待处理视频帧和所述前一视频帧分别进行关键点提取，包括：通过关键点检测模型对所述待处理视频帧和所述前一视频帧分别进行关键点提取，所述关键点检测模型是根据训练样本训练得到的，所述训练样本包括多个样本图像，每个所述样本图像中的样本对象包括身体部位，多个所述样本图像中的样本对象包括的身体部...

【专利技术属性】
技术研发人员：罗凤，项进喜，田宽，张军，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：