视频解码与编码的方法、装置、介质及电子设备制造方法及图纸

本申请的实施例提供了一种视频解码与编码的方法、装置、计算机可读介质及电子设备。该视频解码与编码的方法包括：获取对视频进行编码得到的编码图像，对编码图像进行解码，以得到视频中的目标视频帧、以及视频中视频帧之间的像素变化信息，之后基于像素变化信息和目标视频帧还原视频中的视频帧，以在最后根据视频帧生成编码图像对应的视频。通过上述方式既可以减少视频在传输过程中的数据量，提高视频传输的效率，又能基于编码图像中的信息完整的还原整个视频，提高了视频编解码过程中信息的完整性，以及视频编解码处理的便捷性和直观性。

【技术实现步骤摘要】
视频解码与编码的方法、装置、介质及电子设备
本申请涉及计算机
，具体而言，涉及一种视频解码与编码的方法、装置、计算机可读介质及电子设备。
技术介绍
在对一段视频进行传输等处理过程中，由于视频中包含了图像数据和音频数据，导致在处理过程中需要面对较大的数据量，因此，直接对视频进行处理或者传输将耗费较大的带宽和时延。相关技术中通过对视频数据进行压缩编码，但其压缩之后仍然存在数据量较大的问题，导致编码效率较低。
技术实现思路
本申请的实施例提供了一种视频解码与编码的方法、装置、计算机可读介质及电子设备，进而至少在一定程度上可以减少视频在传输过程中的数据量，提高视频传输的效率和视频解码过程中信息的完整性。本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。根据本申请实施例的一个方面，提供了一种视频解码的方法，包括：获取对视频进行编码得到的编码图像；对所述编码图像进行解码，得到所述视频中的目标视频帧、以及所述视频中视频帧之间的像素变化信息；基于所述像素变化信息和所述目标视频帧，还原所述视频中的视频帧；根据所述视频帧生成所述编码图像对应的视频。根据本申请实施例的二个方面，提供了一种视频编码的方法，包括：获取待编码的视频；提取所述视频中的视频帧；基于注意力机制，提取所述视频帧之间的像素变化信息；对所述视频帧对应的像素变化信息和所述视频中的目标视频帧进行编码，得到所述视频对应的编码图像。根据本申请实施例的一个方面，提供了一种视频解码的装置，包括：第一获取单元，用于获取对视频进行编码得到的编码图像；解码单元，用于对所述编码图像进行解码，得到所述视频中的目标视频帧、以及所述视频中视频帧之间的像素变化信息；还原单元，用于基于所述像素变化信息和所述目标视频帧，还原所述视频中的视频帧；视频单元，用于根据所述视频帧生成所述编码图像对应的视频。在本申请的一些实施例中，基于前述方案，所述视频单元包括：排序单元，用于对所述视频帧进行排序，得到视频帧序列；第一生成单元，用于根据所述视频帧序列中相邻帧的像素参数，生成位于所述相邻帧之间的插值帧；第二生成单元，用于将所述插值帧插入所述相邻帧之间，以生成所述视频。在本申请的一些实施例中，基于前述方案，所述第一生成单元包括：光流单元，用于根据所述视频帧序列中相邻帧的像素参数，确定所述相邻帧之间像素点变化对应的光流参数；第一确定单元，用于根据所述光流参数和所述相邻帧的时间信息，确定所述相邻帧对应的近似帧；第三生成单元，用于基于所述近似帧以及所述光流参数，生成位于所述相邻帧之间的插值帧。在本申请的一些实施例中，基于前述方案，所述第一确定单元包括：时刻确定单元，用于根据所述相邻帧的时间信息，确定所述相邻帧之间至少两个待生成的插值帧对应的播放时刻；近似帧确定单元，用于基于所述光流参数和至少两个所述播放时刻，确定所述至少两个待生成的插值帧分别对应的近似帧。在本申请的一些实施例中，基于前述方案，所述相邻帧包括位置靠前的第一帧和位置靠后的第二帧；所述第一确定单元包括：第二确定单元，用于根据所述相邻帧的时间信息，确定所述第一帧到所述第二帧之间的第一光流参数对应的第一权重，以及所述第二帧到所述第一帧之间的第二光流参数对应的第二权重；第三确定单元，用于基于所述第一光流参数及其对应的第一权重，确定所述第一帧对应的第一近似帧；第四确定单元，用于基于所述第二光流参数及其对应的第二权重，确定所述第二帧对应的第二近似帧。在本申请的一些实施例中，基于前述方案，所述第三生成单元包括：形变单元，用于基于所述光流参数对所述近似帧进行反向形变，得到所述近似帧对应的形变结果；加权单元，用于对所述形变结果进行加权处理，得到所述插值帧。根据本申请实施例的一个方面，提供了一种视频编码的装置，包括：第二获取单元，用于获取待编码的视频；第一提取单元，用于提取所述视频中的视频帧；第二提取单元，用于基于注意力机制，提取所述视频帧之间的像素变化信息；编码单元，用于对所述视频帧对应的像素变化信息和所述视频中的目标视频帧进行编码，得到所述视频对应的编码图像。在本申请的一些实施例中，基于前述方案，所述第二提取单元包括：第三提取单元，用于将所述视频帧输入所述注意力机制的卷积网络中提取所述视频帧的像素信息；第五确定单元，用于基于所述视频帧的像素信息，确定所述视频帧对应的权重矩阵；第六确定单元，用于基于所述视频帧的像素信息及权重矩阵之间的乘积，确定所述视频帧之间的像素变化信息。在本申请的一些实施例中，基于前述方案，所述第三提取单元包括：特征提取单元，用于将所述视频帧输入所述注意力机制的第一卷积网络中，提取出所述视频帧的图像特征；像素提取单元，用于将所述图像特征输入所述注意力机制的第二卷积网络中，得到所述像素信息，其中，所述第二卷积网络的通道数目小于所述第一卷积网络的通道数目。在本申请的一些实施例中，基于前述方案，所述第五确定单元包括：拼接单元，用于对各所述视频帧的像素信息进行拼接，得到拼接信息；标准化单元，用于将所述拼接信息输入所述注意力机制中的标准化指数层中进行标准化处理，得到标准化矩阵；拆分单元，用于对所述标准化矩阵进行拆分处理，得到所述视频帧对应的权重矩阵。在本申请的一些实施例中，基于前述方案，所述视频解码的装置还包括：损失函数单元，用于基于视频样本及其对应的编码图像，生成用于感知视频中序列帧的感知损失函数、用于确定视频的中心图像的单峰损失函数、用于生成编码图像的嵌入损失函数；训练单元，用于基于所述感知损失函数、所述单峰损失函数以及所述嵌入损失函数之间的线性组合，生成采用注意力机制的机器学习模型的目标损失函数，以基于所述目标损失函数对所述机器学习模型进行训练，并基于训练后的机器学习模型提取所述像素变化信息。在本申请的一些实施例中，基于前述方案，所述视频解码的装置还包括：音频提取单元，用于从所述视频中提取出音频信息；音频编码单元，用于对所述音频信息进行编码，得到音频编码数据；音频融合单元，用于将所述音频编码数据融合进所述编码图像中。根据本申请实施例的一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例中所述的视频解码与编码的方法。根据本申请实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中所述的视频解码与编码的方法。在本申请的一些实施例所提供的技术方案中，在编码过程中，基于注意力机制提取视频中视频帧之间的像素变化信息，对视频帧对应的像素变化信息和视频中的目标视频帧进行编码，将视频中的数据编写码在一幅编码图像中，既保留了视频信息的完整性，减少了视频在传输过程中的数据量，又能直观体现编码之后的视频对应的图像，提高了视频编码的可视化，具有较高的视频编码效率。在解码过程中，对编码图像进行解码得到视频中的目标视频帧、以及视频中视频帧之间本文档来自技高网...

【技术保护点】
1.一种视频解码的方法，其特征在于，包括：/n获取对视频进行编码得到的编码图像；/n对所述编码图像进行解码，得到所述视频中的目标视频帧、以及所述视频中视频帧之间的像素变化信息；/n基于所述像素变化信息和所述目标视频帧，还原所述视频中的视频帧；/n根据所述视频帧生成所述编码图像对应的视频。/n

【技术特征摘要】
1.一种视频解码的方法，其特征在于，包括：
获取对视频进行编码得到的编码图像；
对所述编码图像进行解码，得到所述视频中的目标视频帧、以及所述视频中视频帧之间的像素变化信息；
基于所述像素变化信息和所述目标视频帧，还原所述视频中的视频帧；
根据所述视频帧生成所述编码图像对应的视频。


2.根据权利要求1所述的方法，其特征在于，根据所述视频帧生成所述编码图像对应的视频，包括：
对所述视频帧进行排序，得到视频帧序列；
根据所述视频帧序列中相邻帧的像素参数，生成位于所述相邻帧之间的插值帧；
将所述插值帧插入所述相邻帧之间，以生成所述视频。


3.根据权利要求2所述的方法，其特征在于，根据所述视频帧序列中相邻帧的像素参数，生成位于所述相邻帧之间的插值帧，包括：
根据所述视频帧序列中相邻帧的像素参数，确定所述相邻帧之间像素点变化对应的光流参数；
根据所述光流参数和所述相邻帧的时间信息，确定所述相邻帧对应的近似帧；
基于所述近似帧以及所述光流参数，生成位于所述相邻帧之间的插值帧。


4.根据权利要求3所述的方法，其特征在于，根据所述光流参数和所述相邻帧的时间信息，确定所述相邻帧对应的近似帧，包括：
根据所述相邻帧的时间信息，确定所述相邻帧之间至少两个待生成的插值帧对应的播放时刻；
基于所述光流参数和至少两个所述播放时刻，确定所述至少两个待生成的插值帧分别对应的近似帧。


5.根据权利要求3所述的方法，其特征在于，所述相邻帧包括位置靠前的第一帧和位置靠后的第二帧；
根据所述光流参数和所述相邻帧的时间信息，确定所述相邻帧对应的近似帧，包括：
根据所述相邻帧的时间信息，确定所述第一帧到所述第二帧之间的第一光流参数对应的第一权重，以及所述第二帧到所述第一帧之间的第二光流参数对应的第二权重；
基于所述第一光流参数及其对应的第一权重，确定所述第一帧对应的第一近似帧；
基于所述第二光流参数及其对应的第二权重，确定所述第二帧对应的第二近似帧。


6.根据权利要求3所述的方法，其特征在于，基于所述近似帧以及所述光流参数，生成位于所述相邻帧之间的插值帧，包括：
基于所述光流参数对所述近似帧进行反向形变，得到所述近似帧对应的形变结果；
对所述形变结果进行加权处理，得到所述插值帧。


7.一种视频编码的方法，其特征在于，包括：
获取待编码的视频；
提取所述视频中的视频帧；
基于注意力机制，提取所述视频帧之间的像素变化信息；
对所述视频帧对应的像素变化信息和所述视频中的目标视频帧进行编码，得到所述视频对应的编码图像。


8.根据权利要求7所述的方法，其特征在于，基于注意力机制，提取所述视频帧之间的像素变化信息，包括：
将所述...

【专利技术属性】
技术研发人员：何盛烽，朱乾树，孙子荀，王巨宏，
申请(专利权)人：华南理工大学，腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44