视频处理方法及装置制造方法及图纸

本发明专利技术实施例涉及一种视频处理方法及装置，该方法包括：接收第一视频码流，其中，所述第一视频码流的分辨率为第一分辨率，所述第一视频码流中包括所述第一视频码流的量化信息；根据所述第一视频码流的量化信息得到所述第一视频码流的量化误差；根据预存的数据库码流样本以及所述第一视频码流的量化误差对所述第一视频码流进行超分辨率SR重建得到第二视频码流，其中，所述第二视频码流的分辨率为第二分辨率，所述第二分辨率大于所述第一分辨率。本发明专利技术实施例提供的视频处理方法及装置，考虑了视频码流的量化误差，使得SR重建得到的高分辨率视频码流的质量更高。

【技术实现步骤摘要】
视频处理方法及装置
本专利技术涉及视频处理
，尤其涉及一种视频处理方法及装置。
技术介绍
随着高清超高清产业链的逐步成熟，从制播到传输再到终端都已经满足了高清市场化的必要条件，在图像或视频的处理过程中，图像或视频在终端显示之前，需要经过超分辨率(SuperResolution，SR)重建。SR重建是指采用软件方法对图像或视频的分辨率进行提高，来满足现阶段的高分辨率要求。现有SR重建方法，基于已获得的高分辨率和低分辨率图像块的特征来训练三层深度网络得到非线性映射关系，根据非线性映射关系做单帧图像SR重建。或通过训练学习得到一个端到端的低分辨率与高分辨率图像之间的深度卷积神经网络(ConvolutionalNeuralNetwork，CNN)映射关系，根据深度CNN映射关系做单帧图像的SR重建。但是，现有SR重建技术，忽略了压缩视频码流时编码量化带来的图像降质，在解码重建时丢弃了量化误差的重要信息，造成了SR重建质量的损失。
技术实现思路
本专利技术实施例提供一种视频处理方法及装置，可以使得SR重建得到的高分辨率视频码流质量更好。第一方面，本专利技术实施例提供了一种视频处理方法，该方法包括：接收第一视频码流，其中，所述第一视频码流的分辨率为第一分辨率，所述第一视频码流中包括所述第一视频码流的量化信息；根据所述第一视频码流的量化信息得到所述第一视频码流的量化误差；根据预存的数据库码流样本以及所述第一视频码流的量化误差对所述第一视频码流进行超分辨率SR重建得到第二视频码流，其中，所述第二视频码流的分辨率为第二分辨率，所述第二分辨率大于所述第一分辨率。具体地，本专利技术实施例提供的视频处理方法，考虑了视频码流的量化误差，SR重建得到的高分辨率视频码流的质量更高。在一种可能的实施方式中，在接收第一视频码流之前，还包括：获取量化噪声模型，其中，所述量化噪声模型用于根据量化信息得到量化误差；所述根据所述第一视频码流的量化信息得到所述第一视频码流的量化误差，包括：根据所述第一视频码流的量化信息和所述量化噪声模型得到所述第一视频码流的量化误差。具体地，本专利技术实施例建立了量化噪声模型，在对低分辨率视频码流SR重建时，考虑相应的量化误差，提高了SR重建得到的高分辨率视频码流的质量。在一种可能的实施方式中，所述根据预存的数据库码流样本以及所述量化误差对所述第一视频码流SR重建得到第二视频码流，包括：根据所述第一视频码流的量化误差对所述第一视频码流解码，得到多个第一中间值；根据所述预存的数据库码流样本对所述多个第一中间值进行SR重建得到多个第二中间值；将所述多个第二中间值编码为第二视频码流。在一种可能的实施方式中，所述量化信息包括量化参数QP信息和量化的离散余弦变换DCT系数信息。所述根据所述第一视频码流的量化误差对所述第一视频码流解码，得到多个第一中间值，包括:对所述第一视频码流熵解码，得到第一视频码流的QP信息和量化的DCT系数信息；根据所述第一视频码流的QP信息对所述第一视频码流的量化的DCT系数信息进行反量化操作，得到多个反量化后的第一DCT系数；根据所述多个反量化后的第一DCT系数和所述第一视频码流的量化误差得到多个反量化后的第二DCT系数；对所述多个反量化后的第二DCT系数进行反离散余弦变换IDCT操作，得到所述多个第一中间值。在一种可能的实施方式中，所述根据所述预存的数据库码流样本对所述多个第一中间值进行SR重建得到多个第二中间值之前，还包括：根据所述量化噪声模型对所述预存的数据库码流样本解码，得到低分辨率中间值样本和高分辨率中间值样本，其中，所述数据库码流样本包括低分辨率码流样本和高分辨率码流样本；对所述低分辨率中间值样本和高分辨率中间值样本进行训练学习，得到所述低分辨率中间值样本和所述高分辨率中间值样本之间的映射关系；所述根据所述预存的数据库码流样本对所述多个第一中间值进行SR重建得到多个第二中间值，包括：根据所述映射关系对所述多个第一中间值进行SR重建得到多个第二中间值。具体地，本专利技术实施例提供的数据库样本包括低分辨率视频码流样本和高分辨率视频码流样本。再根据量化噪声模型对低分辨率视频码流样本和高分辨率视频码流样本解码，并训练学习低分辨率视频码流样本和高分辨率视频码流样本之间更加精确的映射关系。以使得SR重建的高分辨率视频码流更加接近理想值。在一种可能的实施方式中，所述获取量化噪声模型，包括：根据所述QP信息和量化的DCT系数信息得到量化噪声模型。第二方面，本专利技术实施例提供了一种视频处理装置，该装置包括：接收单元，用于接收第一视频码流，其中，所述第一视频码流的分辨率为第一分辨率，所述第一视频码流中包括所述第一视频码流的量化信息；量化误差单元，用于根据所述第一视频码流的量化信息得到所述第一视频码流的量化误差；SR重建单元，用于根据预存的数据库码流样本以及所述第一视频码流的量化误差对所述第一视频码流进行超分辨率SR重建得到第二视频码流，其中，所述第二视频码流的分辨率为第二分辨率，所述第二分辨率大于所述第一分辨率。在一种可能的实施方式中，还包括：量化噪声模型获取单元，用于获取量化噪声模型，其中，所述量化噪声模型用于根据量化信息得到量化误差；所述量化误差单元，具体用于根据所述第一视频码流的量化信息和所述量化噪声模型得到所述第一视频码流的量化误差。在一种可能的实施方式中，所述SR重建单元具体用于：根据所述第一视频码流的量化误差对所述第一视频码流解码，得到多个第一中间值；根据所述预存的数据库码流样本对所述多个第一中间值进行SR重建得到多个第二中间值；将所述多个第二中间值编码为第二视频码流。在一种可能的实施方式中，所述量化信息包括量化参数QP信息和量化的离散余弦变换DCT系数信息。所述SR重建单元具体用于：对所述第一视频码流熵解码，得到第一视频码流的QP信息和量化的DCT系数信息；根据所述第一视频码流的QP信息对所述第一视频码流的量化的DCT系数信息进行反量化操作，得到多个反量化后的第一DCT系数；根据所述多个反量化后的第一DCT系数和所述第一视频码流的量化误差得到多个反量化后的第二DCT系数；对所述多个反量化后的第二DCT系数进行反离散余弦变换IDCT操作，得到所述多个第一中间值。在一种可能的实施方式中，该装置还包括：码流样本解码单元，用于根据所述量化噪声模型对所述预存的数据库码流样本解码，得到低分辨率中间值样本和高分辨率中间值样本，其中，所述数据库码流样本包括低分辨率码流样本和高分辨率码流样本；训练学习单元，用于对所述低分辨率中间值样本和高分辨率中间值样本进行训练学习，得到所述低分辨率中间值样本和所述高分辨率中间值样本之间的映射关系；所述SR重建单元具体用于：根据所述映射关系对所述多个第一中间值进行SR重建得到多个第二中间值。在一种可能的实施方式中，所述量化噪声模型获取单元，具体用于根据所述QP信息和量化的DCT系数信息得到量化噪声模型。基于上述技术方案，本专利技术实施例提供的视频处理方法及装置，对低分辨率视频码流进行SR重建时，考虑低分辨率视频码流的量化误差，降低了量化过程带来的质量损失。使得SR重建得到的相应的高分辨率视频码流更加接近理想值，提高了SR重建质量。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对本文档来自技高网...

【技术保护点】
一种视频处理方法，其特征在于，所述方法包括：接收第一视频码流，其中，所述第一视频码流的分辨率为第一分辨率，所述第一视频码流中包括所述第一视频码流的量化信息；根据所述第一视频码流的量化信息得到所述第一视频码流的量化误差；根据预存的数据库码流样本以及所述第一视频码流的量化误差对所述第一视频码流进行超分辨率SR重建得到第二视频码流，其中，所述第二视频码流的分辨率为第二分辨率，所述第二分辨率大于所述第一分辨率。

【技术特征摘要】
1.一种视频处理方法，其特征在于，所述方法包括：接收第一视频码流，其中，所述第一视频码流的分辨率为第一分辨率，所述第一视频码流中包括所述第一视频码流的量化信息；根据所述第一视频码流的量化信息得到所述第一视频码流的量化误差；根据预存的数据库码流样本以及所述第一视频码流的量化误差对所述第一视频码流进行超分辨率SR重建得到第二视频码流，其中，所述第二视频码流的分辨率为第二分辨率，所述第二分辨率大于所述第一分辨率。2.根据权利要求1所述的方法，其特征在于，在接收第一视频码流之前，还包括：获取量化噪声模型，其中，所述量化噪声模型用于根据量化信息得到量化误差；所述根据所述第一视频码流的量化信息得到所述第一视频码流的量化误差，包括：根据所述第一视频码流的量化信息和所述量化噪声模型得到所述第一视频码流的量化误差。3.根据权利要求2所述的方法，其特征在于，所述根据预存的数据库码流样本以及所述量化误差对所述第一视频码流进行SR重建得到第二视频码流，包括：根据所述第一视频码流的量化误差对所述第一视频码流解码，得到多个第一中间值；根据所述预存的数据库码流样本对所述多个第一中间值进行SR重建得到多个第二中间值；将所述多个第二中间值编码为第二视频码流。4.根据权利要求3所述的方法，其特征在于，所述量化信息包括量化参数QP信息和量化的离散余弦变换DCT系数信息；所述根据所述第一视频码流的量化误差对所述第一视频码流解码，得到多个第一中间值，包括:对所述第一视频码流熵解码，得到第一视频码流的QP信息和量化的DCT系数信息；根据所述第一视频码流的QP信息对所述第一视频码流的量化的DCT系数信息进行反量化操作，得到多个反量化后的第一DCT系数；根据所述多个反量化后的第一DCT系数和所述第一视频码流的量化误差得到多个反量化后的第二DCT系数；对所述多个反量化后的第二DCT系数进行反离散余弦变换IDCT操作，得到所述多个第一中间值。5.根据权利要求3所述的方法，其特征在于，所述根据所述预存的数据库码流样本对所述多个第一中间值进行SR重建得到多个第二中间值之前，还包括：根据所述量化噪声模型对所述预存的数据库码流样本解码，得到低分辨率中间值样本和高分辨率中间值样本，其中，所述数据库码流样本包括低分辨率码流样本和高分辨率码流样本；对所述低分辨率中间值样本和高分辨率中间值样本进行训练学习，得到所述低分辨率中间值样本和所述高分辨率中间值样本之间的映射关系；所述根据所述预存的数据库码流样本对所述多个第一中间值进行SR重建得到多个第二中间值，包括：根据所述映射关系对所述多个第一中间值进行SR重建得到多个第二中间值。6.根据权利要求...

【专利技术属性】
技术研发人员：王春萌，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44