图像编解码方法、装置、计算机、存储介质及程序产品制造方法及图纸

本申请实施例公开了一种图像编解码方法、装置、计算机、存储介质及程序产品，涉及人工智能领域及云技术领域等，该方法包括：检测待编码图像的图像帧类型；若图像帧类型为关键帧类型，则识别待编码图像的图像关键点，对待编码图像进行编码处理，生成待编码图像所对应的编码数据，将图像关键点、待编码图像的图像帧类型及编码数据，封装成待编码图像的编码码流；关键帧类型用于表示待解码图像为待编码视频流的首个图像帧，或无法基于图像关键点生成的图像帧类型；若图像帧类型为常规帧类型，则识别待编码图像的图像关键点，将图像关键点与图像帧类型，封装成待编码图像的编码码流。采用本申请，可以提高图像编解码的准确性。可以提高图像编解码的准确性。可以提高图像编解码的准确性。

【技术实现步骤摘要】
图像编解码方法、装置、计算机、存储介质及程序产品


[0001]本申请涉及计算机
，尤其涉及一种图像编解码方法、装置、计算机、存储介质及程序产品。

技术介绍

[0002]在数据处理中，对数据的编解码已经成为很重要的一部分，目前，一般是借助三维关键点提取，实现人脸在不同角度下的生成，以将人脸的特征信息和运动信息进行解耦，使得人脸可以自由转动，从而在进行视频编解码时，可以基于提取到的三维关键点实现对人脸的编解码处理，而这一方式由于借助了三维(3
‑
dimension，3D)卷积等复杂算法，导致计算复杂度过高，使得该图像编解码复杂度较高，耗费资源较多，进而导致图像编解码效率较低。或者，获取当前帧与相邻帧之间的残差，对残差进行编码，通过这一方式，需要不断进行残差的计算及编码，使得图像编码效率较低。

技术实现思路

[0003]本申请实施例提供了一种图像编解码方法、装置、计算机、存储介质及程序产品，可以提高图像编解码的准确性及效率。
[0004]本申请实施例一方面提供了一种图像编码方法，该方法包括：
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像编码方法，其特征在于，所述方法包括：检测待编码图像的图像帧类型；若所述图像帧类型为关键帧类型，则识别所述待编码图像的图像关键点，对所述待编码图像进行编码处理，生成所述待编码图像所对应的编码数据，将所述图像关键点、所述待编码图像的图像帧类型及所述编码数据，封装成所述待编码图像的编码码流；所述关键帧类型用于表示所述待解码图像为待编码视频流的首个图像帧，或无法基于所述图像关键点生成的图像帧类型；若所述图像帧类型为常规帧类型，则识别所述待编码图像的图像关键点，将所述图像关键点与所述图像帧类型，封装成所述待编码图像的编码码流。2.如权利要求1所述的方法，其特征在于，所述待编码视频流包括N个图像帧，所述关键帧类型包括首帧类型及预测帧类型；N为正整数；所述检测待编码图像的图像帧类型，包括：若所述待编码图像为所述待编码视频流中的首个图像帧，则确定所述待编码图像的图像帧类型为所述首帧类型；若所述待编码图像不为所述待编码视频流中的首个图像帧，则获取所述N个图像帧中的参考帧，获取所述参考帧中的参考关键点及所述待编码图像中的图像关键点，基于所述图像关键点及所述参考关键点生成重建图像；所述参考帧为所述首个图像帧，或者是所述N个图像帧中，图像帧类型为所述预测帧类型中位于所述待编码图像前一个的图像帧；若所述重建图像与所述待编码图像之间的图像差异度，大于或等于图像异常阈值，则确定所述待编码图像的图像帧类型为所述预测帧类型；若所述重建图像与所述待编码图像之间的图像差异度，小于所述图像异常阈值，则确定所述待编码图像的图像帧类型为所述常规帧类型。3.如权利要求2所述的方法，其特征在于，所述基于所述图像关键点及所述参考关键点生成重建图像，包括：基于所述图像关键点与所述参考关键点，确定所述待编码图像相对于所述参考帧的光流信息；基于所述光流信息对所述参考帧进行更新，得到所述待编码图像所对应的重建图像。4.如权利要求3所述的方法，其特征在于，所述基于所述光流信息对所述参考帧进行更新，得到所述待编码图像所对应的重建图像，包括：对所述参考帧进行卷积处理，得到图像卷积特征，采用所述光流信息对所述图像卷积特征进行特征转换，得到第一图像特征；对所述第一图像特征进行残差处理，得到第二图像特征；对所述第二图像特征进行卷积处理，生成所述待编码图像所对应的重建图像。5.如权利要求2所述的方法，其特征在于，所述获取所述参考帧中的参考关键点及所述待编码图像中的图像关键点，基于所述图像关键点及所述参考关键点生成重建图像，包括：将所述参考帧及所述待编码图像分别输入关键点解析网络中进行关键点解析，确定所述参考帧中的参考关键点，以及所述待编码图像中的图像关键点；将所述参考关键点及所述图像关键点，输入光流解析模型进行光流分析，得到所述待编码图像相对于所述参考帧的光流信息；
将所述参考帧与所述光流信息输入图像生成网络，生成重建图像。6.如权利要求5所述的方法，其特征在于，所述方法还包括：将第一图像样本及第二图像样本分别输入初始关键点解析网络中进行关键点解析，确定所述第一图像样本中的第一样本关键点，以及所述第二图像样本中的第二样本关键点；将所述第一样本关键点与所述第二样本关键点，输入初始光流解析模型进行光流分析，得到所述第二图像样本相对于所述第一图像样本的样本光流信息；将所述第一图像样本及所述样本光流信息输入初始图像生成网络，生成第一样本重建图像；根据所述第一样本重建图像及所述第二图像样本构建模型损失，采用所述模型损失对所述初始关键点解析网络、所述初始光流解析模型及所述初始图像生成网络进行参数调整，直至参数收敛，得到所述初始关键点解析网络所对应的关键点解析网络、所述初始光流解析模型所对应的光流解析模型，以及所述初始图像生成网络所对应的图像生成网络。7.如权利要求6所述的方法，其特征在于，所述模型损失包括生成损失；所述根据所述第一样本重建图像及所述第二图像样本构建模型损失，包括：将所述第一样本重建图像输入图像判别器中进行图像检测，确定所述第一样本重建图像所对应的输出图像质量；基于所述输出图像质量，生成所述生成损失；所述方法还包括：获取第三图像样本所对应的第二样本重建图像，将所述第二样本重建图像及所述第三图像样本分别输入初始图像判别器中进行图像检测，确定所述第三图像样本所对应的第一样本质量，以及所述第二样本重建图像所对应的第二样本质量；根据所述第一样本质量及所述第二样本质量生成图像判别损失，采用所述图像判别损失对所述初始图像判别器进行参数调整，直至得到所述图像判别器。8.如权利要求2所述的方法，其特征在于，所述方法还包括：获取所述待编码图像中的第一关键区域，以及所述重建图像中的第二关键区域，对所述第一关键区域与所述第二关键区域进行结构相似性解析，得到所述重建图像与所述待编码图像之间的图像差异度；所述若所述重建图像与所述待编码图像之间的图像差异度，小于所述图像异常阈值，则确定所述待编码图像的图像帧类型为所述常规帧类型，包括：若所述重建图像与所述待编码图像之间的图像差异度，小于所述图像异常阈值，则在所述N个图像帧中获取包括所述待编码图像的连续的M个图像帧；M为正整数；若所述M个图像帧中存在图像表现大于或等于表现阈值的图像帧，则确定所述待编码图像的图像帧类型为所述常规帧类型。9.如权利要求2所述的方法，其特征在于，所述方法还包括：对所...

【专利技术属性】
技术研发人员：王茹，雷海波，江林燕，宋秉一，罗青，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：