参考帧选择方法及装置、设备、存储介质制造方法及图纸

本申请提供了参考帧选择方法及装置、设备、存储介质；其中，所述方法包括：获取待处理视频帧的E个第一相邻帧；根据所述待处理视频帧和所述E个第一相邻帧的图像内容，从所述E个第一相邻帧中选择所述待处理视频帧的第一参考帧；其中，所述第一参考帧用于增强所述待处理视频帧的图像质量。理视频帧的图像质量。理视频帧的图像质量。

【技术实现步骤摘要】
参考帧选择方法及装置、设备、存储介质


[0001]本申请涉及视频图像技术，涉及但不限于参考帧选择方法及装置、设备、存储介质。

技术介绍

[0002]如今，视频已成为最受欢迎的内容消费方式。根据相关报告，至2022年视频观看占所有互联网流量的82％。为了减少传输带宽和存储成本，视频服务提供商通常会对视频进行压缩。然而，一些视频压缩算法由于采用基于块变换的编码方式容易产生视觉上令人不快的压缩伪影。因此，开发视频增强算法是非常有必要的。
[0003]在相关技术中，首先从当前帧的相邻帧中选出参考帧，然后根据参考帧对当前帧进行增强，以得到图像质量优于当前帧的重建帧；然而基于相关技术得到的重建帧的图像质量不能满足质量要求。

技术实现思路

[0004]有鉴于此，本申请提供的参考帧选择方法及装置、设备、存储介质，旨在选择出更优的参考帧，从而帮助更好地增强待处理视频帧的图像质量，提升重建帧的图像质量。
[0005]根据本申请实施例的一个方面，提供一种参考帧选择方法，包括：获取待处理视频帧的E个第一相邻帧；其中，E大于1；根据所述待处理视频帧和所述E个第一相邻帧的图像内容，从所述E个第一相邻帧中选择所述待处理视频帧的第一参考帧；其中，所述第一参考帧用于增强所述待处理视频帧的图像质量。
[0006]如此，由于在进行参考帧的选择时考虑了待处理视频帧以及它的E个第一相邻帧的图像内容，而非是简单地基于相邻帧与待处理视频帧之间的位置关系选择参考帧(例如将待处理视频帧的前一帧以及后一帧作为它的参考帧)，因此选取的参考帧与待处理视频帧的图像内容更加相适应，从而能够更好地增强待处理视频帧的图像质量，提升待处理视频帧的图像增强质量。
[0007]根据本申请实施例的一个方面，提供一种视频增强方法，包括：获取待处理视频帧的E个第一相邻帧；其中，E大于1；根据所述待处理视频帧和所述E个第一相邻帧的图像内容，从所述E个第一相邻帧中选择所述待处理视频帧的第一参考帧；根据所述第一参考帧，对所述待处理视频帧的图像质量进行增强。
[0008]根据本申请实施例的一个方面，提供一种参考帧选择装置，包括：获取模块，配置为获取待处理视频帧的E个第一相邻帧；其中，E大于1；选择模块，配置为根据所述待处理视频帧和所述E个第一相邻帧的图像内容，从所述E个第一相邻帧中选择所述待处理视频帧的第一参考帧；其中，所述第一参考帧用于增强所述待处理视频帧的图像质量。
[0009]根据本申请实施例的一个方面，提供一种视频增强装置，包括：获取模块，配置为获取待处理视频帧的E个第一相邻帧；其中，E大于1；选择模块，配置为根据所述待处理视频帧和所述E个第一相邻帧的图像内容，从所述E个第一相邻帧中选择所述待处理视频帧的第
一参考帧；增强模块，配置为根据所述第一参考帧，对所述待处理视频帧的图像质量进行增强。
[0010]根据本申请实施例的一个方面，提供一种电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本申请实施例所述的方法。
[0011]根据本申请实施例的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本申请实施例提供的所述的方法。
[0012]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
[0013]此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0014]附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
[0015]图1为本申请实施例提供的参考帧选择方法的实现流程示意图；
[0016]图2为本申请实施例提供的另一参考帧选择方法的实现流程示意图；
[0017]图3为本申请实施例提供的第一相邻帧与待处理视频帧的关系示意图；
[0018]图4为本申请实施例提供的训练好的图像增强模型的确定过程示意图；
[0019]图5为本申请实施例提供的训练好的参考帧选择模型的确定过程示意图；
[0020]图6为本申请实施例提供的训练好的目标图像增强模型的确定过程示意图；
[0021]图7为本申请实施例提供的视频去压缩失真流程示意图；
[0022]图8为本申请实施例提供的自适应参考帧选择模块的工作流程示意图；
[0023]图9为本申请实施例提供的训练流程示意图；
[0024]图10为本申请实施例提供的本申请实施例和启发式参考帧选择方法的去压缩失真主观性能对比示意图；
[0025]图11为本申请实施例提供的参考帧选择装置的结构示意图；
[0026]图12为本申请实施例的电子设备的硬件实体示意图。
具体实施方式
[0027]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请的具体技术方案做进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。
[0028]除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的
的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
[0029]在以下的描述中，涉及到“一些实施例”、“本实施例”、“本申请实施例”以及举例等等，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
[0030]需要指出，本申请实施例所涉及的术语“第一\第二\第三\第四\第五”等是为了区别类似或不同的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三第四\第五”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
[0031]本申请实施例提供一种参考帧选择方法，该方法应用于电子设备，该电子设备在实施的过程中可以为各种类型的具有信息处理能力的设备，例如所述电子设备可以包括手机、平板电脑、台式机、电视机、投影设备等。该方法所实现的功能可以通过电子设备中的处理器调用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，该电子设备至少包括处理器和存储介质。
[0032]图1为本申请实施例提供的参考帧选择方法的实现流程示意图，如图1所示，该方法可以包括以下步骤101至步骤102：
[0033]步骤101，获取待处理视频帧的E个第一相邻帧；其中，E大于1；
[0034]步骤102，根据所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种参考帧选择方法，其特征在于，所述方法包括：获取待处理视频帧的E个第一相邻帧；其中，E大于1；根据所述待处理视频帧和所述E个第一相邻帧的图像内容，从所述E个第一相邻帧中选择所述待处理视频帧的第一参考帧；其中，所述第一参考帧用于增强所述待处理视频帧的图像质量。2.根据权利要求1所述的方法，其特征在于，所述根据所述待处理视频帧和所述E个第一相邻帧的图像内容，从所述E个第一相邻帧中选择所述待处理视频帧的第一参考帧，包括：通过预先训练得到的参考帧选择模型，对所述待处理视频帧和所述E个第一相邻帧的图像内容进行处理，得到所述待处理视频帧的第一参考帧；其中，所述参考帧选择模型为AI模型。3.根据权利要求2所述的方法，其特征在于，所述参考帧选择模型为卷积神经网络，至少包括：卷积层、池化层、全连接层和输出层；其中，所述卷积层用于对所述待处理视频帧和所述E个第一相邻帧的图像内容进行卷积操作，得到特征图；所述池化层用于对所述特征图进行池化操作，得到池化后的特征图；所述全连接层用于根据所述池化后的特征图，确定所述第一相邻帧被选为第一参考帧的概率；所述输出层用于根据所述E个第一相邻帧被选为第一参考帧的概率，选出第一参考帧。4.根据权利要求3所述的方法，其特征在于，所述全连接层还用于根据所述池化后的特征图，确定F个不同的帧数目分别作为第一参考帧的数目的概率；其中，F大于1；相应地，所述输出层用于根据所述F个不同的帧数目分别作为第一参考帧的数目的概率，确定目标数目；以及根据所述E个第一相邻帧被选为第一参考帧的概率，选出所述目标数目的第一参考帧。5.根据权利要求2至4任一项所述的方法，其特征在于，所述参考帧选择模型的确定过程包括：根据第一样本帧的多个第二相邻帧和所述第一样本帧，对所述参考帧选择模型的第一初始模型的模型参数进行第一调整处理，得到调整后的第一初始模型；其中，所述第一调整处理包括：将所述多个第二相邻帧和所述第一样本帧输入至所述第一初始模型中，得到所述第一样本帧的第二参考帧；获取所述第一样本帧的第一重建帧，所述第一重建帧是预先训练得到的图像增强模型基于所述第一样本帧和对应的第二参考帧得到的；至少根据所述第一重建帧与所述第一样本帧的标准帧，确定所述第一重建帧的第一损失；根据所述第一损失，调整所述第一初始模型的模型参数；根据第二样本帧的多个第三相邻帧和所述第二样本帧，对所述调整后的第一初始模型的模型参数进行所述第一调整处理，直至对应得到的第一损失或者迭代次数满足截止条件为止，得到所述参考帧选择模型。6.根据权利要求5所述的方法，其特征在于，所述至少根据所述第一重建帧与所述第一样本帧的标准帧，确定所述第一重建帧的第一损失，包括：根据所述第一重建帧和所述第一样本帧的标准帧，确定所述第一重建帧的第一奖励；
以所述第一样本帧为起点，将所述第一样本帧之前的连续M1帧以及所述第一样本帧之后的连续M2帧作为第五参考帧，将所述第五参考帧和所述第一样本帧输入至所述图像增强模型中，得到所述第一样本帧的第二重建帧；其中，M1和M2大于0且小于或等于所述多个第二相邻帧的数目的一半；根据所述第二重建帧和所述第一样本帧的标准帧，确定所述第二重建帧的第二奖励；根据所述第一奖励、所述第二奖励和所述第二参考帧被选为参考帧的概率，确定所述第一损失。7.根据权利要求5所述的方法，其特征在于，所述图像增强模型...

【专利技术属性】
技术研发人员：陈志波，符军，刘森，杨智尧，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：