视频密集预测方法及其装置制造方法及图纸

本申请公开了一种视频密集预测方法及其装置，属于图像处理技术领域。该视频密集预测方法包括：将第一输入数据输入至视频密集预测模型中；其中，第一输入数据包括：第一视频帧、第二视频帧和第一视频帧的第一密集预测结果，第一视频帧为第二视频帧的前一视频帧；通过视频密集预测模型，根据第一输入数据，得到第一中间密集预测结果；其中，第一中间密集预测结果包括：第一密集预测结果中，与第一视频帧和第二视频帧之间相同图像内容对应的密集预测结果；通过视频密集预测模型，根据第一中间密集预测结果，对第二视频帧进行密集预测，得到第二密集预测结果；将第二密集预测结果作为视频密集预测模型的输出结果进行输出。频密集预测模型的输出结果进行输出。频密集预测模型的输出结果进行输出。

【技术实现步骤摘要】
视频密集预测方法及其装置


[0001]本申请属于图像处理
，具体涉及一种视频密集预测方法及其装置。

技术介绍

[0002]随着深度学习在计算机视觉任务上的发展，一些通过传统方法比较难解决的任务，因为深度学习方法的引入使得任务被简化。
[0003]目前深度学习的很多成果已经得到具体应用，如将图像的密集预测应用于图像处理中，可以使得图像处理效果更好。例如，将基于密集语义预测的图像分割、深度估计等应用于手机拍照的人像模式中，可以提升拍照效果。
[0004]但现有的密集预测模型，一般是对单张图片进行密集预测，而在利用现有密集预测模型对视频进行密集预测，以基于密集预测结果对视频图像处理时，密集预测模型对不同图像的同一位置处的相同图像内容的密集预测结果可能不同，这种预测不稳定的问题，可能会导致处理后的视频图像在播放时，发生明显的闪烁和抖动问题，视频显示效果差。

技术实现思路

[0005]本申请实施例的目的是提供一种视频密集预测方法及其装置，能够解决现有技术中在基于单张图片的密集预测模型对视频图像进行密集预测时，存在预测结果稳定性低的问题。
[0006]第一方面，本申请实施例提供了一种视频密集预测方法，所述方法包括：
[0007]将第一输入数据输入至视频密集预测模型中；其中，所述第一输入数据包括：第一视频帧、第二视频帧和所述第一视频帧的第一密集预测结果，所述第一视频帧为所述第二视频帧的前一视频帧；
[0008]通过所述视频密集预测模型，根据所述第一输入数据，得到第一中间密集预测结果；其中，所述第一中间密集预测结果包括：所述第一密集预测结果中，与所述第一视频帧和所述第二视频帧之间相同图像内容对应的密集预测结果；
[0009]通过所述视频密集预测模型，根据所述第一中间密集预测结果，对所述第二视频帧进行密集预测，得到第二密集预测结果；
[0010]将所述第二密集预测结果作为所述视频密集预测模型的输出结果进行输出。
[0011]第二方面，本申请实施例提供了一种视频密集预测装置，所述装置包括：
[0012]输入模块，用于将第一输入数据输入至视频密集预测模型中；其中，所述第一输入数据包括：第一视频帧、第二视频帧和所述第一视频帧的第一密集预测结果，所述第一视频帧为所述第二视频帧的前一视频帧；
[0013]处理模块，用于通过所述视频密集预测模型，根据所述第一输入数据，得到第一中间密集预测结果；其中，所述第一中间密集预测结果包括：所述第一密集预测结果中，与所述第一视频帧和所述第二视频帧之间相同图像内容对应的密集预测结果；
[0014]预测模块，用于通过所述视频密集预测模型，根据所述第一中间密集预测结果，对
所述第二视频帧进行密集预测，得到第二密集预测结果；
[0015]输出模块，用于将所述第二密集预测结果作为所述视频密集预测模型的输出结果进行输出。
[0016]第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的视频密集预测方法中的步骤。
[0017]第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的视频密集预测方法中的步骤。
[0018]第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的视频密集预测方法。
[0019]第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一帧处理器执行以实现如第一方面所述的视频密集预测方法。
[0020]在本申请实施例中，视频密集预测模型可以结合第一中间密集预测结果，对第二视频帧进行密集预测，由于第一中间密集预测结果中包括：第一密集预测结果中，与第一视频帧和第二视频帧之间相同图像内容对应的密集预测结果，因此，这样有助于使得第二视频帧与第一视频帧之间同一位置处的相同图像内容的密集预测结果相同，降低出现不同图像的同一位置处的相同图像的密集预测结果不同的概率，提高预测结果的稳定性，同时也可以减少处理后的视频存在闪烁和抖动等问题。
附图说明
[0021]图1是本申请实施例提供的视频密集预测方法的流程示意图；
[0022]图2是本申请实施例提供的视频密集预测模型的示意图之一；
[0023]图3是本申请实施例提供的视频密集预测模型的示意图之二；
[0024]图4是本申请实施例提供的视频密集预测装置的示意框图；
[0025]图5是本申请实施例提供的电子设备的示意框图；
[0026]图6是本申请实施例提供的电子设备的硬件结构示意图。
具体实施方式
[0027]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。
[0028]本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的帧数，例如第一对象可以是一帧，也可以是多帧。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
[0029]下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的视频密集预测方法进行详细地说明。
[0030]图1是本申请实施例提供的一种视频密集预测方法的流程示意图，该视频密集预测方法应用于电子设备，即视频密集预测方法中的步骤由该电子设备执行。
[0031]其中，该视频密集预测方法可以包括：
[0032]步骤101：将第一输入数据输入至视频密集预测模型中。
[0033]该视频密集预测模型存储于电子设备中，该视频密集预测模型具体可以是密集语义预测模型，也可以是非语义的密集预测模型。其中，非语义的密集预测可以应用于如视频图像增强、视频图像去噪等视频处理任务中。
[0034]该第一输入数据可以包括：第一视频帧、第二视频帧和第一视频帧的第一密集预测结果。
[0035]其中，第二视频帧为目标视频中的视频帧，也是待进行密集预测的视频帧，也就是说视频密集预测模型当前需要对第二视频帧进行密集预测。第一视频帧为第二视频帧的前一视频帧，可以理解为是视频密集预测模型的历史密集预测视频帧，已具有密集预测结果，即第一密集预测结果。在第二视频帧为目标视频的第一帧视频帧的情况下，第一视频帧可以是预先设置的用于作为一个视频中第一帧视频本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频密集预测方法，其特征在于，所述方法包括：将第一输入数据输入至视频密集预测模型中；其中，所述第一输入数据包括：第一视频帧、第二视频帧和所述第一视频帧的第一密集预测结果，所述第一视频帧为所述第二视频帧的前一视频帧；通过所述视频密集预测模型，根据所述第一输入数据，得到第一中间密集预测结果；其中，所述第一中间密集预测结果包括：所述第一密集预测结果中，与所述第一视频帧和所述第二视频帧之间相同图像内容对应的密集预测结果；通过所述视频密集预测模型，根据所述第一中间密集预测结果，对所述第二视频帧进行密集预测，得到第二密集预测结果；将所述第二密集预测结果作为所述视频密集预测模型的输出结果进行输出。2.根据权利要求1所述的视频密集预测方法，其特征在于，所述视频密集预测模型包括视频稳定性模型；所述通过视频密集预测模型，根据所述第一输入数据，得到第一中间密集预测结果，包括：将所述第一输入数据输入至所述视频稳定性模型中；通过所述视频稳定性模型，确定所述第一视频帧与所述第二视频帧之间的相同图像内容；通过所述视频稳定性模型，确定所述第一密集预测结果中与所述相同图像内容对应的密集预测结果；将所述第一密集预测结果中与所述相同图像内容对应的密集预测结果，确定为所述第一中间密集预测结果。3.根据权利要求1所述的视频密集预测方法，其特征在于，所述视频密集预测模型包括：视频稳定性模型和密集预测模型；所述通过视频密集预测模型，根据所述第一输入数据，得到第一中间密集预测结果，包括：将所述第一视频帧和所述第一密集预测结果，输入至所述视频稳定性模型中；通过所述视频稳定性模型，获取所述第一视频帧的第一图像特征，并建立所述第一图像特征与所述第一密集预测结果之间的对应关系，输出对应关系信息；将所述第二视频帧和所述对应关系信息输入至所述密集预测模型中；通过所述密集预测模型，获取所述第二视频帧的第二图像特征；通过所述密集预测模型，确定所述第一图像特征与所述第二图像特征之间的相同图像特征；通过所述密集预测模型，根据所述对应关系信息，将所述第一密集预测结果中与所述相同图像特征对应的密集预测结果，确定为所述第一中间密集预测结果。4.根据权利要求1所述的视频密集预测方法，其特征在于，所述视频密集预测模型包括视频稳定性模型；所述通过视频密集预测模型，根据所述第一输入数据，得到第一中间密集预测结果，包括：将所述第一输入数据输入至所述视频稳定性模型中；
通过所述视频稳定性模型，得到所述第二视频帧与所述第一视频帧之间的光流信息；通过所述视频稳定性模型，利用所述光流信息对所述第一密集预测结果进行插值采样，得到所述第一中间密集预测结果。5.根据权利要求1至4任一项所述的视频密集预测方法，其特征在于，所述视频密集预测模型包括：视频稳定性模型和密集预测模型；所述密集预测模型包括第一编码器，所述第一编码器的数据处理过程包括至少两个处理阶段；所述视频稳定性模型包括第二解码器，所述第二解码器的数据处理过程包括至少一个处理阶段；所述通过所述视频密集预测模型，根据所述第一中间密集预测结果，对所述第二视频帧进行密集预测，得到第二密集预测结果，包括：通过所述密集预测模型，将所述第一中间密集预测结果叠加至第一目标处理阶段的输出结果中，对所述第二视频帧进行密集预测，得到所述第二密集预测结果；其中，所述第一目标处理阶段包括所述第一编码器的至少一个处理阶段；其中，所述第二解码器的第二目标处理阶段的输出结果为所述第一中间密集预测结果，或第一图像特征与所述第一密集预测结果之间的对应关系信息，所述第一图像特征为所述第一视频帧的图像特征，所述第二目标处理阶段包括所述第二解码器的至少一个处理阶段。6.一种视频密集...

【专利技术属性】
技术研发人员：马冰，
申请(专利权)人：维沃移动通信有限公司，
类型：发明
国别省市：