视频流的超分控制方法、装置及电子设备制造方法及图纸

本申请公开了一种视频流的超分控制方法、装置及电子设备，方法包括：获得视频流中的当前帧；获得所述当前帧的预测超分耗时；在所述预测超分耗时满足超分条件的情况下，对所述当前帧执行超分处理；在所述预测超分耗时不满足所述超分条件的情况下，对所述当前帧执行丢帧处理。可见，本申请中通过预测视频流中每一帧的超分耗时，进而基于预测的超分耗时实现超分控制或丢帧，避免超分耗时过长导致的卡顿现象，改善用户对视频流的观看体验。改善用户对视频流的观看体验。改善用户对视频流的观看体验。

【技术实现步骤摘要】
视频流的超分控制方法、装置及电子设备


[0001]本申请涉及图像处理
，尤其涉及一种视频流的超分控制方法、装置及电子设备。

技术介绍

[0002]播放器在播放视频时，如果视频源不清晰，播放器可以在视频画面解码时进行超分，从而增强画质，这样就可以以低清视频流体验超高清视频的观看效果。
[0003]但是播放器进行超分的计算量比较大，一些情况下播放器所在的设备性能无法满足超分处理，导致播放器上出现卡顿的情况。
[0004]因此，亟需一种能够有效避免因为视频超分导致的播放卡顿的技术方案。

技术实现思路

[0005]有鉴于此，本申请提供一种视频流的超分控制方法、装置及电子设备，用以解决因为视频超分导致的播放卡顿问题，改善用户的观看体验。
[0006]一种视频流的超分控制方法，包括：获得视频流中的当前帧；获得所述当前帧的预测超分耗时；在所述预测超分耗时满足超分条件的情况下，对所述当前帧执行超分处理；在所述预测超分耗时不满足所述超分条件的情况下，对所述当前帧执行丢帧处理。
[0007]上述方法，优选的，获得所述当前帧的预测超分耗时，包括：获得所述当前帧中的第一区域和第二区域；所述第一区域为所述当前帧中需要执行超分处理的图像区域，所述第二区域为所述当前帧中除所述第一区域之外的其他区域；根据所述第一区域对应的平均超分速率，获得所述第一区域对应的估计区域超分耗时；所述平均超分速率表征被执行超分处理的区域内单位面积的超分耗时；根据所述第二区域对应的平均融合速率，获得所述第二区域对应的估计区域融合耗时；所述平均融合速率表征被执行融合处理的区域内单位面积的融合耗时；将所述第一区域对应的估计区域超分耗时和所述第二区域对应的估计区域融合耗时进行加和，以得到所述当前帧的预测超分耗时。
[0008]上述方法，优选的，所述第一区域对应的平均超分速率为所述第一区域所属的图像类型对应的平均超分速率；其中，所述当前帧中每个所述图像类型对应的平均超分速率通过以下方式获得：获得所述视频流中被执行超分处理的历史帧的实际超分速率；所述历史帧的实际超分速率表征：所述历史帧中对应于所述图像类型的图像区域内单位面积的超分耗时；按照所述历史帧的数量，对所述实际超分速率进行平均处理，以得到所述图像类型对应的平均超分速率；
或者，所述当前帧中每个所述图像类型对应的平均超分速率通过以下方式获得：使用所述视频流中被执行超分处理的历史帧的数量减一后的差值，乘以，所述当前帧的前一帧中所述图像类型对应的平均超分速率，以得到乘积；将所述乘积加上所述前一帧中所述图像类型对应的实际超分速率，以得到和值；将所述和值除以所述视频流中被执行超分处理的历史帧的数量，以得到所述图像类型对应的平均超分速率。
[0009]上述方法，优选的，在对所述当前帧执行超分处理之后，所述方法还包括：获得所述第一区域的实际超分速率，所述第一区域的实际超分速率表征所述第一区域内单位面积的超分耗时；根据所述第一区域的实际超分速率，对所述第一区域所属的图像类型对应的平均超分速率进行更新。
[0010]上述方法，优选的，不同的所述图像类型对应的平均超分速率不同。
[0011]上述方法，优选的，所述第二区域对应的平均融合速率通过以下方式获得：获得所述视频流中被执行融合处理的历史帧的实际融合速率，所述历史帧的实际融合速率表征所述历史帧中被执行融合处理的区域内单位面积的融合耗时；按照所述历史帧的数量，对所述实际融合速率进行平均处理，以得到第二区域对应的平均融合速率；或者，所述第二区域对应的平均融合速率通过以下方式获得：使用所述视频流中被执行融合处理的历史帧的数量减一后的差值，乘以，所述当前帧的前一帧中被执行融合处理的图像区域的平均超分速率，以得到乘积；将所述乘积加上所述前一帧中被执行融合处理的图像区域的实际超分速率，以得到和值；将所述和值除以所述视频流中被执行融合处理的历史帧的数量，以得到所述第二区域对应的平均超分速率。
[0012]上述方法，优选的，在对所述当前帧执行超分处理之后，所述方法还包括：获得所述第二区域的实际融合速率，所述第二区域的实际融合速率表征所述第二区域内单位面积的融合耗时；根据所述第二区域的实际融合速率，对所述第二区域对应的平均融合速率进行更新。
[0013]上述方法，优选的，在获得所述当前帧的预测超分耗时之前，还包括：获得超分控件的当前状态；其中，在所述视频流对应的丢帧率大于或等于丢帧阈值的情况下所述超分控件为关闭状态，在所述视频流对应的丢帧率小于所述丢帧阈值的情况下所述超分控件为开启状态；所述丢帧率表征所述视频流在单位时间内的丢帧数量；在所述当前状态为开启状态的情况下，执行所述：获得所述当前帧的预测超分耗时。
[0014]一种视频流的超分控制装置，包括：帧获得单元，用于获得视频流中的当前帧；预测获得单元，用于获得所述当前帧的预测超分耗时；帧控制单元，用于在所述预测超分耗时满足超分条件的情况下，对所述当前帧执
行超分处理；在所述预测超分耗时不满足所述超分条件的情况下，对所述当前帧执行丢帧处理。
[0015]一种电子设备，包括：存储器，用于存储计算机程序以及所述计算机程序运行所产生的数据；处理器，用于执行所述计算机程序，以实现：获得视频流中的当前帧；获得所述当前帧的预测超分耗时；在所述预测超分耗时满足超分条件的情况下，对所述当前帧执行超分处理；在所述预测超分耗时不满足所述超分条件的情况下，对所述当前帧执行丢帧处理。
[0016]从上述技术方案可以看出，本申请公开的一种视频流的超分控制方法、装置及电子设备中，针对视频流中的当前需要播放的每一帧图像均进行超分耗时的预测，由此基于所得到的预测超分耗时确定对当前帧执行超分处理或进行丢帧处理。可见，本申请中通过预测视频流中每一帧的超分耗时，进而基于预测的超分耗时实现超分控制或丢帧，避免超分耗时过长导致的卡顿现象，改善用户对视频流的观看体验。
附图说明
[0017]为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0018]图1为本申请实施例一提供的一种视频流的超分控制方法的流程图；图2为本申请实施例需要进行超分控制的视频流被播放器解码当前帧的示例图；图3为本申请实施例一提供的一种视频流的超分控制方法中获得当前帧的预测超分耗时的流程图；图4为本申请实施例中当前帧的示例图；图5为本申请实施例一提供的一种视频流的超分控制方法中获得当前帧中每个图像类型对应的平均超分速率的流程图；图6为本申请实施例一提供的一种视频流的超分控制方法中获得当前帧中每个图像类型对应的平均超分速率的流程图；图7为本申请实施例一提供的一种视频流的超分控制方法中对第一区域所属的图像类型对应的平均超分速率进行更新的流程图；图8为本申请实施例一提供的一种视频流的超分控制方法中获得第二区域对应的平均融合本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频流的超分控制方法，其特征在于，包括：获得视频流中的当前帧；获得所述当前帧的预测超分耗时；在所述预测超分耗时满足超分条件的情况下，对所述当前帧执行超分处理；在所述预测超分耗时不满足所述超分条件的情况下，对所述当前帧执行丢帧处理。2.根据权利要求1所述的方法，其特征在于，获得所述当前帧的预测超分耗时，包括：获得所述当前帧中的第一区域和第二区域；所述第一区域为所述当前帧中需要执行超分处理的图像区域，所述第二区域为所述当前帧中除所述第一区域之外的其他区域；根据所述第一区域对应的平均超分速率，获得所述第一区域对应的估计区域超分耗时；所述平均超分速率表征被执行超分处理的区域内单位面积的超分耗时；根据所述第二区域对应的平均融合速率，获得所述第二区域对应的估计区域融合耗时；所述平均融合速率表征被执行融合处理的区域内单位面积的融合耗时；将所述第一区域对应的估计区域超分耗时和所述第二区域对应的估计区域融合耗时进行加和，以得到所述当前帧的预测超分耗时。3.根据权利要求2所述的方法，其特征在于，所述第一区域对应的平均超分速率为所述第一区域所属的图像类型对应的平均超分速率；其中，所述当前帧中每个所述图像类型对应的平均超分速率通过以下方式获得：获得所述视频流中被执行超分处理的历史帧的实际超分速率；所述历史帧的实际超分速率表征：所述历史帧中对应于所述图像类型的图像区域内单位面积的超分耗时；按照所述历史帧的数量，对所述实际超分速率进行平均处理，以得到所述图像类型对应的平均超分速率；或者，所述当前帧中每个所述图像类型对应的平均超分速率通过以下方式获得：使用所述视频流中被执行超分处理的历史帧的数量减一后的差值，乘以，所述当前帧的前一帧中所述图像类型对应的平均超分速率，以得到乘积；将所述乘积加上所述前一帧中所述图像类型对应的实际超分速率，以得到和值；将所述和值除以所述视频流中被执行超分处理的历史帧的数量，以得到所述图像类型对应的平均超分速率。4.根据权利要求3所述的方法，其特征在于，在对所述当前帧执行超分处理之后，所述方法还包括：获得所述第一区域的实际超分速率，所述第一区域的实际超分速率表征所述第一区域内单位面积的超分耗时；根据所述第一区域的实际超分速率，对所述第一区域所属的图像类型对应的平均超分速率进行更新。5.根据权利要求3所述的方法，其特征在于，不同的所述图像类型对应的平均...

【专利技术属性】
技术研发人员：肖佶，陈小波，
申请(专利权)人：湖南快乐阳光互动娱乐传媒有限公司，
类型：发明
国别省市：