视频卡顿检测方法、装置和存储介质制造方法及图纸

提供了一种视频卡顿检测方法、装置和存储介质，该方法包括：获取待检测视频中的多个待检测视频帧；对所述多个待检测视频帧中的相邻视频帧做差处理，得到所述相邻视频帧的帧差的像素强度图；对所述相邻视频帧的帧差的像素强度图进行二值化处理，得到所述相邻视频帧的帧差的二值化图像；根据所述相邻视频帧的帧差的二值化图像，进行视频卡顿检测，有利于实现简单且有效的卡顿检测。

【技术实现步骤摘要】
视频卡顿检测方法、装置和存储介质
本专利技术涉及视频图像处理领域，更具体地，涉及一种视频卡顿检测方法、装置和存储介质。
技术介绍
多媒体技术的快速发展，使得对多媒体文件(比如视频，广告等)的用户体验程度的要求越来越高，其中，视频播放的流畅程度是用户比较关心的问题。相关技术的视频卡顿检测中主要应用神经网络，深度学习在数据充足的情况下能够展现出优异的性能，但许多深度学习模型的性能却依赖于庞大的训练数据，这也限制了其在实际应用场景中的作用，尤其是容易混淆画面运动幅度小、过程缓慢的视频帧和卡顿帧，因此，如何实现简单有效的视频卡顿检测是一项急需解决的问题。
技术实现思路
本申请提供了一种视频卡顿检测方法、装置和存储介质，能够实现简单有效的视频卡顿检测。第一方面，提供了一种视频卡顿检测方法，包括：获取待检测视频中的多个待检测视频帧；对所述多个待检测视频帧中的相邻视频帧做差处理，得到所述相邻视频帧的帧差的像素强度图；对所述相邻视频帧的帧差的像素强度图进行二值化处理，得到所述相邻视频帧的帧差的二值化图像；根据所述相邻视频帧的帧差的二值化图像，进行视频卡顿检测。第二方面，提供了一种视频卡顿检测装置，包括：获取模块，用于获取待检测视频中的多个待检测视频帧；帧差处理模块，用于对所述多个待检测视频帧中的相邻视频帧做差处理，得到所述相邻视频帧的帧差的像素强度图；二值化处理模块，用于对所述相邻视频帧的帧差的像素强度图进行二值化处理，得到所述相邻视频帧的帧差的二值化图像；卡顿检测模块，用于根据所述相邻视频帧的帧差的二值化图像，进行视频卡顿检测。第三方面，提供了一种视频卡顿检测装置，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，处理器配置为经由执行可执行指令来执行上述视频卡顿检测方法。第四方面，提供了一种存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述视频卡顿检测方法的步骤。基于上述技术方案，通过对待检测视频中的多个待检测视频帧中的相邻视频帧的帧差的像素强度图进行二值化处理，能够有效区分画面运动幅度小、过程缓慢的视频帧与卡顿帧，使得播放流畅帧与播放卡顿帧的区别更加明显，提升了视频卡顿检测的准确性，并且不依赖于神经网络，避免了模型训练等庞大的计算量，降低了算法实现的难度。附图说明图1是本申请实施例提供的一种视频卡顿检测方法的示意性流程图。图2是正常播放画面转为白幕的示意图。图3是白幕转为正常画面的示意图。图4中的(a)和(b)是两帧画面内容变化缓慢且幅度较小的图像帧。图4中的（c）为图4中的(a)和(b)两帧图像的帧差的像素强度图。图4中的（d）为图4中的（c）中的帧差的像素强度图经过二值化处理后的图像。图5中的(a)和(b)是两帧卡顿帧。图5中的（c）为图5中的(a)和(b)两帧图像的帧差的像素强度图。图5中的（d）为图5中的（c）中的帧差的像素强度图经过二值化处理后的图像。图6是本申请一个示例性实施例的一种视频卡顿检测方法的示意性流程图。图7中的（a）是基于帧差的像素强度图的视频卡顿检测方法得到的像素强度示意图，图7中的（b）是基于本申请的视频卡顿检测方法得到的二值化图像的目标期望值示意图。图8中的（a）是基于帧差的像素强度图的视频卡顿检测方法的卡顿次数指标示意图，图8中的（b）是基于帧差的像素强度图的视频卡顿检测方法的卡顿时长指标示意图。图9中的（a）是基于本申请的视频卡顿检测方法的卡顿次数指标示意图，图9中的（b）是基于本申请的视频卡顿检测方法的卡顿时长指标示意图。图10是根据本申请实施例提供的一种视频卡顿检测装置的示意性框图。图11是根据本申请实施例提供的另一种视频卡顿检测装置的示意性框图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。针对本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。应理解，附图为本申请的示意性图解，图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多示例实施方式中。在下面的描述中，提供许多具体细节从而给出对本申请的示例实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而省略特定细节中的一个或更多，或者可以采用其他的方法、组元、步骤等。在其它情况下，不详细示出或描述公知结构、方法、实现或者操作以避免喧宾夺主而使得本申请的各方面变得模糊。还应理解，附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络、处理器装置或者微控制装置中现实这些功能实体。云技术（Cloudtechnology）是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。云技术（Cloudtechnology）基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，只能通过云计算来实现。本申请实施例提供了一种视频卡顿检测方法、装置和存储介质。在实际应用中，视频卡顿检测装置中的各功能模块可以由设备(如终端设备、服务器或服务器集群)的硬件资源，如处理器等计算资源、通信资源(如用于支持实现光缆、蜂窝等各种方式通信)协同实现。在以下实施例中，将从视频卡顿检测装置的角度进行描述，该视频卡顿检测装置可以为任意具有计算处理能力的设备。该视频卡顿检测装置例如可以集成在平板电脑、子机、及笔记本电脑等具备存储器并安装有处理器而具有运算能力的终端或服务器中，或者该视频卡顿检测装置为该终端或服务器。在一些实施例中，视频卡顿检测装置可以应用于具有视频播放功能的客户端或服务器中，例如，视频会议软件。图1示出了根据本申请实施例的视频卡顿检测方法100的示意性流程图。如图1所示，该方法100可以包括如下中的至少部分内容：S101，获取待检测视频中的多个待检测视频帧。在本申请一些实施例中，待检测视频为解码后的视频。该待检测视频可以为最近一段时间内播放的视频，例如，视频卡顿检测装置可以按照一定的时间间隔获取待检测视频，并确定该待检测视频的卡顿信息。作为一个示本文档来自技高网...

【技术保护点】
1.一种视频卡顿检测方法，其特征在于，包括：/n获取待检测视频中的多个待检测视频帧；/n对所述多个待检测视频帧中的相邻视频帧做差处理，得到所述相邻视频帧的帧差的像素强度图；/n对所述相邻视频帧的帧差的像素强度图进行二值化处理，得到所述相邻视频帧的帧差的二值化图像；/n根据所述相邻视频帧的帧差的二值化图像，进行视频卡顿检测。/n

【技术特征摘要】
1.一种视频卡顿检测方法，其特征在于，包括：
获取待检测视频中的多个待检测视频帧；
对所述多个待检测视频帧中的相邻视频帧做差处理，得到所述相邻视频帧的帧差的像素强度图；
对所述相邻视频帧的帧差的像素强度图进行二值化处理，得到所述相邻视频帧的帧差的二值化图像；
根据所述相邻视频帧的帧差的二值化图像，进行视频卡顿检测。


2.根据权利要求1所述的方法，其特征在于，所述根据所述相邻视频帧的帧差的二值化图像，进行视频卡顿检测，包括：
计算所述相邻视频帧的帧差的二值化图像的期望值，其中，所述二值化图像的期望值为所述二值化图像中的像素值的平均值；
根据所述相邻视频帧的帧差的二值化图像的期望值，进行视频卡顿检测。


3.根据权利要求2所述的方法，其特征在于，所述根据所述相邻视频帧的帧差的二值化图像的期望值，进行视频卡顿检测，包括：
若所述二值化图像的期望值大于第一阈值，确定未发生卡顿事件；或者
若所述二值化图像的期望值小于或等于第一阈值，确定发生卡顿事件。


4.根据权利要求2所述的方法，其特征在于，所述根据所述相邻视频帧的帧差的二值化图像的期望值，进行视频卡顿检测，包括：
对所述相邻视频帧的帧差的二值化图像的期望值进行取对数处理，得到所述相邻视频帧的帧差的二值化图像的目标期望值；
根据所述相邻视频帧的帧差的二值化图像的目标期望值，进行视频卡顿检测。


5.根据权利要求4所述的方法，其特征在于，所述对所述相邻视频帧的帧差的二值化图像的期望值进行取对数处理，得到所述相邻视频帧的帧差的二值化图像的目标期望值，包括：
根据如下公式，确定所述相邻视频帧的帧差的二值化图像的目标期望值：
E’(I)=log2（1+E(I)）
其中，所述I表示所述相邻视频帧的帧差，E(I)表示所述相邻视频帧的帧差的期望值，E’(I)表示所述相邻视频帧的帧差的目标期望值。


6.根据权利要求4所述的方法，其特征在于，所述根据所述相邻视频帧的帧差的二值化图像的目标期望值，进行视频卡顿检测，包括：
若所述二值化图像的目标期望值大于第二阈值，确定未发生卡顿事件；或者
若所述二值化图像的目标期望值小于或等于第二阈值，确定发生卡顿事件。


7.根据权利要求1-6中任一项所述的方法，其特征在于，所述对所述相邻视频帧的帧差的像素强度图进行二值化处理，得到所述相邻视频帧的帧差的二值化图像，包括：
将所述相邻视频帧的帧差的像素强度图中大于或等于第三阈值的像素值设置为255，以及，将所述相邻视频帧的帧差的像素强度图中小于第三阈值的像素值设置为零，得到所述相邻视频帧的帧差的二值化图像。


8.根据权利要求1-6中任一项所述的方法，其特征在于，所述相邻视频帧包括第一视频帧和第二视频帧，所述第一视频...

【专利技术属性】
技术研发人员：余冠东，易高雄，吴庆波，龚桂良，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44