一种视频播放检测的方法和系统技术方案

本发明专利技术提出一种视频播放检测的方法和系统，通过将视频各图像帧的RGB矩阵元素聚类赋值方法构造图像比对矩阵并计算视频相似度，再根据该相似度与阈值之间的关系判断播放正常与否，实现不借助人眼快速检测并发现用户卡顿、花屏、色彩异常、分辨率异常等播放问题，一方面提升视频播放检测自动化水平，降低测试工作量，提升测试效率；另一方面主动识别用户视频播放问题，提升用户视频观看体验。提升用户视频观看体验。提升用户视频观看体验。

【技术实现步骤摘要】
一种视频播放检测的方法和系统


[0001]本专利技术涉及视联网技术，更具体地，涉及视频播放检测的方法和系统。

技术介绍

[0002]在视联网业务中，视频播放质量是业务成败的关键。在现有行业实践中，视频播放检测主要依靠人工观察，自动化测试方法尚未普及，检测成本高、效率低，且无法主动检测到真实场景中用户播放过程中的问题。例如，对于用户使用过程中遇到的卡顿、花屏、色彩或分辨率率异常情况，只能等待用户反馈，无法主动识别。现有的自动化检测技术或基于播放器解码后的缓存图像，与用户的真实体验有差距；或使用图像的灰度矩阵进行计算，没有考虑色彩信息。
[0003]因此，需要一种自动化的且更贴近用户真实感受的视频检测方案。

技术实现思路

[0004]提供本
技术实现思路
以便以简化形式介绍将在以下具体实施方式中进一步的描述一些概念。本
技术实现思路
并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。
[0005]本专利技术了一种视频播放检测的方案，大致可以分为下述2个阶段：
[0006]1、图像处理：对源视频图像帧及屏幕播放图像帧进行聚类赋值处理。
[0007]2、图像比对检测：对经过上述处理的源视频图像帧及屏幕播放图像帧进行比对检测及相似度计算，将相似度与阈值进行比较，若相似度小于阈值则表示播放正常。
[0008]根据本专利技术的一个实施例，提供了一种由视频检测服务器执行的视频播放检测方法，包括：在逐帧的基础上提取由所述视频检测服务器向视频检测终端下放的每个源侧视频图像帧的DTS和PTS，并针对每个源侧视频图像帧进行像素聚类计算，以形成针对每个源侧视频图像帧的源侧结果，其中，针对每个源侧视频图像帧的源侧结果包括针对该源侧视频图像帧的经源侧像素聚类计算的RGB矩阵以及针对该源侧视频图像帧的DTS和PTS；将从所述视频检测终端接收到的针对每个端侧屏幕图像帧的端侧结果与所述源侧结果进行相似度计算以得到相似度计算结果，并将所述相似度计算结果与阈值进行比较，以得出检测结果，其中，针对每个端侧屏幕图像帧的端侧结果包括针对该端侧屏幕图像帧的经端侧像素聚类计算的RGB矩阵以及针对该端侧屏幕图像帧的DTS和PTS。
[0009]根据本专利技术的一个实施例，提供了一种由视频检测终端执行的视频播放检测方法，包括：接收并播放视频检测服务器下发的视频流；在逐帧的基础上提取由所述视频检测终端播放的每个端侧屏幕图像帧的DTS和PTS，并针对每个端侧屏幕图像帧进行像素聚类计算，以形成针对每个端侧屏幕图像帧的端侧结果，其中，针对每个端侧屏幕图像帧的端侧结果包括针对该端侧屏幕图像帧的经端侧像素聚类计算的RGB矩阵以及针对该端侧屏幕图像帧的DTS和PTS；以及将所述端侧结果回传至所述视频检测服务器。
[0010]根据本专利技术的一个实施例，提供了一种用于视频播放检测的视频检测服务器，包
括：视频图像提取单元，所述视频图像提取单元被配置成：在逐帧的基础上提取由所述视频检测服务器向视频检测终端下放的每个源侧视频图像帧的DTS和PTS；视频图像计算单元，所述视频图像计算单元被配置成：针对每个源侧视频图像帧进行像素聚类计算，以形成针对每个源侧视频图像帧的源侧结果，其中，针对每个源侧视频图像帧的源侧结果包括针对该源侧视频图像帧的经源侧像素聚类计算的RGB矩阵以及针对该源侧视频图像帧的DTS和PTS；视频比对单元，所述视频比对单元被配置成：将从所述视频检测终端接收到的针对每个端侧屏幕图像帧的端侧结果与所述源侧结果进行相似度计算以得到相似度计算结果，并将所述相似度计算结果与阈值进行比较，以得出检测结果，其中，针对每个端侧屏幕图像帧的端侧结果包括针对该端侧屏幕图像帧的经端侧像素聚类计算的RGB矩阵以及针对该端侧屏幕图像帧的DTS和PTS。
[0011]根据本专利技术的一个实施例，提供了一种用于视频播放检测的视频检测终端，包括：视频播放单元，所述视频播放单元被配置成：接收并播放视频检测服务器下发的视频流；屏幕图像提取单元，所述屏幕图像提取单元被配置成：在逐帧的基础上提取由所述视频检测终端播放的每个端侧屏幕图像帧的DTS和PTS；屏幕图像计算单元，所述屏幕图像计算单元被配置成：针对每个端侧屏幕图像帧进行像素聚类计算，以形成针对每个端侧屏幕图像帧的端侧结果，其中，针对每个端侧屏幕图像帧的端侧结果包括针对该端侧屏幕图像帧的经端侧像素聚类计算的RGB矩阵以及针对该端侧屏幕图像帧的DTS和PTS；以及计算结果回传单元，所述计算结果回传单元被配置成将所述端侧结果回传至所述视频检测服务器。
[0012]根据本专利技术的一个实施例，提供了一种用于视频播放检测的系统，包括：如上所述的视频检测服务器；以及一个或多个如上所述的视频检测终端。
[0013]通过阅读下面的详细描述并参考相关联的附图，这些及其他特点和优点将变得显而易见。应该理解，前面的概括说明和下面的详细描述只是说明性的，不会对所要求保护的各方面形成限制。
附图说明
[0014]为了能详细地理解本专利技术的上述特征所用的方式，可以参照各实施例来对以上简要概述的内容进行更具体的描述，其中一些方面在附图中示出。然而应该注意，附图仅示出了本专利技术的某些典型方面，故不应被认为限定其范围，因为该描述可以允许有其它等同有效的方面。
[0015]图1示出了根据本专利技术的一个实施例的视频播放检测系统100的框图。
[0016]图2示出了根据本专利技术的一个实施例的用于对图像帧进行像素聚类的方法200的流程图。
[0017]图3示出了根据本专利技术的一个实施例的对经源侧像素聚类计算的RGB矩阵与经端侧像素聚类计算的RGB矩阵进行比对的方法300的流程图。
[0018]图4示出了根据本专利技术的一个实施例的视频播放检测方法400的过程流。
[0019]图5示出了根据本专利技术的一个实施例的示例性计算设备500的框图。
具体实施方式
[0020]下面结合附图详细描述本专利技术，本专利技术的特点将在以下的具体描述中得到进一步
的显现。
[0021]以下具体描述参考示出本专利技术的示例性实施例的附图。但是，本专利技术的范围不限于这些实施例，而是由所附权利要求书定义。因此，诸如所示实施例的修改版本之类的在附图所示之外的实施例仍然由本专利技术所包含。
[0022]本说明书中对“一个实施例”、“实施例”、“示例实施例”等的引用指的是该实施例可包括特定的特征、结构或特点，但是每一实施例不一定包括该特定的特征、结构或特点。此外，这些短语不一定指相同的实施例。此外，当结合实施例描述具体特征、结构或特性时，应当理解在相关领域的技术人员的知识范围内能够结合其他实施例来实现具体特征、结构或特性，无论是否被显式地描述。
[0023]本专利技术提出一种视频播放检测的方法和系统，通过将视频各图像帧的RGB矩阵元素聚类赋值方法构造图像比对矩阵并计算视频相似度，再根据该相似度与阈值之间的关系判断播放正常与否，实现不借助人眼快速检测并发现用户卡顿、花屏、色彩异常、分辨率异常等播放本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种由视频检测服务器执行的视频播放检测方法，包括：在逐帧的基础上提取由所述视频检测服务器向视频检测终端下放的每个源侧视频图像帧的DTS和PTS，并针对每个源侧视频图像帧进行像素聚类计算，以形成针对每个源侧视频图像帧的源侧结果，其中，针对每个源侧视频图像帧的源侧结果包括针对该源侧视频图像帧的经源侧像素聚类计算的RGB矩阵以及针对该源侧视频图像帧的DTS和PTS；将从所述视频检测终端接收到的针对每个端侧屏幕图像帧的端侧结果与所述源侧结果进行相似度计算以得到相似度计算结果，并将所述相似度计算结果与阈值进行比较，以得出检测结果，其中，针对每个端侧屏幕图像帧的端侧结果包括针对该端侧屏幕图像帧的经端侧像素聚类计算的RGB矩阵以及针对该端侧屏幕图像帧的DTS和PTS。2.如权利要求1所述的方法，其特征在于，所述比较进一步包括：对于所述端侧结果与所述源侧结果中DTS值与PTS值相同的图像帧，将针对该图像帧的经源侧像素聚类计算的RGB矩阵与经端侧像素聚类计算的RGB矩阵通过逐元素相减得到差值矩阵；将所述差值矩阵中的元素进行标准化，并通过逐元素Sigmoid函数计算进行激活去噪；将去噪后的差值矩阵中的所有元素相加得到所述经源侧像素聚类计算的RGB矩阵与所述经端侧像素聚类计算的RGB矩阵的相似度；将所述相似度值与阈值进行比较，以得出所述检测结果。3.如权利要求1所述的方法，其特征在于，针对每个源侧视频图像帧进行像素聚类计算进一步包括：对于每个源侧视频图像帧，将该源侧视频图像帧中的像素点转换为RGB矩阵并映射到三维空间；对所述三维空间中的像素点按相邻距离进行聚类运算，形成N个簇；对于每个簇，将簇中心点的值赋值给所述簇中所有的像素点；将经赋值的像素点重新映射为源侧RGB矩阵，以形成所述经源侧像素聚类计算的RGB矩阵；其中，针对每个端侧屏幕图像帧的经端侧像素聚类计算的RGB矩阵是以与生成所述经源侧像素聚类计算的RGB矩阵相同的方式针对每个端侧屏幕图像帧来生成的。4.一种由视频检测终端执行的视频播放检测方法，包括：接收并播放视频检测服务器下发的视频流；在逐帧的基础上提取由所述视频检测终端播放的每个端侧屏幕图像帧的DTS和PTS，并针对每个端侧屏幕图像帧进行像素聚类计算，以形成针对每个端侧屏幕图像帧的端侧结果，其中，针对每个端侧屏幕图像帧的端侧结果包括针对该端侧屏幕图像帧的经端侧像素聚类计算的RGB矩阵以及针对该端侧屏幕图像帧的DTS和PTS；以及将所述端侧结果回传至所述视频检测服务器。5.如权利要求4所述的方法，其特征在于，针对每个端侧屏幕图像帧进行像素聚类计算进一步包括：对于每个端侧屏幕图像帧，将该端侧屏幕图像帧中的像素点转换为RGB矩阵并映射到三维空间；对所述三维空间中的像素点按相邻距离进行聚类运算，形成N个簇；
对于每个簇，将簇中心点的值赋值给所述簇中所有的像素点；将经赋值的像素点重新映射为源侧RGB矩阵，以形成所述经端侧像素聚类计算的RGB矩阵。6.一种用于视频播放检测的视频检测服务器，包括：视频图像提取单元，所述视频图像提取单元被配置成：在逐帧的基础上提取由所述视频检测服务器向视频检测终端下放的每个源侧视频图像帧的DTS和PTS；视频图像计算单元，...

【专利技术属性】
技术研发人员：谷雨箐，方伟，张晓翼，吕冠中，耿筱琴，
申请(专利权)人：天翼数字生活科技有限公司，
类型：发明
国别省市：