一种OTT视频质量监控方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种OTT视频质量监控方法、装置、设备及存储介质，所述方法包括：S1：在互联网设备终端上使用软探针采集原始数据；S2：将原始数据上报到数据平台；S3：通过数据平台对原始数据进行计算，将计算结果存入数据平台；S4：基于计算结果，对视频质量进行监控。本发明专利技术使用数据湖流批一体处理大量视频播放时的质量问题，解决了多用户时大量数据上报导致的算力不够、大数据平台交付时延较长的问题，实现实时报表查询与预警。实时处理时引入实时计算任务状态，能够对卡顿、堆积数据进行处理，避免导致预警异常或者报表时间异常。流批一体处理数据时采用同一个数据处理逻辑，减少开发人力成本与维护成本。人力成本与维护成本。人力成本与维护成本。

【技术实现步骤摘要】
一种OTT视频质量监控方法、装置、设备及存储介质


[0001]本专利技术涉及互联网视频
，具体涉及一种OTT视频质量监控方法、装置、设备及存储介质。

技术介绍

[0002]近年来，基于互联网的 0TT视频服务迅速发展。0TT视频在播放过程中常出现画面启动延迟、画面停顿、画面清晰度差等问题，影响用户体验。因此，实践中常对 0TT视频质量进行监控，以便提高用户体验。在现有技术中主要是使用大数据平台解决数据量问题以及使用数据中台解决效率问题，但依然存在如下问题：1.在视频检测过程中，数据以心跳方式定时上报以及全链路异常数据触发上报，在大量设备下，大数据算力不够、大数据平台交付时延比较长。2.在时序上来说，如果用户在没有网的情况下观看，这个事件数据并不会立马返回，只有当状态恢复的时候，才会有点击事件回传，因此在这过程中，会导致采集数据延迟很大、丢失很多、数据不准确，导致预警异常或者报表时间异常。3.实时监控和数据报表呈现一般采用Lambda 架构，对于同一个需求，需要两个团队同时去开发，使得逻辑可能会发生差异，最终导致结果表不一致，并且人力成本耗费较大。

技术实现思路

[0003]因此，本专利技术要解决的技术问题在于克服现有技术中的上述缺陷，从而提供一种OTT视频质量监控方法、装置、设备及存储介质。
[0004]本专利技术提供了一种OTT视频质量监控方法，包括如下步骤：S1：在互联网设备终端上使用软探针采集原始数据；S2：将原始数据上报到数据平台；S3：通过数据平台对原始数据进行计算，将计算结果存入数据平台；S4：基于计算结果，对视频质量进行监控。
[0005]进一步地，所述数据平台采用流批一体的数据湖架构，其在计算层使用一个数据处理逻辑来表示同一个业务需求。
[0006]进一步地，步骤S1包括：S11：在互联网设备终端上安装软探针，所述互联网设备终端包括手机、平板电脑、电视和机顶盒；S12：对OTT视频质量进行主动测试，主动测试包括ping/Tracert/Http/视频/带宽测试指标，得到对应的主动测试数据；S13：通过Netfilter架构和PF_PACKET方式自动识别OTT视频流并生成OTT视频质量指标，得到QoS/QoE异常指标对应的被动测试数据；S14：主动测试数据与被动测试数据构成原始数据。
[0007]进一步地，步骤S2包括：原始数据通过kafka的方式接入数据湖，经过统一的 ETL 逻辑后存储至数据湖中。
[0008]进一步地，步骤S3包括：S31：数据湖中存入原始数据后，进行Flink的流处理实时计算和批处理离线计算，流处理和批处理均采用SQL执行逻辑；S32：将流处理实时计算结果存入数据湖中的 Druid，批处理离线计算结果存入数据湖中的 Hive。
[0009]进一步地，步骤S31中，流处理实时计算包括：S311：将原始数据根据时间窗口进行聚合计算；S312：基于时间窗口指标的变化率，引入实时计算任务状态，判断时间窗口指标是否稳定；S313：若实时计算任务状态正常，则时间窗口指标稳定，可对外提供服务；若计算有卡顿、堆积，或者已经有异常在重启过程中，则继续等待迭代处理，直至实时计算任务状态正常。
[0010]进一步地，步骤S4包括：S41：使用 Impala 做查询，将离线计算结果通过 OLAP 同步覆盖实时计算结果；S42：基于实时计算结果，对时间窗口的数据进行监控，实现流媒体帧率和码率秒级监控；基于离线计算结果，生成不同维度的统计报表；结合包括卡顿、黑屏和秒开的QoS异常指标诊断，及时发现OTT视频异常原因，并预警反馈给运维实现故障恢复与调度。
[0011]本专利技术还提供了一种OTT视频质量监控装置，包括：数据采集模块，用于在互联网设备终端上使用软探针采集原始数据；数据上报模块，用于将原始数据上报到数据平台；数据计算模块，用于通过数据平台对原始数据进行计算，将计算结果存入数据平台；质量监控模块，用于基于计算结果，对视频质量进行监控。
[0012]本专利技术还提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的方法。
[0013]本专利技术还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法。
[0014]本专利技术提供的一种OTT视频质量监控方法、装置、设备及存储介质，通过使用数据湖流批一体处理大量视频播放时的质量问题，解决了多用户时大量数据上报导致的算力不够、大数据平台交付时延较长的问题，实现实时报表查询与预警。实时处理时引入实时计算任务状态，能够对卡顿、堆积数据进行处理，避免导致预警异常或者报表时间异常。流批一体处理数据时采用同一个数据处理逻辑，减少开发人力成本与维护成本。
附图说明
[0015]为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0016]图1为本专利技术提供的一种OTT视频质量监控方法的流程示意图；图2为本专利技术提供的一种OTT视频质量监控装置的结构示意图；图3为本专利技术提供的一种终端设备的结构示意图。
具体实施方式
[0017]下面将结合附图对本专利技术的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0018]在本专利技术的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0019]在本专利技术的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本专利技术中的具体含义。
[0020]此外，下面所描述的本专利技术不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
[0021]实施例1如图1所示，本实施例提供一种OTT视频质量监控方法，包括如下步骤：S1：在互联网设备终端上使用软探针采集原始数据，具体包括：S11：在互联网设备终端上安装软探针，所述互联网本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种OTT视频质量监控方法，其特征在于，包括如下步骤：S1：在互联网设备终端上使用软探针采集原始数据；S2：将原始数据上报到数据平台；S3：通过数据平台对原始数据进行计算，将计算结果存入数据平台；S4：基于计算结果，对视频质量进行监控。2.根据权利要求1所述的一种OTT视频质量监控方法，其特征在于，所述数据平台采用流批一体的数据湖架构，其在计算层使用一个数据处理逻辑来表示同一个业务需求。3.根据权利要求2所述的一种OTT视频质量监控方法，其特征在于，步骤S1包括：S11：在互联网设备终端上安装软探针，所述互联网设备终端包括手机、平板电脑、电视和机顶盒；S12：对OTT视频质量进行主动测试，主动测试包括ping/Tracert/Http/视频/带宽测试指标，得到对应的主动测试数据；S13：通过Netfilter架构和PF_PACKET方式自动识别OTT视频流并生成OTT视频质量指标，得到QoS/QoE异常指标对应的被动测试数据；S14：主动测试数据与被动测试数据构成原始数据。4.根据权利要求3所述的一种OTT视频质量监控方法，其特征在于，步骤S2包括：原始数据通过kafka的方式接入数据湖，经过统一的 ETL 逻辑后存储至数据湖中。5.根据权利要求4所述的一种OTT视频质量监控方法，其特征在于，步骤S3包括：S31：数据湖中存入原始数据后，进行Flink的流处理实时计算和批处理离线计算，流处理和批处理均采用SQL执行逻辑；S32：将流处理实时计算结果存入数据湖中的 Druid，批处理离线计算结果存入数据湖中的 Hive。6.根据权利要求5所述的一种OTT视频...

【专利技术属性】
技术研发人员：王子立，陆天钦，
申请(专利权)人：深圳市华曦达科技股份有限公司，
类型：发明
国别省市：