一种对流协议长时间任务进行自动验证的测试系统及方法技术方案

本发明专利技术公开了一种对流协议长时间任务进行自动验证的测试系统及方法。用户通过主控平台配置安装监测工具到被测服务器上，并获取被测服务器上待测所有的长时间任务，进行逐条并发监测，并同时将实时的输入输出信源、任务日志等保存在一个固定目录中，当出现配置的严重告警或者发现错误时，实时将问题的信息及相关问题的调查资料发送到用户，方便用户调查问题；如果所定周期内没有出现问题，则反馈正常。本发明专利技术的有益效果是：能够大大提高视频直播流的稳定性测试效率，同时问题发现的时延较小。

【技术实现步骤摘要】
一种对流协议长时间任务进行自动验证的测试系统及方法
本专利技术涉及视频编解码相关
，尤其是指一种对流协议长时间任务进行自动验证的测试系统及方法。
技术介绍
在视频直播流的转码领域，对于转码器转码后的直播输出流的正确性和稳定性验证一直是业界比较头疼的事情。测试直播流的难点主要有以下几点：一.人力耗费大。由于直播流是实时的，所以如果使用人工测试，则需要有人一天到晚目不转睛地盯着屏幕，观察其正确性和稳定性。因为需要检查的直播流可能有很多，所以如果使用人工的方式，对于人力的消耗几乎是个无底洞。二.无法保证所有问题都能被及时发现。因为无法保证测试人员的注意力一直集中于视频内容，所以很可能出现漏掉一些问题的情况。三.问题定位非常困难。主要有两方面原因：1.信源是实时的，而很多情况下，都是信源的特殊性导致了转码程序出现问题，而看到问题的时候，异常信源也已经流逝过去。对于后期的问题重现和验证都有非常大的影响，甚至可能无法重现。2.信源和直播流输出本身都可能受网络因素影响。有些播放错误可能是由于网络引起的干扰项，并非转码程序本身问题。以udp协议流为例，因为udp协议本身没有重传机制，所以网络传输时可能会出现丢包，则必然会导致视频播放时会有马赛克的情况。因此，当播放输出看到马赛克时，不一定是转码程序引起的。现有技术对视频直播流转码任务的长时间稳定性的测试方法如下：1.运行视频实时流转码任务，每天不定时抽查任务状态，任务告警。用播放器播放输出的直播流，观察音视频码流的正确性。检查服务器上的任务的CPU和内存使用等。2.对于部分协议的直播流，可使用码流分析仪来同时检测直播流封装层的错误，定期人工查看是否有异常告警。当前的测试方法饱受上述的难点的束缚，导致直播流的稳定性测试效率比较低，问题发现的时延较大。
技术实现思路
本专利技术是为了克服现有技术中存在上述的不足，提供了一种测试效率高的对流协议长时间任务进行自动验证的测试系统及方法。为了实现上述目的，本专利技术采用以下技术方案：一种对流协议长时间任务进行自动验证的测试系统，包括主控平台、安装单元、数据采集单元、数据分析处理单元和结果反馈单元，所述的主控平台为一个集群控制中心，通过主控平台同时对多台被测服务器进行部署配置，下发需要测试的长时间任务用例，并最终通过结果反馈单元收集所有任务运行结果；所述的安装单元自动安装系统运行所需的运行环境，主控平台通过安装单元为被测服务器配置运行环境；所述的数据采集单元在任务运行期间自动使用所需要系统命令、测试工具命令或者第三方检测程序接口调用，对被测服务器的资源数据、任务的实时信源和实时输出进行采集并放入数据库；所述的数据分析处理单元在任务运行期间将数据采集单元所收集的数据进行处理；所述的结果反馈单元在数据分析处理单元发现严重问题或者周期性提供测试结果报告，将期间发现的问题以邮件或者其他方式推送到需要获取该信息的使用者并通过主控平台呈现；所述的主控平台内设有配置单元，配置单元为主控平台的一个关键部分，用于填写配置项。用户通过主控平台配置安装监测工具到被测服务器上，并获取被测服务器上待测所有的长时间任务，进行逐条并发监测，并同时将实时的输入输出信源、任务日志保存在一个固定目录中，当出现配置的严重告警或者发现错误时，实时将问题的信息及相关问题的调查资料发送到用户，方便用户调查问题；如果所定周期内没有出现问题，则反馈正常。通过上述系统能够大大提高视频直播流的稳定性测试效率，同时问题发现的时延较小。作为优选，还包括存储数据设备，数据采集单元将任务的信源和输出收录保存至存储数据设备，存储数据设备将每个任务的信源和输出传输给数据分析处理单元。作为优选，所述的配置项包括任务所耗的各种资源占比阈值、是否带有特殊硬件、数据收集起始点、严重告警错误码范围、第三方工具对应设置。作为优选，所述数据分析处理单元的处理包括如下：(1)比对单个任务当前消耗的实时资源与任务刚启动不久时的资源，分析是否超出了一定的比例；(2)检测任务运行中出现的错误码，分析是否出现严重错误或者性能错误告警；(3)对于第三方工具和第三方检测程序的返回数据进行整理分析，分析是否出现问题；(4)若上述的分析过程中发现问题，将对应时间点的任务日志、输入输出信源、任务告警信息集中放到一个目录下。作为优选，在数据分析处理单元的处理(3)中，第三方检测程序会对信源和输出同时进行检测，为了确保输出出现问题时，输入信源的情况正常，从而减少干扰项；第三方工具除了会检查流是否存在静帧、卡顿、马赛克、色块、花屏播放内容问题之外，也会检查视频流封装层是否存在问题。作为优选，所述任务所耗的各种资源包括：每个被测长时间任务的单个进程CPU使用率、被测进程的内存使用率、被测进程对GPU的使用率、被测进程对GPU编解码的使用率、被测进程的显存使用率、被测进程使用的网络流量、被测设备的CPU温度、被测设备的GPU温度、被测设备的硬件编码卡使用率这些所有用户期望得到的数据。作为优选，所述的特殊硬件包括：不同产家的SDI输入输出卡、ASI输入输出卡、AES输入设备这些所有作为音视频输入设备的硬件。本专利技术还提供了一种对流协议长时间任务进行自动验证的测试方法，具体包括如下步骤：(a)在被测服务器上将所有需要用到的第三方工具和第三方检测程序安装好，配置项中配置写入的资源最高增长比、第三方分析模块名称、性能值计算起始时间、严重错误码、结果反馈周期；(b)将所有需要长时间监测的任务运行；(c)数据采集单元根据性能值计算起始时间开始数据监测采集；(d)数据分析处理单元判断任务是否出现异常，如果出现异常，则进入步骤(e)中，如果没有出现异常，则进入步骤(g)中；(e)将任务相关的数据进行计算和整理后传给结果反馈单元；(f)结果反馈单元通过邮件方式反馈问题，返回步骤(c)中继续循环；(g)判断是否达到结果反馈周期，如果达到，则进入到步骤(h)中，如果未达到，则进入到步骤(c)中；(h)将无异常结果的数据归档并将过期的无用数据删除，进入到步骤(f)中。本专利技术的有益效果是：能够大大提高视频直播流的稳定性测试效率，同时问题发现的时延较小。附图说明图1是本专利技术的系统框架图；图2是本专利技术的方法流程图。具体实施方式下面结合附图和具体实施方式对本专利技术做进一步的描述。如图1所述的实施例中，一种对流协议长时间任务进行自动验证的测试系统，包括主控平台、安装单元、数据采集单元、数据分析处理单元、结果反馈单元和存储数据设备，主控平台为一个集群控制中心，通过主控平台同时对多台被测服务器进行部署配置，下发需要测试的长时间任务用例，并最终通过结果反馈单元收集所有任务运行结果；主控平台内设有配置单元，配置单元为主控平台的一个关键部分，用于填写配置项；配置项包括但不限于任务所耗的各种资源占比阈值、是否带有特殊硬件、数据收集起始点、严重告警错误码范围、第三方工具对应设置；任务所耗的各种资源包括但不限于：每个被测被测长时间任务的单个进程CPU使用率、被测进程的内存使用率、被测进程对GPU的使用率(可选)、被测进程对GPU编解码的使用率、被测进程的显存使用率、被测进程使用的网络流量、被测设备的CPU温度、被测设备的GPU温度(可选)、被测设备的硬件编码卡使用率(可选)这些所有用户本文档来自技高网...

【技术保护点】
1.一种对流协议长时间任务进行自动验证的测试系统，其特征是，包括主控平台、安装单元、数据采集单元、数据分析处理单元和结果反馈单元，所述的主控平台为一个集群控制中心，通过主控平台同时对多台被测服务器进行部署配置，下发需要测试的长时间任务用例，并最终通过结果反馈单元收集所有任务运行结果；所述的安装单元自动安装系统运行所需的运行环境，主控平台通过安装单元为被测服务器配置运行环境；所述的数据采集单元在任务运行期间自动使用所需要系统命令、测试工具命令或者第三方检测程序接口调用，对被测服务器的资源数据、任务的实时信源和实时输出进行采集并放入数据库；所述的数据分析处理单元在任务运行期间将数据采集单元所收集的数据进行处理；所述的结果反馈单元在数据分析处理单元发现严重问题或者周期性提供测试结果报告，将期间发现的问题以邮件或者其他方式推送到需要获取该信息的使用者并通过主控平台呈现；所述的主控平台内设有配置单元，配置单元为主控平台的一个关键部分，用于填写配置项。

【技术特征摘要】
1.一种对流协议长时间任务进行自动验证的测试系统，其特征是，包括主控平台、安装单元、数据采集单元、数据分析处理单元和结果反馈单元，所述的主控平台为一个集群控制中心，通过主控平台同时对多台被测服务器进行部署配置，下发需要测试的长时间任务用例，并最终通过结果反馈单元收集所有任务运行结果；所述的安装单元自动安装系统运行所需的运行环境，主控平台通过安装单元为被测服务器配置运行环境；所述的数据采集单元在任务运行期间自动使用所需要系统命令、测试工具命令或者第三方检测程序接口调用，对被测服务器的资源数据、任务的实时信源和实时输出进行采集并放入数据库；所述的数据分析处理单元在任务运行期间将数据采集单元所收集的数据进行处理；所述的结果反馈单元在数据分析处理单元发现严重问题或者周期性提供测试结果报告，将期间发现的问题以邮件或者其他方式推送到需要获取该信息的使用者并通过主控平台呈现；所述的主控平台内设有配置单元，配置单元为主控平台的一个关键部分，用于填写配置项。2.根据权利要求1所述的一种对流协议长时间任务进行自动验证的测试系统，其特征是，还包括存储数据设备，数据采集单元将任务的信源和输出收录保存至存储数据设备，存储数据设备将每个任务的信源和输出传输给数据分析处理单元。3.根据权利要求1或2所述的一种对流协议长时间任务进行自动验证的测试系统，其特征是，所述的配置项包括任务所耗的各种资源占比阈值、是否带有特殊硬件、数据收集起始点、严重告警错误码范围、第三方工具对应设置。4.根据权利要求1或2所述的一种对流协议长时间任务进行自动验证的测试系统，其特征是，所述数据分析处理单元的处理包括如下：(1)比对单个任务当前消耗的实时资源与任务刚启动不久时的资源，分析是否超出了一定的比例；(2)检测任务运行中出现的错误码，分析是否出现严重错误或者性能错误告警；(3)对于第三方工具和第三方检测程序的返回数据进行整理分析，分析是否出现问题；(4)若上述的分析过程中发现问题，将对应时间点的任务日志、输入输...

【专利技术属性】
技术研发人员：肖钧，沈磊，
申请(专利权)人：杭州当虹科技股份有限公司，
类型：发明
国别省市：浙江,33