一种异常数据处理方法及装置制造方法及图纸

本发明专利技术提供了一种异常数据处理方法及装置，属于网络视频流处理技术领域。所述方法包括：通过对会话的分段视频流进行线下解码监测，判断所述当前分段视频流是否存在解码异常现象；若所述当前分段视频流存在解码异常现象，则获取线上包含所述当前分段视频流中解码异常现象所处位置的异常上下文信息；根据获取到的异常上下文信息复现线上所述当前分段视频流中的异常视频流。采用本发明专利技术的技术方案，能够提高针对异常数据复现和分析的准确性，从而实现对视频处理系统自身容错性的完善。

An Abnormal Data Processing Method and Device

The invention provides an abnormal data processing method and device, which belongs to the technical field of network video stream processing. The method includes: judging whether the current segment video stream has decoding anomaly by monitoring the session segment video stream offline decoding; if the current segment video stream has decoding anomaly, obtaining the abnormal context information on the line containing the location of the decoding anomaly in the current segment video stream; and according to the abnormal context information obtained. The abnormal video stream in the current segment video stream described on the information reproduction line. By adopting the technical scheme of the present invention, the accuracy of reproducing and analyzing abnormal data can be improved, and the fault tolerance of the video processing system itself can be improved.

【技术实现步骤摘要】
一种异常数据处理方法及装置
本专利技术涉及网络视频流处理
，尤其涉及一种基于分段视频流的异常数据处理方法及装置。
技术介绍
随着互联网的飞速发展，基于网络的视频传输流量也越来越大。在网络视频流处理领域的实际运用中，由于分段下载、UDP协议的特性，数据传输过程中的丢包、数据突变等，使得乱序、不完整的视频流存在。而在处理这些分段传输的异常视频流时，如解码时常用的方法是，将不能正常解码的异常流直接丢弃，该异常流是指视频解码系统不能正常解码的视频流，其中也包括由于解码系统自身原因不能解码的伪异常流。在处理海量分段视频流时，由于针对某路会话出现异常的分段位置随机，又由于出现异常是个后知后觉的过程，因此常用的分段视频流的异常数据处理方法是将所有会话的视频片段全部完整保存，然后根据异常视频会话ID去查询已保存的异常流，以实现线下复现曾经出现的异常现象。现有技术不足在于：一方面，由于异常流或是异常现象随着现有视频处理系统的不断完善，属于小概率事件，而捕获异常流或是异常现象常用的解决方法为存储海量分段视频流数据，因此，对主机存储空间要求较高；另一方面，捕获异常流后，由于线上应用场景发生变化，仅仅依靠在线下将异常流作为输入送至视频处理系统进行重新处理很难复现异常现象，即便复现异常现象也很难保证和之前丢弃的异常现象完全一致，无法定位造成异常现象的真正原因。
技术实现思路
本专利技术实施例提出了一种异常数据处理方法及装置，以解决现有技术中分段视频流的异常数据处理方法，对主机存储空间要求较高，以及异常现象无法保证复现一致性和无法定位原因的技术问题。在一个方面，本专利技术实施例提供了一种异常数据处理方法，其特征在于，包括如下步骤：对会话的分段视频流进行线下解码监测，判断当前分段视频流是否存在解码异常现象；若所述当前分段视频流存在解码异常现象，则获取线上包含所述当前分段视频流中解码异常现象所处位置的异常上下文信息；根据获取到的异常上下文信息复现线上所述当前分段视频流中的异常视频流。在另一个方面，本专利技术实施例提供了一种异常数据处理装置，其特征在于，包括：线下监测模块，用于对会话的分段视频流进行线下解码监测，判断当前分段视频流是否存在解码异常现象；线下获取模块，用于若所述当前分段视频流存在解码异常现象，则获取线上包含所述当前分段视频流中解码异常现象所处位置的异常上下文信息；线下复现模块，用于根据获取到的异常上下文信息复现线上所述当前分段视频流中的异常视频流。有益效果如下：本专利技术实施例所提供的异常数据处理方法及装置，通过线下识别、捕获筛选后的异常数据，并进行分析和统计，结合线上实时获取指定异常会话数据和异常会话上下文信息的方式，减少了异常数据存储的空间开销，同时提高了针对异常数据复现和分析的准确性，从而实现了对视频处理系统自身容错性的完善。附图说明下面将参照附图描述本专利技术的具体实施例，其中：图1示出了本专利技术实施例中异常数据处理方法的流程示意图；图2示出了本专利技术实施例中线上异常数据处理方法的流程示意图；图3示出了本专利技术实施例中异常数据处理装置的结构示意图。具体实施方式为了使本专利技术的技术方案及优点更加清楚明白，以下结合附图对本专利技术的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本专利技术的一部分实施例，而不是所有实施例的穷举。并且在不冲突的情况下，本说明中的实施例及实施例中的特征可以互相结合。专利技术人在专利技术过程中注意到：由于现有技术中对小概率事件的异常流或是异常现象的捕获需要占用较大的主机存储空间，以及线下复现异常现象具有一定的局限性，即无法保证异常现象复现一致性和无法定位造成异常现象的根本原因。专利技术人想到通过对异常视频流进行分析，最大限度的完善视频处理系统自身的容错性。要实现最大限度的完善视频处理系统自身的容错性，需要考虑以下两方面：(1)为了减少异常数据存储的空间开销，通过重建会话上下文的方式，仅保存出现异常现象的当前分段和该会话的第一个分段的视频流异常数据；(2)利用一种分段视频流异常数据线上和线下相结合的处理架构，最大限度的还原出现异常现象时的相关上下文信息，从而提高针对异常数据复现和分析的准确性，实现视频处理系统的进一步完善。基于此，本专利技术实施例提出了一种异常数据处理方法及装置，下面进行说明。图1示出了本专利技术实施例中异常数据处理方法的流程示意图，如图所示，包括：步骤101、对会话的分段视频流进行线下解码监测，判断当前分段视频流是否存在解码异常现象。实施中，所述的对会话的分段视频流进行线下解码监测包括：管理工具加载线上预存的异常上下文信息；根据所述异常上下文信息，解码所述异常上下文信息对应的分段视频流，并实时监测解码过程。具体实施中，不对获取线上异常上下文信息的具体方法进行限定，包括但不限于：当线上识别出当前分段视频流出现解码异常现象退出解码后，关闭视频处理系统的保活机制，使系统保持解码异常现象，以便线下确认异常复现和后续分析；打开视频处理系统的处理流程记录机制，管理工具将线上获取到的异常上下文信息加载到视频处理系统，并利用视频处理系统对该异常上下文信息对应的分段视频流进行解码。同时，在解码各分段视频流时，增加类似时间戳的路径标记，记录解码出现异常现象时的程序处理流程，即管理工具通过对线上捕获到的异常数据流所在的各分段视频流的解码情况进行实时监控，能够利用该路径标记定位解码异常现象所处位置。其中，线上获取到的异常上下文信息是指针对各分段视频流后续分段视频解码所需的视频头信息和出现异常时核心数据结构的关键数据信息。实施中，所述的线上预存异常上下文信息的步骤包括：获取会话的第一分段视频流，重建所述会话上下文并保存所述第一分段视频流；解码所述第一分段数据流，并识别所述第一分段数据流是否存在异常视频流；若存在异常视频流，则根据所述异常视频流类型生成相应的异常上下文信息：若不存在异常视频流，则获取下一分段视频流，重建所述会话上下文并解码所述下一分段数据流。具体实施中，不对获取会话的第一分段视频流(或第一个数据分段)的具体方法进行限定，包括但不限于：当接收到会话的第一分段视频流后，保存第一分段视频流，找到第一分段视频流的上下文信息，并重建上下文信息，重建的上下文信息至少包括解码所需的视频头信息和核心数据结构的关键数据信息，并用于解码后续乱序分段视频流。实施中，根据所述异常视频流类型生成相应的异常上下文信息的步骤包括：若所述异常视频流为解码失败，正常退出，则输出包含错误码信息的异常上下文信息；若所述异常视频流为解码失败，发生段错误或死循环，则增设超时处理机制，在预置时间后输出包含段错误或死循环的异常上下文信息。实施中，解码所述下一分段数据流的步骤包括：识别所述下一分段数据流是否存在异常视频流；若存在异常视频流，则根据所述异常视频流类型输出相应的异常上下文信息，并保存所述下一分段视频流。实施中，所述的线上预存异常上下文信息的步骤还包括：若会话老化或完成解码仍未识别出异常视频流，则删除所述第一分段视频流。步骤102、若所述当前分段视频流存在解码异常现象，则获取线上包含所述当前分段视频流中解码异常现象所处位置的异常上下文信息。实施中，获取线上包含所述当前分段视频流中解码异常现象所处位置的异常上下文信息包括，管理工具根据解码分段视频流时设置的路本文档来自技高网...

【技术保护点】
1.一种异常数据处理方法，其特征在于，包括如下步骤：加载线上预存的异常上下文信息，根据所述异常上下文信息，解码所述异常上下文信息对应的分段视频流，并对所述分段视频流进行线下解码监测，判断当前分段视频流是否存在解码异常现象；若所述当前分段视频流存在解码异常现象，则根据解码分段视频流时设置的路径标记，获取线上包含所述当前分段视频流中解码异常现象所处位置的异常上下文信息；根据获取到的异常上下文信息复现线上所述当前分段视频流中的异常视频流。

【技术特征摘要】
1.一种异常数据处理方法，其特征在于，包括如下步骤：加载线上预存的异常上下文信息，根据所述异常上下文信息，解码所述异常上下文信息对应的分段视频流，并对所述分段视频流进行线下解码监测，判断当前分段视频流是否存在解码异常现象；若所述当前分段视频流存在解码异常现象，则根据解码分段视频流时设置的路径标记，获取线上包含所述当前分段视频流中解码异常现象所处位置的异常上下文信息；根据获取到的异常上下文信息复现线上所述当前分段视频流中的异常视频流。2.如权利要求1所述的方法，其特征在于，所述的线上预存异常上下文信息的步骤包括：获取会话的第一分段视频流，重建会话上下文并保存所述第一分段视频流；解码所述第一分段视频流，并识别所述第一分段视频流是否存在异常视频流；若存在异常视频流，则根据所述异常视频流类型生成相应的异常上下文信息；若不存在异常视频流，则获取下一分段视频流，重建所述会话上下文并解码所述下一分段视频流。3.如权利要求2所述的方法，其特征在于，根据所述异常视频流类型生成相应的异常上下文信息的步骤包括：若所述异常视频流为解码失败，正常退出，则输出包含错误码信息的异常上下文信息；若所述异常视频流为解码失败，发生段错误或死循环，则增设超时处理机制，在预置时间后输出包含段错误或死循环的异常上下文信息。4.如权利要求2所述的方法，其特征在于，解码所述下一分段视频流的步骤包括：识别所述下一分段视频流是否存在异常视频流；若存在异常视频流，则根据所述异常视频流类型输出相应的异常上下文信息，并保存所述下一分段视频流。5.如权利要求2所述的方法，其特征在于，所述的线上预存异常上下文信息的步骤还包括：若会话老化或完成解码仍未识别出异常视频流，则删除所述第一分段视频流。6.一种异常数据处理装置，其特征在...

【专利技术属性】
技术研发人员：何丁丁，刘立，
申请(专利权)人：曙光信息产业北京有限公司，
类型：发明
国别省市：北京,11