【技术实现步骤摘要】
数据传输质量监控方法及系统
[0001]本申请涉及数据传输
，尤其涉及一种数据传输质量监控方法、系统、电子装置及计算机可读存储介质。
技术介绍
[0002]数据传输也可以叫做数据集成，是将不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中，从而为企业提供全面的数据共享。数据传输质量监控是以端到端的方式，对单个数据流的传输状态进行指标采集和上报，根据预先制定的规则，判断数据流传输是否正常的一种行为。其中，数据流是一个业务或者一个应用产生的数据，隶属于一个数据流的数据通常使用相同的标识，并且共享相同的元信息。
[0003]现有的技术对数据流的质量监控往往只针对单一组件进行监控，无法对端到端的整体链路进行监控，并且存在埋点混乱等问题。
技术实现思路
[0004]本申请的主要目的在于提出一种数据传输质量监控方法、系统、电子装置及计算机可读存储介质，旨在解决如何对端到端的整体链路进行监控的问题。
[0005]为实现上述目的，本申请实施例提供了一种数据传输质量监控方法，应用于数据传输链路，所述...
【技术保护点】
【技术特征摘要】
1.一种数据传输质量监控方法，应用于数据传输链路，所述链路包括多个数据传输组件，其特征在于，所述方法包括：针对每个所述组件进行统一的元信息设置，其中，所述元信息中的指定项目在所述数据传输链路的每个所述组件之间全程透传；根据所述元信息在每个所述组件中进行埋点数据采集，并根据透传的所述指定项目对所述埋点数据进行时间对齐；将每个所述组件中采集到的所述埋点数据上报到监控端，以使监控端根据所述埋点数据进行数据传输质量展示和报警。2.根据权利要求1所述的数据传输质量监控方法，其特征在于，所述元信息包括数据生成时间、数据处理时间、数据流标识、组件标识、标识类型、埋点数量、错误信息；所述指定项目包括数据生成时间、数据处理时间、数据流标识。3.根据权利要求2所述的数据传输质量监控方法，其特征在于，所述指定项目中的所述数据生成时间和所述数据流标识在所述数据传输链路的第一个所述组件中生成，并传送至后续所有所述组件；所述数据处理时间在每个所述组件的输入和输出时更新，更新为当前时间。4.根据权利要求1至3任一项所述的数据传输质量监控方法，其特征在于，所述根据所述元信息在每个所述组件中进行埋点数据采集包括：根据所述元信息对每个所述组件中的数据传输质量埋点模型进行统一，抽象为入流量、处理错误、出流量。5.根据权利要求2至4任一项所述的数据传输质量监控方法，其特征在于，所述根据所述元信息在每个所述组件中进行埋点数据采集，并根据透传的所述指定项目对所述埋点数据进行时间对齐包括：统计当前组件中当前数据流的输入条数，并根据所述数据处理时间计算上一组件到当前组件的延迟；统计在当前组件中当前数据流的处理错误信息；统计当前组件中当前数据流的输出条数，并且根据所述数据处理时间计算当前组件内部的处理耗时。6.根据权利要求5所述的数据传输质量监控方法，其特征在于，所述统计当前组件中当前数据流的输入条数，并根据所述数据处理时间计算上一组件到当前组件的延迟包括：在当前组件输入的数据中根据所述数据流标识统计当前数据流的输入条数；根据上一组件输出时传送的所述数据处理时间，以及当前组件输入时更新的所述数据处理时间，计算出上一组件到当前组件的延迟。7.根据权利要求5或6所述的数据传输质量监控方法，其特征在于，所述统计当前组件中当前数据流的输出条数，并且根据所述数据处理时间计算当前组件内部的处理耗时包括：在当前组件输出的数据中根据所述数据流标识统计当前数据流的输出条数；根据当前组件输入时更新的所述数据处理时间，以及当前组件输出时再次更新的所述数据处理时间，计算出当前数据流在当前组件内部的处理耗时。8.一种数据传输质量监控方法，应用于数据传输链路的组件中，其特征在于，所述方法
包括：接收针对所述数据传输链路中所有组件统一的元信息设置；接收上一组件传送的所述元信息中的指定项目；根据所述元信息在所述组件中进行埋点数据采集，并根据所述上一组件传送的所述指定项目对所述埋点数据进行时间对齐；将采集到的所述埋点数据上报到监控端，以使监控端根据所述埋点数据进行数据传输质量展示和报警。9.根据权利要求8所述的数据传输质量监控方法，其特征在于，所述方法还包括：将在所述组件中更新后的所述指定项目传送至下一组件...
【专利技术属性】
技术研发人员：王翔宇，白鑫，魏泽丰，
申请(专利权)人：上海哔哩哔哩科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。