数据监控方法及装置制造方法及图纸

本发明专利技术公开了一种数据监控方法，包括：获取预设时间阈值内服务器网卡的数据流量，所述数据流量包括数据流入量和数据流出量；根据所述数据流量、预设流量阈值、和/或预设流量比值阈值，判定所述数据流量是否平衡。本发明专利技术提出的数据监控方法及装置，能够监测到数据流量的异常情况。

【技术实现步骤摘要】

本专利技术涉及数据处理
，特别是指一种数据监控方法及装置。
技术介绍
Hadoop和hive是目前业界广泛使用的数据存储以及查询的分布式解决方案。HIVE，是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql(Structured Query Language，结构化查询语言)查询功能，可以将sql语句转换为MapReduce(映射化简)任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。HDFS(Hadoop分布式文件系统)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX(Portable Operating System Interface，可移植操作系统接口)标准的约束，来实现流式读取文件系统数据的目的。现有技术中HDFS中的数据监控包括对数据进行验平(即，数据量的平衡性验证，用于验证数据量处于平衡状态，属于系统数据监控方式的一种)。但在实现本专利技术的过程中，专利技术人发现现有技术至少存在以下问题：现有技术中的数据验平方式，仅能判断数据量的平衡，不能判断监控到数据流量过高或过低时的异常情况。流量过高会导致数据接收延时、积压，影响后续日志解析等操作，数据的及时性会受到影响，如果流量超过接收机的负载能力会导致数据丢失设置会宕机；而当流量过低对数据接收不会造成影响，但可以说明数据存在上报存在不准确的可能性。
技术实现思路
有鉴于此，本专利技术的目的在于提出一种数据监控方法及装置，能够监测到数据流量的异常情况。基于上述目的本专利技术实施例提供的数据监控方法，包括：获取预设时间阈值内服务器网卡的数据流量，所述数据流量包括数据流入量和数据流出量；根据所述数据流量、预设流量阈值、和/或预设流量比值阈值，验证所述数据流量是否平衡。在一些实施方式中，根据所述数据流量、预设流量阈值、和/或预设流量比值阈值，判定所述数据流量是否平衡包括：判断所述预设时间阈值内所述数据流入量、和/或所述数据流出量是否处于预设流量阈值范围内；若所述数据流入量、和/或所述数据流出量处于预设流量阈值范围内，说明所述数据流入量、和/或所述数据流出量平衡。在一些实施方式中，根据所述数据流量、预设流量阈值、和/或预设流量比值阈值，判定所述数据流量是否平衡包括：计算所述数据流出量和数据流入量的比值；判断预设时间阈值内所述比值是否处于预设流量比值阈值范围内；若所述比值处于预设流量比值阈值范围内，说明所述数据流入量和所述数据流出量的比平衡。在一些实施方式中，所述预设流量阈值包括预设流入量阈值和预设流出量阈值；所述预设流入量阈值对应于所述数据流入量，所述预设流出量阈值对应于所述数据流出量。在一些实施方式中，所述的方法还包括：若所述数据流入量高于所述预设流量阈值范围中的最大值，判定所述数据流量不平衡；增加临时接收机；若增加临时接收机后仍不能平衡数据流量，判断出现数据流量不平衡的业务线接口；修改接收机配置，停止接收数据流量不平衡的业务线接口的上报数据。在一些实施方式中，所述的方法还包括：若所述数据流入量低于所述预设流量阈值范围中的最小值，判定所述数据
流量不平衡；判断出现数据流量不平衡的业务线接口；发送数据流量不平衡的提示信息到与所述出现数据流量不平衡的业务线接口相关的业务方。在一些实施方式中，所述的方法还包括：若所述数据流出量高于所述预设流量阈值范围中的最大值或低于所述预设流量阈值范围中的最小值，判定所述数据流量不平衡；将出现数据流量不平衡的时间段的日志文件重新写入分布式文件系统。在一些实施方式中，所述的方法还包括：若所述数据流出量高于所述预设流量阈值范围中的最大值、所述数据流入量高于所述预设流量阈值范围中的最大值且所述数据流入量和所述数据流出量的比值处于预设流量比值阈值范围内，判定所述数据流量平衡。本专利技术实施例的另一方面，还提供了一种数据监控装置，包括：流量获取模块，用于获取预设时间阈值内服务器网卡的数据流量，所述数据流量包括数据流入量和数据流出量；平衡判定模块，用于根据所述数据流量、预设流量阈值、和/或预设流量比值阈值，判定所述数据流量是否平衡。在一些实施方式中，所述平衡判定模块，具体用于：判断所述预设时间阈值内所述数据流入量、和/或所述数据流出量是否处于预设流量阈值范围内；若所述数据流入量、和/或所述数据流出量处于预设流量阈值范围内，说明所述数据流入量、和/或所述数据流出量平衡。在一些实施方式中，所述平衡判定模块，具体用于：计算所述数据流出量和数据流入量的比值；判断预设时间阈值内所述比值是否处于预设流量比值阈值范围内；若所述比值处于预设流量比值阈值范围内，说明所述数据流入量和所述数据流出量的比平衡。在一些实施方式中，所述预设流量阈值包括预设流入量阈值和预设流出量阈值；所述预设流入量阈值对应于所述数据流入量，所述预设流出量阈值对应于所述数据流出量。在一些实施方式中，所述平衡判定模块，具体用于：若所述数据流入量高于所述预设流量阈值范围中的最大值，判定所述数据流量不平衡；增加临时接收机；若增加临时接收机后仍不能平衡数据流量，判断出现数据流量不平衡的业务线接口；修改接收机配置，停止接收数据流量不平衡的业务线接口的上报数据。在一些实施方式中，所述平衡判定模块，具体用于：若所述数据流入量低于所述预设流量阈值范围中的最小值，判定所述数据流量不平衡；判断出现数据流量不平衡的业务线接口；发送数据流量不平衡的提示信息到与所述出现数据流量不平衡的业务线接口相关的业务方。在一些实施方式中，所述平衡判定模块，具体用于：若所述数据流出量高于所述预设流量阈值范围中的最大值或低于所述预设流量阈值范围中的最小值，判定所述数据流量不平衡；将出现数据流量不平衡的时间段的日志文件重新写入分布式文件系统。在一些实施方式中，所述平衡判定模块，具体用于：若所述数据流出量高于所述预设流量阈值范围中的最大值、所述数据流入量高于所述预设流量阈值范围中的最大值且所述数据流入量和所述数据流出量的比值处于预设比值阈值范围内，判定所述数据流量平衡。从上面所述可以看出，本专利技术实施例提供的数据监控方法，通过直接调用服务器网卡上报的数据流入量、数据流出量、和/或计算二者的数据量比值，判断数据流入量、数据流出量和/或数据量比值是否处于相应的阈值范围内，从而根据判断结果进行数据流量验平，一方面，直接利用服务器网卡上报的数据，无需增加其他流量监控设备，另一方面，能够对数据流量的异常情况进行监控。附图说明图1为本专利技术提供的数据监控方法的第一个实施例的流程示意图；图2为本专利技术提供的数据监控方法的第二个实施例的流程示意图；图3为本专利技术提供的数据监控方法的第三个实施例的流程示意图；图4为本专利技术提供的数据监控方法的第四个实施例的流程示意图；图5为本专利技术提供的数据监控方法的第五本文档来自技高网...

【技术保护点】
一种数据监控方法，其特征在于，包括：获取预设时间阈值内服务器网卡的数据流量，所述数据流量包括数据流入量和数据流出量；根据所述数据流量、预设流量阈值、和/或预设流量比值阈值，判定所述数据流量是否平衡。

【技术特征摘要】
1.一种数据监控方法，其特征在于，包括：获取预设时间阈值内服务器网卡的数据流量，所述数据流量包括数据流入量和数据流出量；根据所述数据流量、预设流量阈值、和/或预设流量比值阈值，判定所述数据流量是否平衡。2.根据权利要求1所述的方法，其特征在于，根据所述数据流量、预设流量阈值、和/或预设流量比值阈值，判定所述数据流量是否平衡包括：判断所述预设时间阈值内所述数据流入量、和/或所述数据流出量是否处于预设流量阈值范围内；若所述数据流入量、和/或所述数据流出量处于预设流量阈值范围内，说明所述数据流入量、和/或所述数据流出量平衡。3.根据权利要求1或2所述的方法，其特征在于，根据所述数据流量、预设流量阈值、和/或预设流量比值阈值，判定所述数据流量是否平衡包括：计算所述数据流出量和数据流入量的比值；判断预设时间阈值内所述比值是否处于预设流量比值阈值范围内；若所述比值处于预设流量比值阈值范围内，说明所述数据流入量和所述数据流出量的比平衡。4.根据权利要求1所述的方法，其特征在于：所述预设流量阈值包括预设流入量阈值和预设流出量阈值；所述预设流入量阈值对应于所述数据流入量，所述预设流出量阈值对应于所述数据流出量。5.根据权利要求2所述的方法，其特征在于，还包括：若所述数据流入量高于所述预设流量阈值范围中的最大值，判定所述数据流量不平衡，增加临时接收机；若增加临时接收机后所述数据流入量高于所述预设流量阈值范围中的最大值，确定出现数据流量不平衡的业务线接口；修改接收机配置，停止接收所述出现数据流量不平衡的业务线接口的上报数据。6.根据权利要求2所述的方法，其特征在于，还包括：若所述数据流入量低于所述预设流量阈值范围中的最小值，判定所述数据
\t流量不平衡；确定出现数据流量不平衡的业务线接口；发送数据流量不平衡的提示信息到与所述出现数据流量不平衡的业务线接口相关的业务方。7.根据权利要求2所述的方法，其特征在于，还包括：若所述数据流出量高于所述预设流量阈值范围中的最大值或低于所述预设流量阈值范围中的最小值，判定所述数据流量不平衡；将出现数据流量不平衡的时间段的日志文件重新写入分布式文件系统。8.根据权利要求2所述的方法，其特征在于，还包括：若所述数据流出量高于所述预设流量阈值范围中的最大值、所述数据流入量高于所述预设流量阈值范围中的最大值且所述数据流入量和所述数据流出量的比值处于预设流量比值阈值范围内，判定所述数...

【专利技术属性】
技术研发人员：唐武兵，
申请(专利权)人：乐视控股北京有限公司，乐视网信息技术北京股份有限公司，
类型：发明
国别省市：北京;11