数据流量监控方法、装置、计算机设备及存储介质制造方法及图纸

本申请公开一种数据流量监控方法、装置、计算机设备及存储介质，该方法包括：启动对调用日志的监控，所述调用日志用于存储作用于在线服务引擎的调用事件相对应产生的访问数据，访问数据为哈希结构对象，每个对象携带调用事件多个交互属性，包括多个键值节点，其键域用于记录单位时间刻度，其值域用于存储该单位时间刻度所指示的单位时间内满足所述交互属性的数据使用流量；以任意所述的交互属性为维度，对调用日志中的数据使用流量进行统计，获取该维度下的流量消耗总量；判断所述流量消耗总量是否超出预设范围，当其超出预设范围时，限制性响应该维度相对应的交互属性相关联的调用事件。本申请的应用便于对在线服务调用事件及时采取安全措施。件及时采取安全措施。件及时采取安全措施。

【技术实现步骤摘要】
数据流量监控方法、装置、计算机设备及存储介质


[0001]本申请实施例涉及网络数据监测领域，尤其涉及一种数据流量监控方法、装置、计算机设备及存储介质。

技术介绍

[0002]互联网平台常需为其内外部用户开放各种各样的在线服务，部分此类在线服务可能由第三方的服务引擎所提供，出于对有限资源使用的进行有效管控的目的，便需要监测各个用户所使用的数据流量，或者出于控制费用的目的而监测各个使用服务引擎所消耗的数据流量，在此基础上，利用数据流量与费用、用户可享权限等要素之间的关系，对这些服务引擎的后续访问行为进行有效控制，达到资源配置效益最大化的目的。
[0003]现有技术中，互联网平台对这些数据流量的监测手段较为传统，一种方式是利用关系型数据库对数据流量进行监测，对于平台日常产生的海量的访问记录来说，这种传统技术在效率方面的体现显得捉襟见肘。
[0004]以翻译服务这种服务引擎为例，部分用户日常调用翻译服务可能是非常高频的，或者个别用户调用翻译服务是批量进行的，总体而言，翻译服务日常响应调用的数量巨大，由此所产生的数据流量相应的记录也是海量的，传统的存储技术及其对应的访问策略，显然无法满足此类需求。

技术实现思路

[0005]本申请实施例提供一种能够实现高效监控在线服务的使用流量的数据流量监控方法、装置、计算机设备及存储介质。
[0006]为解决上述技术问题，本申请创造的实施例采用的一个技术方案是：一种数据流量监控方法，其包括如下步骤：
[0007]启动对调用日志的监控，所述调用日志用于存储作用于在线服务引擎的调用事件相对应产生的访问数据，所述访问数据被组织为多个哈希结构对象，每个对象携带调用事件所属的多个交互属性，且包括多个键值节点，每个键值节点中，其键域用于记录单位时间刻度，其值域用于存储该单位时间刻度所指示的单位时间内满足所述交互属性的数据使用流量；
[0008]以任意所述的交互属性为维度，对所述调用日志中的数据使用流量进行统计，获取该维度下的流量消耗总量；
[0009]判断所述流量消耗总量是否超出预设范围，当其超出预设范围时，限制性响应该维度相对应的交互属性相关联的调用事件。
[0010]较佳的实施例中，以任意所述的交互属性为维度，对所述调用日志中的数据使用流量进行统计，获取该维度下的流量消耗总量，包括：
[0011]响应于外部查询请求，获取该请求中指定的作为查询维度的交互属性；
[0012]结合通配符构造唯一指定了所述作为查询维度的交互属性的查询表达式；
[0013]调用安全扫描指令对该查询维度相对应的键值节点执行数据安全扫描；
[0014]根据所述查询表达式查询获取所述查询维度相对应的键值节点，对获取到的所述查询维度相对应的键值节点进行数据使用流量的聚合，获得流量消耗总量。
[0015]较佳的，判断所述流量消耗总量是否超出预设范围，当其超出预设范围时，限制性响应该维度相对应的交互属性相关联的调用事件，包括如下任意一种判断方式：
[0016]根据所述流量消耗总量计算相对应的流量费用，当该流量费用超出预设范围时，限制性响应该维度相对应的交互属性相关联的调用事件；
[0017]根据所述流量消耗总量计算流量消耗速率，当该流量消耗速率超出预设范围时，限制性响应该维度相对应的交互属性相关联的调用事件。
[0018]进一步优化的实施例中，所述数据流量监控方法还包括如下步骤：
[0019]以其中一个交互属性获取所述调用日志的全量访问数据存储为缓存备份，以服务于后续作用于以该交互属性为查询维度的请求。
[0020]较佳的实施例中，所述在线服务引擎提供翻译服务，所述交互属性为如下任意两个以上：所述调用事件的调用方、所述调用事件所作用的在线服务引擎、所述调用事件中待翻译的源语种、作为所述调用事件的翻译结构的目标语种。
[0021]进一步优化的实施例中，限制性响应该维度相对应的交互属性相关联的调用事件，包括对所述调用事件实施如下任意一项的限制：终止响应该维度相对应的交互属性相关联的调用事件、降低该维度相对应的交互属性相关联的调用事件的单位时间内可用的数据使用流量。
[0022]进一步改进的实施例中，所述的数据流量监控方法还包括如下步骤：调用预设接口输出告警信息，在该告警信息中包含执行所述判断所得的结论信息。
[0023]为解决上述技术问题，本申请还提供一种数据流量监控装置，其包括：
[0024]监控启动模块，用于启动对调用日志的监控，所述调用日志用于存储作用于在线服务引擎的调用事件相对应产生的访问数据，所述访问数据被组织为多个哈希结构对象，每个对象携带调用事件所属的多个交互属性，且包括多个键值节点，每个键值节点中，其键域用于记录单位时间刻度，其值域用于存储该单位时间刻度所指示的单位时间内满足所述交互属性的数据使用流量；
[0025]流量统计模块，用于以任意所述的交互属性为维度，对所述调用日志中的数据使用流量进行统计，获取该维度下的流量消耗总量；
[0026]流量控制模块，用于判断所述流量消耗总量是否超出预设范围，当其超出预设范围时，限制性响应该维度相对应的交互属性相关联的调用事件。
[0027]较佳的实施例中，所述流量统计模块包括：维度确定子模块，被配置为响应于外部查询请求，获取该请求中指定的作为查询维度的交互属性；查询表达子模块，用于结合通配符构造唯一指定了所述作为查询维度的交互属性的查询表达式；安全扫描子模块，用于调用安全扫描指令对该查询维度相对应的键值节点执行数据安全扫描；聚合统计子模块，用于根据所述查询表达式查询获取所述查询维度相对应的键值节点，对获取到的所述查询维度相对应的键值节点进行数据使用流量的聚合，获得流量消耗总量。
[0028]所述流量控制模块被配置为采用如下任意一种判断方式：根据所述流量消耗总量计算相对应的流量费用，当该流量费用超出预设范围时，限制性响应该维度相对应的交互
属性相关联的调用事件；根据所述流量消耗总量计算流量消耗速率，当该流量消耗速率超出预设范围时，限制性响应该维度相对应的交互属性相关联的调用事件。
[0029]进一步优化的实施例中，所述数据流量监控装置还包括缓存备份模块，被配置为以其中一个交互属性获取所述调用日志的全量访问数据存储为缓存备份，以服务于后续作用于以该交互属性为查询维度的请求。
[0030]较佳的实施例中，所述在线服务引擎提供翻译服务，所述交互属性为如下任意两个以上：所述调用事件的调用方、所述调用事件所作用的在线服务引擎、所述调用事件中待翻译的源语种、作为所述调用事件的翻译结构的目标语种。
[0031]进一步优化的实施例中，所述流量控制模块被配置为适于对所述调用事件实施如下任意一项的限制：终止响应该维度相对应的交互属性相关联的调用事件、降低该维度相对应的交互属性相关联的调用事件的单位时间内可用的数据使用流量。
[0032]进一步改进的实施例中，所述的数据流量监控装置还包括输本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据流量监控方法，其特征在于，包括如下步骤：启动对调用日志的监控，所述调用日志用于存储作用于在线服务引擎的调用事件相对应产生的访问数据，所述访问数据被组织为多个哈希结构对象，每个对象携带调用事件所属的多个交互属性，且包括多个键值节点，每个键值节点中，其键域用于记录单位时间刻度，其值域用于存储该单位时间刻度所指示的单位时间内满足所述交互属性的数据使用流量；以任意所述的交互属性为维度，对所述调用日志中的数据使用流量进行统计，获取该维度下的流量消耗总量；判断所述流量消耗总量是否超出预设范围，当其超出预设范围时，限制性响应该维度相对应的交互属性相关联的调用事件。2.根据权利要求1所述的数据流量监控方法，其特征在于，以任意所述的交互属性为维度，对所述调用日志中的数据使用流量进行统计，获取该维度下的流量消耗总量，包括：响应于外部查询请求，获取该请求中指定的作为查询维度的交互属性；结合通配符构造唯一指定了所述作为查询维度的交互属性的查询表达式；调用安全扫描指令对该查询维度相对应的键值节点执行数据安全扫描；根据所述查询表达式查询获取所述查询维度相对应的键值节点，对获取到的所述查询维度相对应的键值节点进行数据使用流量的聚合，获得流量消耗总量。3.根据权利要求1所述的数据流量监控方法，其特征在于，判断所述流量消耗总量是否超出预设范围，当其超出预设范围时，限制性响应该维度相对应的交互属性相关联的调用事件，包括如下任意一种判断方式：根据所述流量消耗总量计算相对应的流量费用，当该流量费用超出预设范围时，限制性响应该维度相对应的交互属性相关联的调用事件；根据所述流量消耗总量计算流量消耗速率，当该流量消耗速率超出预设范围时，限制性响应该维度相对应的交互属性相关联的调用事件。4.根据权利要求1所述的数据流量监控方法，其特征在于，还包括如下步骤：以其中一个交互属性获取所述调用日志的全量访问数据存储为缓存备份，以服务于后续作用于以该交互属性为查询维度的请求。5.根据权利要求1至4中任意一项所述的数...

【专利技术属性】
技术研发人员：陈轶，
申请(专利权)人：广州华多网络科技有限公司，
类型：发明
国别省市：