【技术实现步骤摘要】
日志聚合方法及装置
本专利技术涉及数据处理
，尤其涉及一种日志聚合方法及装置。
技术介绍
为了监控业务的稳定性，以及实现资源的调度，可以对交易日志的更新数据进行聚合。相关技术中，根据生成各交易日志的服务器的采集时间，对交易日志进行聚合。由于不同服务器之间的时间不统一，交易日志的采集可能存在延迟，从而导致相同时间段的交易日志被分批采集，造成相同时间段的聚合数据出现多条，即造成日志聚合的准确性较低。
技术实现思路
本专利技术提出一种日志聚合方法及装置，以实现将杂乱无章的日志整合成有效的业务数据的监控指标，为业务的图形化展示提供了数据基础，为业务的稳定性的监控提供了数据基础。并且，以第三方服务器的时间为准，对日志进行实时聚合，可以避免相同时间段内聚合数据出现多条的情况，提升日志聚合的准确性，用于解决现有技术中日志聚合的准确性较低的技术问题。本专利技术一方面实施例提出了一种日志聚合方法，包括：在各个时间段，采集至少一个日志的更新数据；所述更新数据为所述时间段内所述日志中所增加的数据；针对每个时间段对应的更新数据，对所述更新数据中的每条数据进行参数信息提取，生成每条数据对...
【技术保护点】
1.一种日志聚合方法，其特征在于，包括：在各个时间段，采集至少一个日志的更新数据；所述更新数据为所述时间段内所述日志中所增加的数据；针对每个时间段对应的更新数据，对所述更新数据中的每条数据进行参数信息提取，生成每条数据对应的数据模型；所述数据模型中包括：对象名称、采集时间、标签、物品数量；其中，所述采集时间为所述时间段的起始时间点；对所述标签进行计算，得到具有预设维度的键值；对各个时间段对应的更新数据中具有相同对象名称和相同键值的数据模型进行聚合，得到与对象名称和键值对应的监控指标；所述监控指标中包括：各个采集时间对应的物品数量聚合指标。
【技术特征摘要】
1.一种日志聚合方法，其特征在于，包括：在各个时间段，采集至少一个日志的更新数据；所述更新数据为所述时间段内所述日志中所增加的数据；针对每个时间段对应的更新数据，对所述更新数据中的每条数据进行参数信息提取，生成每条数据对应的数据模型；所述数据模型中包括：对象名称、采集时间、标签、物品数量；其中，所述采集时间为所述时间段的起始时间点；对所述标签进行计算，得到具有预设维度的键值；对各个时间段对应的更新数据中具有相同对象名称和相同键值的数据模型进行聚合，得到与对象名称和键值对应的监控指标；所述监控指标中包括：各个采集时间对应的物品数量聚合指标。2.根据权利要求1所述的方法，其特征在于，所述对各个时间段对应的更新数据中具有相同对象名称和相同键值的数据模型进行聚合，得到与对象名称和键值对应的监控指标之后，还包括：将与对象名称和键值对应的监控指标存储到Elasticsearch集群中，以便各个用户查询。3.根据权利要求1所述的方法，其特征在于，所述对各个时间段对应的更新数据中具有相同对象名称和相同键值的数据模型进行聚合，得到与对象名称和键值对应的监控指标，包括：针对每个对象名称和键值，从各个时间段对应的更新数据中获取具有所述对象名称和所述键值的第一数据模型；针对每个采集时间，从所述第一数据模型中获取具有所述采集时间的第二数据模型；对所述第二数据模型中的物品数量进行聚合，得到与所述采集时间对应的物品数量聚合指标。4.根据权利要求1所述的方法，其特征在于，所述数据模型为metric数据模型。5.根据权利要求1或2所述的方法，其特征在于，对各个时间段对应的更新数据中具有相同对象名称和相同键值的数据模型进行聚合，得到与对象名称和键值对应的监控指标之后，还包括：针对每个对象名称和键值，判断对应的监控指标中的物品数量聚合指标是否符合对应的异常条件；若监控指标中的物品数量聚合指标符合对应的异常条件，则进行提示。6.一种日志聚合装置，其特征在于，包括：采集模块，用于在各个时间段，采集至少一个日志的更新数据；所述更新数据为所述时间...
【专利技术属性】
技术研发人员：魏颖，何涛，王双，田野，许江川，
申请(专利权)人：网联清算有限公司，
类型：发明
国别省市：北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。