一种数据热度识别方法、装置及设备制造方法及图纸

本说明书涉及软件技术领域，尤其涉及一种数据热度识别方法、装置及设备。其中，数据热度识别方法，包括：获取服务器集群日志数据解析进度的第一业务日期；将第一业务日期下未解析的日志数据分配到服务器集群中闲置的节点；根据闲置节点的配置文件，确定闲置节点的工作模式以异步解析分配的日志数据；聚合日志数据的解析结果，以识别日志数据的热度。本说明书实施例可以基于分布式集群架构进行日志数据的异步分配与解析，容错能力及可扩展性强。此外，根据分布式集群中节点的配置文件，可以选择最适合节点的工作模式进行异步解析，进而可以显著提高分布式集群整体的解析处理速度，减少不同进程间的等待时间，提高资源利用率。

【技术实现步骤摘要】

本专利技术书实施例涉及软件，具体涉及一种数据热度识别方法、装置及设备。

技术介绍

1、在基于数据库的数据湖中，数据热度分析是一个重要的管理策略，它基于数据的访问频率和时效性将数据分为“热数据”、“温数据”、“冷数据”。通过实施数据冷热分离，数据湖可以显著的提高存储成本效益，优化读写性能，确保高并发下热数据的快速响应，并合理利用低成本存储介质保存冷数据。

2、现有的数据库数据热度识别方法主要包括数据库产品功能方法、基于api的方法以及sql日志解析方法。对于mysql数据库，数据库产品功能方法可以通过查看全局状态或会话状态来查看insert、update、delete等操作的执行频次。基于api的方法可以规范所有应用程序通过统一api访问数据库,访问时自动进行语法和词法解析，并记录数据的访问情况。sql日志解析方法可以通过使用sql解析器，对数据库日志记录的sql进行拆解，获取数据的访问情况。

3、数据库产品大部分仅提供某时点的全局或会话统计，或者是抽样统计。而数据的热度分析需尽可能的统计数据的完整访问记录，这种需求对数据库的性能影响本文档来自技高网...

【技术保护点】

1.一种数据热度识别方法，其特征在于，包括：

2.根据权利要求1所述方法，其特征在于，所述获取服务器集群日志数据解析进度的第一业务日期，包括：

3.根据权利要求1所述方法，其特征在于，所述方法还包括：

4.根据权利要求1所述方法，其特征在于，所述将所述第一业务日期下未解析的日志数据分配到服务器集群中闲置的节点，包括：

5.根据权利要求1所述方法，其特征在于，所述工作模式包括Common模式、Turbo模式和Crazy模式；所述Common模式根据所述闲置节点的配置文件确定所述闲置节点的进程数；所述Turbo模式根据所述闲置节点的CPU和内存...

【技术特征摘要】

1.一种数据热度识别方法，其特征在于，包括：

2.根据权利要求1所述方法，其特征在于，所述获取服务器集群日志数据解析进度的第一业务日期，包括：

3.根据权利要求1所述方法，其特征在于，所述方法还包括：

4.根据权利要求1所述方法，其特征在于，所述将所述第一业务日期下未解析的日志数据分配到服务器集群中闲置的节点，包括：

5.根据权利要求1所述方法，其特征在于，所述工作模式包括common模式、turbo模式和crazy模式；所述common模式根据所述闲置节点的配置文件确定所述闲置节点的进程数；所述turbo模式根据所述闲置节点的cpu和内存自适应设定所述闲置节点的进程数；所述crazy模式根据所述闲置节点的cpu和内存按最...

【专利技术属性】
技术研发人员：夏松，郭玉章，陈洁，李颢，
申请(专利权)人：中国建设银行股份有限公司，
类型：发明
国别省市：