基于桶日志的数据流转方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术提供一种基于桶日志的数据流转方法、装置、电子设备及存储介质，所述方法包括获取交易的桶日志；对桶日志进行分析处理，得到写入第一消息队列的日志分析数据；基于所述第一消息队列中的日志分析数据进行批量处理，得的聚合数据，并写入第二消息队列；基于所述第二消息队列中的聚合数据进行多层级数据的流转。本发明专利技术先对桶日志进行过滤和解析，以确定对应的日志分析结果；接着对批量的日志分析结果进行批量处理，确定对应的聚合数据；确定聚合数据中的每一数据在当前时间为什么层级的数据；根据数据当前数据的层级和上一时间的层级变化确定是否需要进行数据流转，若需要，进行数据流转。以便用户能够快速访问对应的数据，从而提高访问效率。

【技术实现步骤摘要】

本专利技术涉及数据处理，尤其涉及一种基于桶日志的数据流转方法、装置、电子设备及存储介质。

技术介绍

1、随着互联网、大数据、人工智能、云计算等技术的普及应用，数字化的知识和信息已经成为关键的生产要素。

2、在这些爆发式增长的数据中，大部分是非结构化数据，例如：图像、视频、文档以及各种类型的文件，占比高于80％。需要管理的非结构化数据量越来越庞大，资源维护成本越来越高，如何降低数据维护成本，提高数据服务水平，是进行数据生命周期管理主要解决的问题。

3、目前，非结构化数据会直接存储在各个存储区中，由于数据的使用效率不同，因此通过上述方式进行存储，易出现数据冗余，增加存储区访问压力，且需要大量的存储内存；当大数据量的存储和访问时，容易触发性能瓶颈，从而导致出现访问效率较低，且存在存储成本较高的问题。

技术实现思路

1、有鉴于此，本专利技术实施例提供一种基于桶日志的数据流转方法、装置、电子设备及存储介质，以解决访问效率较低，且存储成本较高的问题。

2、为实现上述目的，本专利技术实施本文档来自技高网...

【技术保护点】

1.一种基于桶日志的数据流转方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，对所述桶日志进行分析处理，得到写入第一消息队列的日志分析数据，包括：

3.根据权利要求1所述的方法，其特征在于，基于所述第一消息队列中的日志分析数据进行批量处理，得的聚合数据，并写入第二消息队列，包括：

4.根据权利要求3所述的方法，其特征在于，根据交易生命周期管理策略信息对记录的所述日志分析数据进行筛选，得到筛选后的日志分析数据，包括：

5.根据权利要求1所述的方法，其特征在于，还包括：

6.根据权利要求1所述的方法，其特征...

【技术特征摘要】

1.一种基于桶日志的数据流转方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，对所述桶日志进行分析处理，得到写入第一消息队列的日志分析数据，包括：

3.根据权利要求1所述的方法，其特征在于，基于所述第一消息队列中的日志分析数据进行批量处理，得的聚合数据，并写入第二消息队列，包括：

4.根据权利要求3所述的方法，其特征在于，根据交易生命周期管理策略信息对记录的所述日志分析数据进行筛选，得到筛选后的日志分析数据，包括：

5.根据权利要求1所述的方法，其特征在于，还包括：

6.根据权利要求1所述的方法，...

【专利技术属性】
技术研发人员：徐文政，金靖雯，杨扬，潘廷三，张乔，
申请(专利权)人：中国农业银行股份有限公司，
类型：发明
国别省市：