数据动态存储方法、装置、电子设备及存储介质制造方法及图纸

本申请公开了一种数据动态存储方法、装置、电子设备及存储介质，所述的数据动态存储方法包括以下步骤：获取待评分数据表的操作信息，其中，所述待评分数据表存储于归档节点或计算节点；根据所述操作信息对所述待评分数据表进行使用率评分，得到使用率评分结果；根据所述使用率评分结果对所述待评分数据表的存储位置进行调整。本申请解决了常规技术难以平衡大数据管理的成本和效率的技术问题。衡大数据管理的成本和效率的技术问题。衡大数据管理的成本和效率的技术问题。

【技术实现步骤摘要】
数据动态存储方法、装置、电子设备及存储介质


[0001]本申请涉及金融科技(Fintech)的人工智能
，尤其涉及一种数据动态存储方法、装置、电子设备及存储介质。

技术介绍

[0002]随着金融科技，尤其是互联网科技金融的不断发展，越来越多的技术(如分布式、人工智能等)应用在金融领域，但金融业也对技术提出了更高的要求，如对金融业大数据的分析和管理也有更高的要求。
[0003]在金融行业中，通过大数据，可以分析挖掘客户的交易和消费信息，掌握客户的消费习惯，准确预测客户的行为，提高金融机构的服务、营销和风控能力。然而，随着目前大数据服务器费用单价上升，为了节约成本，一个集群中往往会设置有计算节点和归档节点，其中，计算节点主要提供CPU、内存等计算资源，同时提供部分少量存储，归档节点主要提供存储空间，不提供或仅提供极少的计算资源。目前，在获得数据之后，会根据用户初始规划或者平台默认逻辑，将数据表自动导入到计算节点或归档节点中，然而，若计算节点中存储的数据过多，归档节点的服务器每T的存储成本是计算节点的服务器的七分之一左右，则会导致成本较高，但若用户需要操作保存在归档节点上的数据，则需要先将数据传输至计算节点，导致计算任务缓慢，数据表的操作效率较低，在计算性能上归档节点的服务器会损耗30％左右的效率。

技术实现思路

[0004]本申请的主要目的在于提供一种数据动态存储方法、装置、电子设备及存储介质，旨在解决常规技术难以平衡大数据管理的成本和效率的技术问题。
[0005]为实现上述目的，本申请提供一种数据动态存储方法，包括以下步骤：
[0006]获取待评分数据表的操作信息，其中，所述待评分数据表存储于归档节点或计算节点；
[0007]根据所述操作信息对所述待评分数据表进行使用率评分，得到使用率评分结果；
[0008]根据所述使用率评分结果对所述待评分数据表的存储位置进行调整。
[0009]本申请还提供一种数据动态存储装置，所述数据动态存储装置包括：
[0010]获取模块，用于获取待评分数据表的操作信息，其中，所述待评分数据表存储于归档节点或计算节点；
[0011]评分模块，用于根据所述操作信息对所述待评分数据表进行使用率评分，得到使用率评分结果；
[0012]存储位置调整模块，用于根据所述使用率评分结果对所述待评分数据表的存储位置进行调整。
[0013]本申请还提供一种电子设备，所述电子设备为实体设备，所述电子设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的所述的数据动态存储方法
的程序，所述的数据动态存储方法的程序被处理器执行时可实现如上述的数据动态存储方法的步骤。
[0014]本申请还提供一种存储介质，所述存储介质为计算机可读存储介质，所述计算机可读存储介质上存储有实现数据动态存储方法的程序，所述的数据动态存储方法的程序被处理器执行时实现如上述的数据动态存储方法的步骤。
[0015]本申请还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述的数据动态存储方法的步骤。
[0016]本申请提供了一种数据动态存储方法、装置、电子设备及存储介质，通过获取待评分数据表的操作信息，其中，所述待评分数据表存储于归档节点或计算节点，实现了对已经存储于归档节点和计算节点中数据表的操作信息的获取，进而通过根据所述操作信息对所述待评分数据表进行使用率评分，得到使用率评分结果，实现了对已经存储于归档节点和计算节点中数据表的使用率评分，进而通过根据所述使用率评分结果对所述待评分数据表的存储位置进行调整，实现了对已经存储于归档节点和计算节点中数据表的存储位置的评估和调整。相比于在获得数据后根据用户初始规划或者平台默认逻辑将数据表自动导入到计算节点或归档节点中的这种一次性存储方式，本申请在数据存储至归档节点或计算节点之后，通过对数据表进行使用率评分，实现了对归档节点和计算节点中数据表的存储位置是否合理进行再次评估，这样可以使得数据表的存储位置能够随数据表的操作情况而进行适应性调整，进而实现对大数据管理的成本和效率的动态调整，克服了若计算节点中存储的数据过多，归档节点的服务器每T的存储成本是计算节点的服务器的七分之一左右，则会导致成本较高，但若用户需要操作保存在归档节点上的数据，则需要先将数据传输至计算节点，导致计算任务缓慢，数据表的操作效率较低，在计算性能上归档节点的服务器会损耗30％左右的效率的技术缺陷，通过动态存储数据，有效兼顾了大数据管理的成本和效率。
附图说明
[0017]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
[0018]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图得到其他的附图。
[0019]图1为本申请中数据动态存储方法的一实施例的流程示意图；
[0020]图2为本申请数据动态存储方法中集群的一种可实施方式的场景示意图；
[0021]图3为本申请中数据动态存储方法的另一实施例的流程示意图；
[0022]图4为本申请中数据动态存储装置的一实施例的结构示意图；
[0023]图5为本申请实施例中数据动态存储方法涉及的硬件运行环境的设备结构示意图。
[0024]本申请目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0025]为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面将结合本专利技术实施
例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所得到的所有其它实施例，均属于本专利技术保护的范围。
[0026]实施例一
[0027]本申请实施例提供一种数据动态存储方法，在本申请数据动态存储方法的第一实施例中，参照图1，包括以下步骤：
[0028]步骤S10，获取待评分数据表的操作信息，其中，所述待评分数据表存储于归档节点或计算节点；
[0029]本实施例方法的执行主体可以是一种数据动态存储装置，也可以是一种数据动态存储终端设备或服务器，本实施例以数据动态存储装置进行举例，该数据动态存储装置可以集成在具有数据处理功能的智能手机、平板电脑等终端设备上。
[0030]在本实施例中，需要说明的是，计算节点是指集群中主要提供CPU、内存等计算资源同时提供部分少量存储的节点，归档节点是指集群中主要提供存储空间不提供或仅提供极少的计算资源的节点，所述待评分数据表是指归档节点或计算节点中存储有数据的数据表。在一种可实施的方式中，参照图2，集群中包括有计算节点和归档节点，计算节点与归档节点之间本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据动态存储方法，其特征在于，所述数据动态存储方法包括以下步骤：获取待评分数据表的操作信息，其中，所述待评分数据表存储于归档节点或计算节点；根据所述操作信息对所述待评分数据表进行使用率评分，得到使用率评分结果；根据所述使用率评分结果对所述待评分数据表的存储位置进行调整。2.如权利要求1所述的数据动态存储方法，其特征在于，所述根据所述使用率评分结果对所述待评分数据表的存储位置进行调整的步骤之后，还包括：将所述待评分数据表标记为已评分数据表，返回执行所述获取待评分数据表的操作信息的步骤，直至检测到所述归档节点和所述计算节点中不存在待评分数据表。3.如权利要求1所述的数据动态存储方法，其特征在于，所述获取待评分数据表的操作信息的步骤包括：定时开启数据表存储位置管理模式；在数据表存储位置管理模式下，获取待评分数据表的操作信息。4.如权利要求1所述的数据动态存储方法，其特征在于，所述根据所述使用率评分结果对所述待评分数据表的存储位置进行调整的步骤包括：确定所述待评分数据表的当前存储节点，其中，所述当前存储节点为归档节点或计算节点；根据所述使用率评分结果确定所述待评分数据表的目标存储节点；若确定所述目标存储节点与所述当前存储节点不一致，则将所述待评分数据表移动至所述目标节点。5.如权利要求4所述的数据动态存储方法，其特征在于，所述根据所述使用率评分结果确定所述待评分数据表的目标存储节点的步骤包括：比较所述使用率评分结果与预设评分阈值；若确定所述使用率评分结果高于预设评分阈值，则将所述待评分数据表的目标存储节点确定为计算节点；若确定所述使用率评分结果不高于预设评分阈值，则将所述待评分数据表的目标存储节点确定为归档节点。6.如权利要求1所述的数据动态存储方法，其特征在于，所述操作信息包括用户访问信息、报表引用信息、查询分析信息和优先级信息中的至少一项，所述根据所述操作信息对所述待评分数据表进行使用率评分，得到使用率评分结果的步骤包括：根据所述用户访问信息、所述报表引用信息、所述查询分析信息和/或所述优先级信息，对所述待评分数据表进行使用率评分，获得至少一个中间评分结果；对各所述中间评分结果进行加权聚合，得到使用...

【专利技术属性】
技术研发人员：蔡凯，陈婷，吴三平，王宗泽，廖海波，刘鹏程，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：