数据存储方法、装置、设备和存储介质制造方法及图纸

本发明专利技术公开了一种数据存储方法、装置、设备和存储介质。本发明专利技术涉及大数据/数据分析与挖掘技术领域。该方法包括：获取业务数据以及预先配置的需求参数；根据需求参数和业务数据，确定需求数据；根据需求数据的时间戳信息，生成数据分片，并存储数据分片。上述方案无需对全部的业务数据进行存储，降低了存储成本。另外，所存储数据为基于需求参数和业务数据生成的需求数据，而非业务数据自身，相当于将对业务数据的后处理操作进行前置，避免了后续需要需求数据时，再次进行业务数据的后处理，有助于减少后续对业务数据的数据运算量。助于减少后续对业务数据的数据运算量。助于减少后续对业务数据的数据运算量。

【技术实现步骤摘要】
数据存储方法、装置、设备和存储介质


[0001]本专利技术实施例涉及大数据/数据分析与挖掘
，尤其涉及一种数据存储方法、装置、设备和存储介质。

技术介绍

[0002]随着大数据技术的推广和应用，数据存储和计算的成本也逐渐降低。相应的，在针对数据进行相应的存储和分析时，人们更加倾向于选择更大容量的存储装置以及更快的处理器来执行相应的数据处理操作。
[0003]现有技术中在对数据进行存储时，通常选择将大量的数据加载至内存中，数据存储量较大，对存储性能要求较高，导致成本增大。且所存储数据通常无法直接使用，每次使用前都需要进行后处理。

技术实现思路

[0004]本专利技术实施例提供一种数据存储方法、装置、设备和存储介质，用以解决数据存储量较大以及后续使用所存储数据时，数据运算量较高的问题。
[0005]第一方面，本专利技术实施例提供了一种数据存储方法，该方法包括：
[0006]获取业务数据以及预先配置的需求参数；
[0007]根据所述需求参数和所述业务数据，确定需求数据；
[0008]根据所述需求数据的时间戳信息，生成数据分片，并存储所述数据分片。
[0009]第二方面，本专利技术实施例还提供了一种数据存储装置，该装置包括：
[0010]数据获取模块，用于获取业务数据以及预先配置的需求参数；
[0011]需求数据确定模块，用于根据所述需求参数和所述业务数据，确定需求数据；
[0012]数据分片生成模块，用于根据所述需求数据的时间戳信息，生成数据分片，并存储所述数据分片。
[0013]第三方面，本专利技术实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本专利技术实施例中任一所述的数据存储方法。
[0014]第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本专利技术实施例中任一所述的数据存储方法。
[0015]第五方面，本专利技术实施例还提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如本专利技术实施例中任一所述的数据存储方法。
[0016]本专利技术实施例中，通过所获取的业务数据以及预先配置的需求参数，对需求数据进行确定，并基于该需求数据的时间戳信息生成相应的数据分片并存储，使得在数据存储过程中，能够针对性获取相应的需求数据并以数据分片的形式进行存储，从而无需对全部的业务数据进行存储，降低了存储成本。另外，所存储数据为基于需求参数和业务数据生成的需求数据，而非业务数据自身，相当于将对业务数据的后处理操作进行前置，避免了后续
需要需求数据时，再次进行业务数据的后处理，有助于减少后续对业务数据的数据运算量。
附图说明
[0017]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0018]图1为本专利技术实施例一提供的一种数据存储方法的流程图；
[0019]图2为本专利技术实施例二提供的一种数据存储方法的流程图；
[0020]图3为本专利技术实施例三提供的一种数据存储方法的流程图；
[0021]图4为本专利技术实施例四提供的一种数据存储方法的流程图；
[0022]图5为本专利技术实施例五提供的一种数据存储装置的结构示意图；
[0023]图6为本专利技术实施例六提供的一种电子设备的结构框图。
具体实施方式
[0024]下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。
[0025]应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本专利技术的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。本专利技术技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
[0026]实施例一
[0027]图1为本专利技术实施例一提供的一种数据存储方法的流程图，本实施例适用于对业务数据中的需求数据进行分片存储的情况。该方法可以由一种数据存储装置来执行，该装置可采取硬件和/或软件的方式实现，可配置于电子设备中。
[0028]参考图1所示，该方法具体包括如下步骤：
[0029]S110、获取业务数据以及预先配置的需求参数。
[0030]其中，业务数据可以是在针对不同业务类型下的业务请求，进行业务处理的过程中所产生的数据。业务类型可以包括转账业务、存款业务、借款业务以及金融产品购买业务等中的至少一种。需求参数可以是需要存储的需求数据所对应的参数信息，用于作为生成需求数据的参照依据。
[0031]具体地，可以基于具体的业务类型进行对应业务处理的过程中，会产生大量的业务数据。相应的，可以通过调用预先配置的数据获取接口对该业务数据进行获取，并对所获取的业务数据中所包含的各数据字段以及该数据字段所对应的含义进行录入。其中，数据获取接口可以采用可扩展标记语言(Extensible Markup Language，xml)、JavaScript对象简谱(JavaScript Object Notation，json)以及分隔符等形式中的至少一种，用于从不同的来源方，进行业务数据获取。并且，可以根据数据存储需求，预先配置业务数据对应的需求参数，相应的，可以在配置操作完成后，对相应需求参数进行获取，用于对业务数据进行
二次处理。
[0032]示例性的，还可以首先从至少一个数据源获取原始生成的业务数据，并对所获取的业务数据进行预处理，以更新业务数据。其中，对业务数据的预处理可以包括特征提取、数据拆分及格式转换等处理方式中的至少一种。需要说明的是，对不同数据源对应的业务数据可以采用相同或不同的方式进行预处理，本公开对此不作任何限定。
[0033]其中，数据源可以是生成或传输原始的业务数据的数据库。特征提取可以是对业务数据所包含的具有代表性的特征进行提取，例如可以是对转账业务所对应业务数据中数字类型的数据进行提取。数据拆分可以是将业务数据拆分成语句或字段等。格式转换可以是对业务数据的格式进行转换，以满足后续存储需求，例如可以是将xml格式转换为json格式等。
[0034]具体地，可以从至少一个数据源中获取到原始生成的业务数据，并对该业务数据进行特征提取、数据拆分及格式转换等预处理操作，以实现对业务数据的更新。通过对业务数据执行相应的预处理，能够实现不同数据源的业务数据的统一，为后续需求数据的统一生成奠定了基础。
[0035]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据存储方法，其特征在于，包括：获取业务数据以及预先配置的需求参数；根据所述需求参数和所述业务数据，确定需求数据；根据所述需求数据的时间戳信息，生成数据分片，并存储所述数据分片。2.根据权利要求1所述的方法，其特征在于，所述需求参数包括执行算子；所述根据所述需求参数和所述业务数据，确定需求数据，包括：根据所述执行算子对所述业务数据进行处理，得到所述需求数据。3.根据权利要求2所述的方法，其特征在于，若所述执行算子包括至少两个并列算子，则所述根据所述执行算子对所述业务数据进行处理，得到所述需求数据，包括：根据所述业务数据的属性信息，从所述至少两个并列算子中选取目标算子；根据所述目标算子对所述业务数据进行处理，得到所述需求数据。4.根据权利要求3所述的方法，其特征在于，所述属性信息包括数据类型和/或数据格式。5.根据权利要求2所述的方法，其特征在于，所述根据所述执行算子对所述业务数据进行处理，得到所述需求数据，包括：根据所述执行算子对应需求字段，从所述业务数据中选取目标数据；对异常的目标数据进行数据补偿，以更新所述目标数据；根据所述执行算子对更新后的目标数据进行处理，得到所述需求数据。6.根据权利要求5所述的方法，其特征在于，所述对异常的目标数据进行数据补偿，以更新所述目标数据，包括：确定异常的目标数据的补偿类型；根据所述补偿类型对应补偿方式，对异常的目标数据进行数据补偿，以更新所述目标数据。7.根据权利要求6所述的方法，其特征在于，若所述补偿类型为静态型，则所述根据所述补偿类型对应补偿方式，对异常的目标数据进行数据补偿，以更新所述目标数据，包括：调用补偿数据访问接口，获取所述异常的目标数据对应的目标补偿数据；将所述目标补偿数据作为新的目标数据。8.根据权利要求6所述的方法，其特征在于，若所述补偿类型为动态型，则所述根据所述补偿类型对应补偿方式，对异常的目标数据进行数据补偿，以更新所述目标数据，包括：将历史数据分片中所述异常的目标数据所属字段的最新数据作为目标补偿数据；将所述目标补偿数据作为新的目...

【专利技术属性】
技术研发人员：梁永健，覃鹏，龚苇，禤栋雄，
申请(专利权)人：中国建设银行股份有限公司，
类型：发明
国别省市：