数据存储方法、装置、设备及计算机可读存储介质制造方法及图纸

本发明专利技术公开了一种数据存储方法。该数据存储方法包括：获取业务数据表，并确定与所述业务数据表对应的子数据表；按预设规则对各子数据表进行检测，并根据检测结果确定对应的数据存储策略；根据所述数据存储策略将与各子数据表对应的数据分别存储至预设数据存储系统的对应分区内，其中，所述预设数据存储系统为一分布式数据存储系统。本发明专利技术还公开了一种数据存储装置、设备及计算机可读存储介质。本发明专利技术能够解决现有的数据存储方式下存在的数据加载性能较差、加载效率低的问题。

Data Storage Method, Device, Equipment and Computer Readable Storage Media

【技术实现步骤摘要】
数据存储方法、装置、设备及计算机可读存储介质
本专利技术涉及金融科技(Fintech)
，尤其涉及一种数据存储方法、装置、设备及计算机可读存储介质。
技术介绍
近年来，随着金融科技(Fintech)，尤其是互联网科技金融的不断发展，互联网金融行业的业务数据量日益庞大，数据的存储管理也愈加困难。目前金融领域的企业在对数据进行存储，通常是使用传统关系型数据库或者非关系型数据库，直接从业务主题需求出发，对同一业务主题的数据进行集中存储，在面对海量数据处理时，存在数据加载性能较差、加载效率低的问题。
技术实现思路
本专利技术的主要目的在于提供一种数据存储方法、装置、设备及计算机可读存储介质，旨在解决现有的数据存储方式下存在的数据加载性能较差、加载效率低的问题。为实现上述目的，本专利技术提供一种数据存储方法，所述数据存储方法包括：获取业务数据表，并确定与所述业务数据表对应的子数据表；按预设规则对各子数据表进行检测，并根据检测结果确定对应的数据存储策略；根据所述数据存储策略将与各子数据表对应的数据分别存储至预设数据存储系统的对应分区内，其中，所述预设数据存储系统为一分布式数据存储系统。可选地，所述按预设规则对各子数据表进行检测，并根据检测结果确定对应的数据存储策略的步骤包括：检测各子数据表之间是否具有相关性；若各子数据表之间不具有相关性，则确定数据存储策略为分散存储策略；若各子数据表之间具有相关性，则获取各子数据表的数据指标，并检测所述数据指标之间是否存在关联关系；若所述数据指标之间存在关联关系，则确定数据存储策略为第一集中存储策略；若所述数据指标之间不存在关联关系，则确定数据存储策略为第二集中存储策略。可选地，若确定所述数据存储策略为分散存储策略，所述根据所述数据存储策略将与各子数据表对应的数据分别存储至预设数据存储系统的对应分区内的步骤包括：根据所述分散存储策略将各子数据表对应的数据分别存储至预设数据存储系统的不同机架中。可选地，若确定所述数据存储策略为第一集中存储策略，所述根据所述数据存储策略将与各子数据表对应的数据分别存储至预设数据存储系统的对应分区内的步骤包括：根据所述第一集中存储策略将各子数据表对应的数据存储至预设数据存储系统的同一机架的同一机器中。可选地，若确定所述数据存储策略为第二集中存储策略，所述根据所述数据存储策略将与各子数据表对应的数据分别存储至预设数据存储系统的对应分区内的步骤包括：根据所述第二集中存储策略将各子数据表对应的数据分别存储至预设数据存储系统的同一机架的不同机器中。可选地，所述预设数据存储系统包括多个机架，各机架上包括多台机器。此外，为实现上述目的，本专利技术还提供一种数据存储装置，所述数据存储装置包括：第一确定模块，用于获取业务数据表，并确定与所述业务数据表对应的子数据表；第二确定模块，用于按预设规则对各子数据表进行检测，并根据检测结果确定对应的数据存储策略；数据存储模块，用于根据所述数据存储策略将与各子数据表对应的数据分别存储至预设数据存储系统的对应分区内，其中，所述预设数据存储系统为一分布式数据存储系统。可选地，所述第二确定模块包括：第一检测单元，用于检测各子数据表之间是否具有相关性；第一确定单元，用于若各子数据表之间不具有相关性，则确定数据存储策略为分散存储策略；第二检测单元，用于若各子数据表之间具有相关性，则获取各子数据表的数据指标，并检测所述数据指标之间是否存在关联关系；第二确定单元，用于若所述数据指标之间存在关联关系，则确定数据存储策略为第一集中存储策略；第三确定单元，用于若所述数据指标之间不存在关联关系，则确定数据存储策略为第二集中存储策略。此外，为实现上述目的，本专利技术还提供一种数据存储设备，所述数据存储设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据存储程序，所述数据存储程序被所述处理器执行时实现如上所述的数据存储方法的步骤。此外，为实现上述目的，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有数据存储程序，所述数据存储程序被处理器执行时实现如上所述的数据存储方法的步骤。本专利技术提供一种数据存储方法、装置、设备及计算机可读存储介质，通过获取业务数据表，并确定与该业务数据表对应的子数据表；按预设规则对各子数据表进行检测，并根据检测结果确定对应的数据存储策略；根据数据存储策略将与各子数据表对应的数据分别存储至预设数据存储系统的对应分区内，其中，该预设数据存储系统为一分布式数据存储系统。本实施例中采用分布式存储系统对数据进行分区存储，将业务场景下各子数据表之间的关系与分布式存储系统的系统架构相结合，来确定数据存储策略，进而对不同关系的数据应用不同的数据存储策略进行存储，可很好地平衡数据操作的并行度和局部性，从而可提高数据的加载性能，并提高数据加载效率。附图说明图1为本专利技术实施例方案涉及的硬件运行环境的设备结构示意图；图2为本专利技术数据存储方法第一实施例的流程示意图；图3为本专利技术数据存储方法第一实施例中步骤S20的细化流程示意图；图4为本专利技术数据存储装置第一实施例的功能模块示意图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。参照图1，图1为本专利技术实施例方案涉及的硬件运行环境的设备结构示意图。本专利技术实施例数据存储设备可以是智能手机，也可以是PC(PersonalComputer，个人计算机)、平板电脑、便携计算机等终端设备。如图1所示，该数据存储设备可以包括：处理器1001，例如CPU，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如Wi-Fi接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。本领域技术人员可以理解，图1中示出的数据存储设备结构并不构成对数据存储设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及数据存储程序。在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的数据存储程序，并执行以下操作：获取业务数据表，并确定与所述业务数据表对应的子数据表；按预设规则对各子数据表进行检测，并根据检测结果确定对应的数据存储策略；根据所述数据存储策略将与各子数据表对应的数据分别存储至预设数据存储系统的对应分区内，其中，所述预设数据存储系统为一分布式数据存储系统。进一步地，处理器1001可以调用存储器1005中存储的数据存储程序，还执行以下操作：检测各子数本文档来自技高网...

【技术保护点】
1.一种数据存储方法，其特征在于，所述数据存储方法包括：获取业务数据表，并确定与所述业务数据表对应的子数据表；按预设规则对各子数据表进行检测，并根据检测结果确定对应的数据存储策略；根据所述数据存储策略将与各子数据表对应的数据分别存储至预设数据存储系统的对应分区内，其中，所述预设数据存储系统为一分布式数据存储系统。

【技术特征摘要】
1.一种数据存储方法，其特征在于，所述数据存储方法包括：获取业务数据表，并确定与所述业务数据表对应的子数据表；按预设规则对各子数据表进行检测，并根据检测结果确定对应的数据存储策略；根据所述数据存储策略将与各子数据表对应的数据分别存储至预设数据存储系统的对应分区内，其中，所述预设数据存储系统为一分布式数据存储系统。2.如权利要求1所述的数据存储方法，其特征在于，所述按预设规则对各子数据表进行检测，并根据检测结果确定对应的数据存储策略的步骤包括：检测各子数据表之间是否具有相关性；若各子数据表之间不具有相关性，则确定数据存储策略为分散存储策略；若各子数据表之间具有相关性，则获取各子数据表的数据指标，并检测所述数据指标之间是否存在关联关系；若所述数据指标之间存在关联关系，则确定数据存储策略为第一集中存储策略；若所述数据指标之间不存在关联关系，则确定数据存储策略为第二集中存储策略。3.如权利要求2所述的数据存储方法，其特征在于，若确定所述数据存储策略为分散存储策略，所述根据所述数据存储策略将与各子数据表对应的数据分别存储至预设数据存储系统的对应分区内的步骤包括：根据所述分散存储策略将各子数据表对应的数据分别存储至预设数据存储系统的不同机架中。4.如权利要求2所述的数据存储方法，其特征在于，若确定所述数据存储策略为第一集中存储策略，所述根据所述数据存储策略将与各子数据表对应的数据分别存储至预设数据存储系统的对应分区内的步骤包括：根据所述第一集中存储策略将各子数据表对应的数据存储至预设数据存储系统的同一机架的同一机器中。5.如权利要求2所述的数据存储方法，其特征在于，若确定所述数据存储策略为第二集中存储策略，所述根据所述数据存储策略将与各子数据表对应的数据分别存储至预设数据存储...

【专利技术属性】
技术研发人员：夏鹏，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：广东,44