数据管理方法、装置、设备及存储介质制造方法及图纸

本申请涉及大数据处理技术领域，公开了一种数据管理方法、装置、设备及存储介质，通过根据待存储数据对应的所有用户终端的用户行为标识信息确定待存储数据的拆分单元，并根据所述拆分单元将待存储数据进行拆分之后，根据预设的分库分表算法确定至少两个所述数据单元对应的存储分表；分别将至少两个所述数据单元，写入每个所述数据单元各自对应的所述存储分表进行存储。本申请还涉及区块链技术，所述待处理数据存储于区块链中。通过上述区别技术特征本申请实现了数据的均衡存储，提高了数据库的存储能力。

【技术实现步骤摘要】
数据管理方法、装置、设备及存储介质
本申请属于大数据处理
，尤其涉及一种数据管理方法、装置、设备及存储介质。
技术介绍
随着互联网和信息技术的发展，服务器中的数据在不同时间段存在波动较大的现象，这就要求对应的数据库具有较高的可扩展能力和伸缩性。目前，通常通过分库分表存储的方式来提高数据库的存储能力，但是常见的分库分表方法，以用户为维度进行，由于不同的用户产生的数据量差异可能很悬殊，导致以用户为维度进行分库分表无法达到数据的均衡分布，使得分表存储之后的分表数据量还是很大，达不到分库分表的效果。
技术实现思路
本申请提供了一种数据管理方法、装置、设备及存储介质，通过根据用户行为标识信息确定待存储数据的数据拆分单元，并根据所述拆分单元将待存储数据进行拆分之后，根据预设的分库分表算法将数据单元进行分表存储，可以解决数据存储不均衡的问题，提高数据库的存储能力。第一方面，本申请提供了一种数据管理方法，包括：响应于至少一个用户终端发送的数据存储请求，所述数据存储请求包括至少一个所述用户终端的用户标识信息和用户行为标识信息；根据所述用户行为标识信息确定待存储数据的数据拆分单元；基于所述数据拆分单元将所述待存储数据拆分为至少两个数据单元，根据预设的分库分表算法确定至少两个所述数据单元各自对应的存储分表；分别将至少两个所述数据单元，写入每个所述数据单元各自对应的所述存储分表中。在一可选的实现方式中，所述待存储数据存储于区块链中，所述根据所述用户行为标识信息确定待存储数据的数据拆分单元，包括：确定所有所述用户终端对应的用户行为标识信息的数量；根据所述用户行为标识信息的数量确定待存储数据的数据拆分单元。在一可选的实现方式中，所述根据预设的分库分表算法确定至少两个所述数据单元各自对应的存储分表，包括：针对任一所述数据单元，计算该数据单元包含的用户行为标识信息的哈希值；从所述哈希值中获取预设数量的数值；以所述预设数量的数值为分片键值，确定该数据单元对应的存储分表。在一可选的实现方式中，以所述预设数量的数值为分片键值，确定该数据单元对应的存储分表，包括：计算各个所述分片键值对应的存储分库的编号和各个所述分片键值对应的存储分表的编号；根据各个所述分片键值对应的存储分库的编号和所述存储分表的编号，确定该数据单元对应的存储分表。在一可选的实现方式中，计算各个所述分片键值对应的存储分库的编号和各个所述分片键值对应的存储分表的编号，包括：分别对各个所述分片键值相对于目标商值取模，得到各个所述分片键值对应的存储分库的编号，所述目标商值为预设的存储分表总数与预设的存储分库总数的商值；分别对各个所述分片键值相对于所述预设的存储分表总数取模得到模值；分别将各个所述分片键值对应的所述模值相对于所述预设的存储分库总数取模，得到各个所述分片键值对应的存储分表的编号。在一可选的实现方式中，在分别将至少两个所述数据单元，写入每个所述数据单元各自对应的所述存储分表进行存储之后，还包括：基于数据库多源同步技术将不同存储分表中存储的数据实时同步至分布式集成数据库中；当接收到针对目标用户终端的用户行为数据查询指令后，基于聚合数据表查询方法在所述分布式集成数据库中查询所述目标用户终端的用户行为数据。在一可选的实现方式中，所述基于聚合数据表查询方法在所述分布式集成数据库中查询所述目标用户的行为数据，包括：将所述分布式集成数据库中的所有用户终端的用户行为数据标记为主数据源，将所述目标用户终端的用户数据标记为从数据源；对所述从数据源做分表配置信息，基于所述分表配置信息读取所述从数据源中的用户行为数据。第二方面，本申请提供了一种数据管理装置，包括：响应模块，用于响应于至少一个用户终端发送的数据存储请求，所述数据存储请求包括至少一个所述用户终端的用户标识信息和用户行为标识信息；确定模块，用于根据所述用户行为标识信息确定待存储数据的数据拆分单元；拆分模块，用于基于所述数据拆分单元将所述待存储数据拆分为至少两个数据单元，根据预设的分库分表算法确定至少两个所述数据单元各自对应的存储分表；写入模块，用于分别将至少两个所述数据单元，写入每个所述数据单元各自对应的所述存储分表中。在一可选的实现方式中，所述待存储数据存储于区块链中，所述拆分模块，包括：确定单元，用于确定所有所述用户终端对应的用户行为标识信息的数量；拆分单元，用于根据所述用户行为标识信息的数量确定待存储数据的数据拆分单元。在一可选的实现方式中，所述根据预设的分库分表算法确定至少两个所述数据单元各自对应的存储分表，包括：针对任一所述数据单元，计算该数据单元包含的用户行为标识信息的哈希值；从所述哈希值中获取预设数量的数值；以所述预设数量的数值为分片键值，确定该数据单元对应的存储分表。在一可选的实现方式中，以所述预设数量的数值为分片键值，确定该数据单元对应的存储分表，包括：计算各个所述分片键值对应的存储分库的编号和各个所述分片键值对应的存储分表的编号；根据各个所述分片键值对应的存储分库的编号和所述存储分表的编号，确定该数据单元对应的存储分表。在一可选的实现方式中，计算各个所述分片键值对应的存储分库的编号和各个所述分片键值对应的存储分表的编号，包括：分别对各个所述分片键值相对于目标商值取模，得到各个所述分片键值对应的存储分库的编号，所述目标商值为预设的存储分表总数与预设的存储分库总数的商值；分别对各个所述分片键值相对于所述预设的存储分表总数取模得到模值；分别将各个所述分片键值对应的所述模值相对于所述预设的存储分库总数取模，得到各个所述分片键值对应的存储分表的编号。在一可选的实现方式中，还包括：同步模块，用于基于数据库多源同步技术将不同存储分表中存储的数据实时同步至分布式集成数据库中；查询模块，用于在当接收到针对目标用户终端的用户行为数据查询指令后，基于聚合数据表查询方法在所述分布式集成数据库中查询所述目标用户终端的用户行为数据。在一可选的实现方式中，所述同步模块，包括：标记单元，用于将所述分布式集成数据库中的所有用户终端的用户行为数据标记为主数据源，将所述目标用户终端的用户行为数据标记为从数据源；读取单元，用于对所述从数据源做分表配置信息，基于所述分表配置信息读取所述从数据源中的用户行为数据。第三方面，本申请提供了一种数据管理设备，其特征在于，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上第一方面或第一方面任一可选实施例所述的方法。第四方面，本申请提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现如上述第一方面或第一方面任一可选本文档来自技高网...

【技术保护点】
1.一种数据管理方法，其特征在于，包括：：/n响应于至少一个用户终端发送的数据存储请求，所述数据存储请求包括至少一个所述用户终端的用户标识信息和用户行为标识信息；/n根据所述用户行为标识信息确定待存储数据的数据拆分单元；/n基于所述数据拆分单元将所述待存储数据拆分为至少两个数据单元，根据预设的分库分表算法确定至少两个所述数据单元各自对应的存储分表；/n分别将至少两个所述数据单元，写入每个所述数据单元各自对应的所述存储分表中。/n

【技术特征摘要】
1.一种数据管理方法，其特征在于，包括：：
响应于至少一个用户终端发送的数据存储请求，所述数据存储请求包括至少一个所述用户终端的用户标识信息和用户行为标识信息；
根据所述用户行为标识信息确定待存储数据的数据拆分单元；
基于所述数据拆分单元将所述待存储数据拆分为至少两个数据单元，根据预设的分库分表算法确定至少两个所述数据单元各自对应的存储分表；
分别将至少两个所述数据单元，写入每个所述数据单元各自对应的所述存储分表中。


2.如权利要求1所述的方法，其特征在于，所述待存储数据存储于区块链中，所述根据所述用户行为标识信息确定待存储数据的数据拆分单元，包括：
确定所有所述用户终端对应的用户行为标识信息的数量；
根据所述用户行为标识信息的数量确定待存储数据的数据拆分单元。


3.如权利要求2所述的方法，其特征在于，所述根据预设的分库分表算法确定至少两个所述数据单元各自对应的存储分表，包括：
针对任一所述数据单元，计算该数据单元包含的用户行为标识信息的哈希值；
从所述哈希值中获取预设数量的数值；
以所述预设数量的数值为分片键值，确定该数据单元对应的存储分表。


4.如权利要求3所述的方法，其特征在于，以所述预设数量的数值为分片键值，确定该数据单元对应的存储分表，包括：
计算各个所述分片键值对应的存储分库的编号和各个所述分片键值对应的存储分表的编号；
根据各个所述分片键值对应的存储分库的编号和所述存储分表的编号，确定该数据单元对应的存储分表。


5.如权利要求4所述的方法，其特征在于，计算各个所述分片键值对应的存储分库的编号和各个所述分片键值对应的存储分表的编号，包括：
分别对各个所述分片键值相对于目标商值取模，得到各个所述分片键值对应的存储分库的编号，所述目标商值为预设的存储分表总数与预设的存储分库总数的商值；
分别对各个所述分片键值相对于所述预设的存储分表总数取模得到模值；
分...

【专利技术属性】
技术研发人员：李耀星，及晨光，邹高，王沛，谭俊伟，杨鸿毓，张雪领，贾文强，万金州，许代林，
申请(专利权)人：平安银行股份有限公司，
类型：发明
国别省市：广东;44