数据管理方法、装置、电子设备和存储介质制造方法及图纸

本公开实施例公开了一种数据管理方法、装置、电子设备和存储介质，其中该方法包括：获取对硬盘中原始数据集合的数据更新请求；确定数据更新请求对应的目标数据子集及目标数据子集对应的缓存位置，目标数据子集为对原始数据集合进行预处理之后得到的至少两个数据子集中的其中一个数据子集，缓存位置为硬盘中的第一缓存或内存中设置的第二缓存；对缓存位置中的目标数据子集进行数据更新处理，并将数据更新后的目标数据子集返回替换硬盘中的目标数据子集。本公开实施例提供的技术方案，大大减少了对硬盘数据的读写操作，能够解决数据管理的网络传输带宽瓶颈，充分利用缓存，降低延迟。

【技术实现步骤摘要】
数据管理方法、装置、电子设备和存储介质
本公开实施例涉及数据处理
，尤其涉及一种数据管理方法、装置、电子设备和存储介质。
技术介绍
随着互联网技术发展，为了更加有针对性地向用户提供信息，需要获取业务平台或客户端上的多种类型的数据进行分析，例如用户数据。用户数据可以包括：信息提供者上传的用户数据，包括新用户数据和老用户数据；基于标签挖掘的用户数据，标签可以包括高消费、是否买车、婚姻、游戏或小说等；其他平台传输的用户数据，例如授信级别的金融用户数据或游戏细分用户数据等。目前，业务平台中是将数据基于分布式存储系统存储在硬盘中的，由于大部分分布式存储系统不支持直接增加数据或删除数据，当信息投放引擎请求业务平台进行数据的增加操作或删除操作时，均需要读取全部数据，修改完成之后，再将修改完的数据写回硬盘中。业务平台中的数据随着业务发展会越来越多，当数据量较大时，对硬盘的读取和写入的操作非常多，很容易导致网络传输带宽瓶颈。为了解决网络传输带宽瓶颈，一般是通过扩容的方式降低每一台存储类型的服务器的数据请求量，实现数据管理的。但是，目前采用的本文档来自技高网...

【技术保护点】
1.一种数据管理方法，其特征在于，包括：/n获取对硬盘中原始数据集合的数据更新请求；/n确定所述数据更新请求对应的目标数据子集及所述目标数据子集对应的缓存位置，所述目标数据子集为对所述原始数据集合进行预处理之后得到的至少两个数据子集中的其中一个数据子集，所述缓存位置为所述硬盘中的第一缓存或内存中设置的第二缓存；/n对所述缓存位置中的目标数据子集进行数据更新处理，并将数据更新后的目标数据子集返回替换所述硬盘中的目标数据子集。/n

【技术特征摘要】
1.一种数据管理方法，其特征在于，包括：
获取对硬盘中原始数据集合的数据更新请求；
确定所述数据更新请求对应的目标数据子集及所述目标数据子集对应的缓存位置，所述目标数据子集为对所述原始数据集合进行预处理之后得到的至少两个数据子集中的其中一个数据子集，所述缓存位置为所述硬盘中的第一缓存或内存中设置的第二缓存；
对所述缓存位置中的目标数据子集进行数据更新处理，并将数据更新后的目标数据子集返回替换所述硬盘中的目标数据子集。


2.根据权利要求1所述的方法，其特征在于，获取对硬盘中原始数据集合的数据更新请求，包括：
基于用户对设定按键的操作，获取对硬盘中原始数据集合的数据更新请求。


3.根据权利要求1所述的方法，其特征在于，所述获取对硬盘中原始数据集合的数据更新请求之前，还包括：
基于数据标识对所述硬盘中存储的所述原始数据集合进行预处理，得到至少两个数据子集，所述预处理包括分组和排序，每个数据子集的标识范围不同；
将排序最后的数据子集确定为动态数据子集；
将所述动态数据子集存储在所述第一缓存中，将所述动态数据子集之外的其他数据子集存储在所述第二缓存中。


4.根据权利要求3所述的方法，其特征在于，确定所述数据更新请求对应的目标数据子集及所述目标数据子集对应的缓存位置，包括：
若所述数据更新请求为数据新增请求，则所述目标数据子集为所述动态数据子集，所述目标数据子集对应的缓存位置为所述第一缓存。


5.根据权利要求4所述的方法，其特征在于，对所述缓存位置中的目标数据子集进行数据更新处理，包括：
读取所述第一缓存中的所述动态数据子集；
将所述数据新增请求中的新增数据添加至所述动态数据子集，并将数据添加后的动态数据子集写入所述第一缓存中。


6.根据权利要求3所述的方法，其特征在于，确定所述数据更新请求对应的目标数据子集及所述目标数据子集对应的缓存位置，包括：
若所述数据更新请求为数据删除请求，则根据所述数据删除请求中的待删数据标识确定所述目标数据子集及所述目标数据子集对应的缓存位置。


7.根据权利要求...

【专利技术属性】
技术研发人员：李村，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：北京;11