数据处理方法、装置、电子设备及存储介质制造方法及图纸

本公开关于一种数据处理方法、装置、电子设备及存储介质。该方法包括：监测到预设丢弃事件，从至少一个只读数据分片中确定待丢弃数据分片；获取所述待丢弃数据分片关联的只读状态位图；删除所述待丢弃数据分片和所述待丢弃数据分片关联的只读状态位图。根据本公开提供的技术方案，可以有效支持数据分片的淘汰操作以及避免对数据的误删除。以及避免对数据的误删除。以及避免对数据的误删除。

【技术实现步骤摘要】
数据处理方法、装置、电子设备及存储介质


[0001]本公开涉及计算机
，尤其涉及一种数据处理方法、装置、电子设备及存储介质。

技术介绍

[0002]随着计算机的应用发展，数据处理变得越来越重要，为了维护数据(添加数据、删除数据、查询数据和淘汰数据等)以提升数据处理的准确性，相关技术中，选择使用日志结构合并树的策略，在数据删除处理中，将删除操作作为一个特殊的记录(Doc)添加入可读写数据分片中，然后在合并阶段对数据进行删除。当查询时，查询到此特殊Doc，则判定数据已经被删除。或者增加一个全局的位图bitmap，位图中的每一位标志了某个Doc是否被删除。前者随着删除的Doc越来越多，将导致Doc量越来越大，影响查询效率。且这类特殊Doc对底层的索引实现是侵入性的，通用适配性较差。后者查询效率较高且不会影响底层索引实现。但随着添加的Doc数量越来越多，bitmap需要的空间也越来越大，并且不能很好的支持数据淘汰操作。

技术实现思路

[0003]本公开提供一种数据处理方法、装置、电子设备及存储介质，以至少解决相关技术中如何提升数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：监测到预设丢弃事件，从至少一个只读数据分片中确定待丢弃数据分片；获取所述待丢弃数据分片关联的只读状态位图；删除所述待丢弃数据分片和所述待丢弃数据分片关联的只读状态位图。2.根据权利要求1所述的数据处理方法，其特征在于，所述方法还包括：获取所述待丢弃数据分片关联的待丢弃标识映射信息以及位图索引记录信息；所述待丢弃标识映射信息表征所述待丢弃数据分片中各待丢弃数据的数据索引信息与位图索引信息的对应关系；删除所述待丢弃标识映射信息；在所述位图索引记录信息中，将所述待丢弃标识映射信息中的位图索引信息修改为未使用状态。3.根据权利要求1所述的数据处理方法，其特征在于，所述方法还包括：响应于数据删除请求，所述数据删除请求中包括待删除单位数据的第一数据索引信息；在可读写状态位图中，将所述第一数据索引信息对应的状态标记为已删除状态。4.根据权利要求1所述的数据处理方法，其特征在于，所述方法还包括：响应于数据查询请求，所述数据查询请求中包括待查询单位数据的第二数据索引信息；获取所述至少一个只读数据分片各自关联的只读状态位图以及可读写数据分片关联的可读写状态位图；在所述可读写状态位图和所述只读状态位图中，查询所述第二数据索引信息对应的目标状态信息；在所述目标状态信息为所述初始状态的情况下，获取所述第二数据索引信息匹配的查询数据；将所述查询数据发送至所述数据查询请求对应的终端。5.根据权利要求4所述的数据处理方法，其特征在于，所述至少一个只读数据分片为多个只读数据分片；所述方法还包括：监测所述可读写状态位图和所述只读状态位图中处于已删除状态的单位数据的第一数量，以及所述可读写数据分片和所述至少一个只读数据...

【专利技术属性】
技术研发人员：刘占山，张存义，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：