基于分布式存储系统的数据处理方法、装置、设备和介质制造方法及图纸

本发明专利技术实施例公开了一种基于分布式存储系统的数据处理方法、装置、设备和介质。其中方法包括响应于对目标数据的处理请求，根据目标数据的目标数据标识确定目标存储设备；将目标数据标识，与目标存储设备的第一类数据库中数据标识与写入时间之间的映射关系进行匹配，确定目标数据的写入时间；根据目标数据的写入时间，从目标存储设备的第二类数据库中选择目标第二类数据库；从目标第二类数据库中读取目标数据，并对目标数据进行处理。本发明专利技术实施例实现根据数据的写入时间，从数据库中快速读取目标数据以对目标数据进行处理，从而缩短了数据读取周期，避免出现大量的无效读，提高了数据处理速度及分布式存储系统的性能，优化了数据库的操作效率。

【技术实现步骤摘要】
基于分布式存储系统的数据处理方法、装置、设备和介质
本专利技术实施例涉及计算机
，尤其涉及一种基于分布式存储系统的数据处理方法、装置、设备和介质。
技术介绍
随着平安城市等大规模视频监控部署，需要配套大量后端存储设备，存储采集的视频数据，尤其是图片数据。而分布式存储系统可以通过多个存储设备，例如：对象存储设备(ObjectStorageDevice，简称OSD)对外提供存储服务，且具备易扩展、单点故障不丢失数据、故障恢复快等优势，因此分布式存储系统可在监控视频领域中大量部署。在实际使用过程中，分布式存储系统中每个存储设备配置有一个数据库，以用该数据库存储数据的元数据信息。相关技术中，数据写入分布式存储系统中的存储设备时，通常是将数据标识、归置组ID、存储池ID以及其他信息，作为KEY值，比如KEY＝POOL_ID+PG_ID+数据标识及其他信息，将数据对应的元数据作为Value，采用键值对的形式存储至存储设备的数据库中。其中，为了数据分摊均衡性，对数据以归置组为单位进行分组，并将KEY以升序的方式排序后写入排序序列表(Sorted本文档来自技高网...

【技术保护点】
1.一种基于分布式存储系统的数据处理方法，其特征在于，包括：/n响应于对目标数据的处理请求，根据目标数据的目标数据标识确定目标存储设备；/n将所述目标数据标识，与目标存储设备的第一类数据库中数据标识与写入时间之间的映射关系进行匹配，确定目标数据的写入时间；/n根据所述目标数据的写入时间，从目标存储设备的第二类数据库中选择目标第二类数据库，所述第二类数据库的数量为大于1的正整数；/n从所述目标第二类数据库中读取所述目标数据，并对所述目标数据进行处理。/n

【技术特征摘要】
1.一种基于分布式存储系统的数据处理方法，其特征在于，包括：
响应于对目标数据的处理请求，根据目标数据的目标数据标识确定目标存储设备；
将所述目标数据标识，与目标存储设备的第一类数据库中数据标识与写入时间之间的映射关系进行匹配，确定目标数据的写入时间；
根据所述目标数据的写入时间，从目标存储设备的第二类数据库中选择目标第二类数据库，所述第二类数据库的数量为大于1的正整数；
从所述目标第二类数据库中读取所述目标数据，并对所述目标数据进行处理。


2.根据权利要求1所述的方法，其特征在于，根据所述目标数据的写入时间，从目标存储设备的第二类数据库中选择目标第二类数据库，包括：
将所述目标数据的写入时间，与所述目标存储设备的第二类数据库的创建时间进行匹配，确定目标第二类数据库。


3.根据权利要求1所述的方法，其特征在于，从所述目标第二类数据库中读取所述目标数据，包括：
根据所述目标数据标识和所述目标数据的写入时间，得到新目标数据标识；
根据所述新目标数据标识，从所述目标第二类数据库中读取所述目标数据。


4.根据权利要求3所述的方法，其特征在于，根据所述目标数据标识和所述目标数据的写入时间，得到新目标数据标识，包括：
将所述目标数据的写入时间，添加至所述目标数据标识之前，得到新目标数据标识。


5.根据权利要求1所述的方法，其特征在于，从所述目标第二类数据库中读取所述目标数据，包括：
根据所述处理请求中的删除时间点，从所述目标第二类数据库中读取在所述删除时间点之前写入的目标数据；
对所述目标数据进行处理，包括：
向所述目标第二类数据库中写入对所述目标数据的删除指令，以指示所述目标第二类数据库删除所述目标数据。

<...

【专利技术属性】
技术研发人员：郭永强，徐言林，
申请(专利权)人：浙江宇视科技有限公司，
类型：发明
国别省市：浙江;33