一种数据管理方法、装置及系统制造方法及图纸

本申请实施例提出了一种数据管理方法及装置，该方法中，按照不同的标准将数据归类为不同的子数据库，并将存储空间划分为大量独立的数据单元，利用子数据库索引信息、内存信息和数据管理单元三级管理信息将子数据库中的数据精确地存储于各数据单元中。在需要存储和管理各种数据量不确定的子数据库时，本申请实施例提供的技术方案通过将存储空间划分为大量空间较小的数据单元，能够实现精细化管理存储空间，提高存储空间利用率，避免存储资源的浪费。

A data management method, device and system

【技术实现步骤摘要】
一种数据管理方法、装置及系统
本申请涉及信息
，尤其涉及一种共享内存复用方法、装置及系统。
技术介绍
随着现在视频监控技术的发展，监控由单纯的记录视频向智能化发展，当前不仅仅需要存储采集的视频数据，更需要提取出视频数据中的有用信息，从视频数据中提取的用于描述该视频内容的数据被称为特征数据。通过从视频中提取出特征数据，实现了用特征数据来描述视频内容。一台工作的摄像头每天将会采集大量视频数据，对应将会生成大量的特征数据，而一个视频监控系统中通常包括多台摄像机，这样视频监控系统工作时会产生更多特征数据，而如何存储和管理这些特征数据成为亟待解决的问题。现有技术中，采用固定存储空间的形式来存储特征数据，即利用固定大小的存储空间来分别存储每个摄像头每天采集的特征数据，可以将每个摄像机每天产生的所有特征数据归为一个特征数据库。由于每个摄像头监控的场景和时间不同，不同场景的摄像机或者同一摄像机在不同时间产生的特征数据库的数据量具有差别。为了保证每个特征数据库都有足够的存储空间，上述固定存储空间需要按照最大的特征数据库的数据量来设定，这样对于某些数据量较小的特征数据库来说将会造成存储空间的浪费。
技术实现思路
有鉴于此，本申请实施例提供了一种数据管理方法及系统，通过将存储空间划分为大量数据单元来存储数据，并采用三级管理信息来管理各数据单元，实现存储空间的精细化管理，提升存储空间的利用率。为达到上述目的，第一方面，本申请实施例提供了一种数据管理方法，该方法中，在需要添加子数据库的数据时，读取存储装置中的管理信息，其中，存储装置中包括多个数据单元，管理信息包括子数据库索引信息、数据单元状态信息和数据管理信息中的一种或多种；然后，根据所述管理信息确定待添加子数据库的数据的可用数据单元，再将所述待添加子数据库的数据写入所述可用数据单元，添加数据之后再更新存储装置中的管理信息。本申请实施例提供的方法将存储装置中的存储空间划分为多个较小的数据单元，再利用三级管理信息来精细化管理数据单元，能够避免存储资源浪费，显著提高存储装置的利用率。其中，可用数据单元是可以写入待添加子数据库数据的数据单元。可选的，在写入子数据库数据之前，需要将存储装置初始化，即将存储装置划分为存储管理信息的部分和存储数据的部分，存储数据的部分进一步被划分为多个数据单元。其中，数据单元的大小可以根据实际存储需要自行设定。需要说明的是，仅需要在初次使用本申请实施例提供的技术方案时才需要初始化存储装置，而不需要在每次添加子数据库数据都初始化存储装置。根据不同情况，可以有多种方法确定可用数据单元。可选的，首先查询子数据库索引信息，当所述子数据库索引信息中包括待添加子数据库时，将待添加子数据库的索引信息中上次添加数据的数据单元作为可用数据单元；当上次添加待添加子数据库数据的数据单元的存储空间不足，查询数据单元状态信息，获取一个未使用的数据单元作为可用数据单元。可选的，当子数据库索引信息中不包括待添加子数据库，则此时为首次添加该子数据库的数据，则需要查询数据单元状态信息，获取一个未使用的数据单元作为可用数据单元。进一步的，还需要添加该子数据库对应的索引信息，以便于下次添加该子数据库时能够快速定位可用的数据单元。可选的，在将数据添加至可用数据单元之后，还需要更新管理信息，具体需要更新可用数据单元对应的数据管理信息，以及待添加子数据库的索引信息。每次添加数据都更新对应的管理信息，可以方便下次添加该子数据库数据时能够快速定位到可用的数据单元，并且方便查找子数据库的数据。可选的，当写入待添加子数据库数据后，可用数据单元存储空间已满，则还需要更新所述可用数据单元对应的数据单元状态信息，将该可用数据单元的状态标记为存储空间已满。可选的，在某些情况下还需要删除存储的子数据库的数据，当删除子数据库时，根据待删除子数据库的标识，查询数据管理信息，获得待清除的数据管理信息，其中，待清除的数据管理信息中包括所述待删除子数据库的标识；然后，清除待清除的数据管理信息，并更新数据单元状态信息，将待清除的数据管理信息对应的数据单元的状态标记为可用状态，再删除待删除子数据库的索引信息。本申请实施例提供的数据管理方法，在删除子数据库时并不需要将数据单元中实际存储的数据删除，仅需要修改管理信息，清除对应的数据管理信息以及更新数据单元的状态，将数据单元重新放入可用的资源池中。此时，虽然并未删除该数据单元中存储的数据，但由于已经删除了管理信息，造成无法确定或识别该数据单元中存储的数据是哪类数据或哪种结构，数据单元中存储的数据成为了无意义的纯数据，而可以被新的数据覆盖。本申请实施例提供的删除数据的方法仅需要修改对应的管理信息，而不需要对数据单元进行操作，提高了删除效率。第二方面，本申请实施例提供了一种数据管理装置，该装置具有实现上述第一方面所述的方法的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。第三方面，本申请实施例提供了一种数据管理装置，包括：处理器、存储器、总线和通信接口；该存储器用于存储计算机执行指令，该处理器与该存储器通过该总线连接，当该数据管理装置运行时，该处理器执行该存储器的该计算机执行指令，以使该数据管理装置执行如上述第一方面中任意所述的数据管理方法。第四方面，本申请实施例提供了一种计算机可读存储介质，该计算机可读介质中存储有指令，当其在计算机上运行时，使得计算机可以执行上述第一方面中任意一项的数据管理方法。第五方面，本申请实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机可以执行上述第一方面任意一项的数据管理方法。其中，第二方面至第五方面中任一种设计方式所带来的技术效果可参见第一方面中不同设计方式所带来的技术效果，此处不再赘述。第六方面，本申请实施例还提供了一种数据管理系统，包括如上述任一方面所述的数据管理装置和存储装置。本申请实施例提供的数据管理方法按照不同的标准将数据归类为不同的子数据库，并将存储空间划分为大量独立的数据单元，利用子数据库索引信息、内存信息和数据管理单元三级管理信息将子数据库中的数据精确地存储于各数据单元中。在需要存储和管理各种标签信息明显并且数据量不确定的数据时，本申请实施例提供的技术方案通过将存储空间划分为大量空间较小的数据单元，能够实现精细化管理存储空间，提高存储空间利用率，避免存储资源的浪费。本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。附图说明图1为现有技术提供的一种数据管理方法示意图；图2为本申请实施例提供的一种数据管理系统的架构示意图；图3为本申请实施例提供的三级管理信息与数据单元的映射关系示意图；图4为本申请实施例提供的一种计算机设备的结构示意图；图5为本申请实施例提供的数据管理方法中添加数据的流程示意图；图6为本申请实施例提供的获取添加数据的可用数据单元的本文档来自技高网...

【技术保护点】
1.一种数据管理方法，其特征在于，所述方法包括：/n读取存储装置中的管理信息，所述管理信息包括子数据库索引信息、数据单元状态信息和数据管理信息；/n查询所述子数据库索引信息；/n当所述子数据库索引信息中包括待添加子数据库，将所述待添加子数据库的索引信息中上次添加数据的数据单元作为可用数据单元；或，/n当所述子数据库索引信息中不包括所述待添加子数据库，查询所述数据单元状态信息，获取一个未使用的数据单元作为可用数据单元；/n将所述待添加子数据库的数据写入所述可用数据单元；/n更新所述管理信息。/n

【技术特征摘要】
1.一种数据管理方法，其特征在于，所述方法包括：
读取存储装置中的管理信息，所述管理信息包括子数据库索引信息、数据单元状态信息和数据管理信息；
查询所述子数据库索引信息；
当所述子数据库索引信息中包括待添加子数据库，将所述待添加子数据库的索引信息中上次添加数据的数据单元作为可用数据单元；或，
当所述子数据库索引信息中不包括所述待添加子数据库，查询所述数据单元状态信息，获取一个未使用的数据单元作为可用数据单元；
将所述待添加子数据库的数据写入所述可用数据单元；
更新所述管理信息。


2.如权利要求1所述的方法，其特征在于，在所述读取所述管理信息之前，所述方法还包括，将所述存储装置划分为存储管理信息的部分和存储数据的部分，所述存储数据的部分包括多个数据单元。


3.如权利要求1所述的方法，其特征在于，当上次添加所述待添加子数据库数据的数据单元的存储空间不足时，所述方法还包括，查询所述数据单元状态信息，获取一个未使用的数据单元作为所述可用数据单元。


4.如权利要求1至3中任一项所述的方法，其特征在于，更新所述管理信息包括：
更新所述可用数据单元对应的数据管理信息；
更新所述待添加子数据库的索引信息。


5.如权利要求4所述的方法，其特征在于，所述方法还包括：
当写入所述待添加子数据库数据后，所述可用数据单元存储空间已满，更新所述可用数据单元对应的数据单元状态信息，将所述可用数据单元的状态标记为存储空间已满。


6.如权利要求1至5中任一项所述的方法，其特征在于，当删除子数据库时，所述方法还包括：
根据待删除子数据库的标识，查询所述数据管理信息，获得待清除的数据管理信息，所述待清除的数据管理信息中包括所述待删除子数据库的标识；
清除所述待清除的数据管理信息，更新所述数据单元状态信息，将所述待清除的数据管理信息对应的数据单元的状态标记为可用状态；
删除所述待删除子数据库的索引信息。


7.一种数据管理装置，其特征在于，所述数据管理装置包括读取模块、处理模块、写入模块，其中：
所述读取模块用于读取存储装置中的管理信息,所述管理信息包括子数据库索引信息、数据单元状态信息和数据管理信息；
当所述子数据库索引信息中包括待添加子数据库，所述处理模块用于将所述待添加子数据库的索引信息中上次添加数据的数据单元...

【专利技术属性】
技术研发人员：吴超豪，郑方舟，高剑，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44