数据存储管理的方法和装置制造方法及图纸

本申请公开了一种数据存储管理的方法和装置，属于数据存储技术领域，所述方法包括：确定数据块中标记废弃的数据单元对应的存储位置；在保持数据块中未标记废弃的数据单元之间排列顺序不变的前提下，将未标记废弃的数据单元移动至标记废弃的数据单元对应的存储位置，得到数据移动后的数据块，其中，在数据移动后的数据块中，在未标记废弃的数据单元之间的排列顺序上任意相邻的两个未标记废弃的数据单元的存储位置相邻。本申请通过已标记废弃数据的存储位置，移动未标记废弃的数据，集中数据的占用。采用本申请，空闲的存储空间会集中到数据块之后，更便于不同数据量大小的数据存入，从而可以提高存储资源的利用率。

【技术实现步骤摘要】
数据存储管理的方法和装置
本申请涉及数据存储
，特别涉及一种数据存储管理的方法和装置。
技术介绍
列式数据库是将数据表以列为单位进行存储，即数据表中一列的数据单元在存储介质中是连续存储的，其优点是有极高的加载速度，适合大量数据的扫描，还可以节省存储空间。一般，在数据表应用过程中，对数据单元进行废弃时，一般都是对一行数据单元进行废弃，所以，在列式数据库中专门存储有一列标记信息，每个标记信息对应数据表中的一行，用于标记相应的数据单元是否废弃。标记废弃的数据单元的存储位置可以用来存储新的数据。然而，在列式数据库中，标记废弃的数据单元的存储位置是随机散乱分布的，而待存储数据的数据量大小不定，无法存储到随机散乱分布的存储位置中，这就导致存储资源不能有效利用，造成了存储资源的浪费。
技术实现思路
本申请实施例提供了一种数据存储管理的方法和装置，可以解决相关技术中存储资源浪费的问题。该技术方案如下：一方面提供了一种数据存储管理的方法，应用于存储设备，方法包括：确定数据块中标记废弃的数据单元对应的存储位置；在保持数据块中未标记废弃的数据单元之间排列顺序不变的前提下，将未标记废弃的数据单元移动至标记废弃的数据单元对应的存储位置，得到数据移动后的数据块，其中，在数据移动后的数据块中，在未标记废弃的数据单元之间的排列顺序上任意相邻的两个未标记废弃的数据单元的存储位置相邻。在本申请的一个实施例中，上述在保持数据块中未标记废弃的数据单元之间排列顺序不变的前提下，将未标记废弃的数据单元移动至标记废弃的数据单元对应的存储位置，得到数据移动后的数据块之后，方法还包括：在存储设备中，按照存储位置由前至后的顺序，逐个获取存储在最前位置的数据块之后的每个数据块，每获取一个数据块，将当前获取的数据块的存储位置整体向前移动，使当前获取的数据块的头部与前一个数据块的尾部的存储位置相邻。在本申请的一个实施例中，上述将当前获取的数据块的存储位置整体向前移动，使当前获取的数据块的头部与前一个数据块的尾部的存储位置相邻，包括：将当前获取的数据块复制到缓存中；在存储设备中，删除当前获取的数据块；将缓存中存储的当前获取的数据块，复制到存储设备中与前一个数据块的尾部相邻的存储位置；清除缓存中存储的当前获取的数据块。在本申请的一个实施例中，上述在存储设备中，按照存储位置由前至后的顺序，逐个获取存储在最前位置的数据块之后的每个数据块，每获取一个数据块，将当前获取的数据块的存储位置整体向前移动，使当前获取的数据块的头部与前一个数据块的尾部的存储位置相邻之后，方法还包括：当检测到待存储的目标数据单元时，将目标数据单元存储在已存储的数据块当前占用的存储位置之后的存储位置中。在本申请的一个实施例中，上述确定数据块中标记废弃的数据单元对应的存储位置之前，方法还包括：当接收到行数据废弃指令时，获取行数据废弃指令对应的行标识，在数据块中确定行标识对应的数据单元，将行标识对应的数据单元标记为废弃。在本申请的一个实施例中，上述数据块中的数据单元的数据量相同。一方面提供了一种数据存储管理的方法，应用于存储设备，方法包括：确定标记废弃的数据单元对应的存储位置；在存储设备中，按照存储位置由后至前的顺序，逐个获取未标记废弃的数据单元，每获取一个未标记废弃的数据单元，将当前获取的未标记废弃的数据单元移动至标记废弃的数据单元对应的存储位置。在本申请的一个实施例中，上述将当前获取的未标记废弃的数据单元移动至标记废弃的数据单元对应的存储位置，包括：将当前获取的未标记废弃的数据单元复制到缓存中；在存储设备中，删除当前获取的数据单元；将缓存中存储的当前获取的数据单元，复制到存储设备中标记废弃的数据单元对应的存储位置；清除缓存中存储的当前获取的数据单元。在本申请的一个实施例中，上述将当前获取的未标记废弃的数据单元移动至标记废弃的数据单元对应的存储位置，包括：在标记废弃的数据单元对应的存储位置中，确定未移入未标记废弃的数据单元的存储位置，在未移入未标记废弃的数据单元的存储位置中，确定最靠前的目标存储位置；将当前获取的未标记废弃的数据单元移动至目标存储位置。在本申请的一个实施例中，上述在存储设备中，按照存储位置由后至前的顺序，逐个获取未标记废弃的数据单元，每获取一个未标记废弃的数据单元，将当前获取的未标记废弃的数据单元移动至标记废弃的数据单元对应的存储位置之后，方法还包括：当检测到待存储的目标数据单元时，将目标数据单元存储在已存储的数据单元当前占用的存储位置之后的存储位置中。在本申请的一个实施例中，上述确定标记废弃的数据单元对应的存储位置之前，方法还包括：当接收到行数据废弃指令时，获取行数据废弃指令对应的行标识，确定行标识对应的数据单元，将行标识对应的数据单元标记为废弃。一方面，提供了一种数据存储管理的装置，装置包括：确定模块，用于确定数据块中标记废弃的数据单元对应的存储位置；管理模块，用于在保持数据块中未标记废弃的数据单元之间排列顺序不变的前提下，将未标记废弃的数据单元移动至标记废弃的数据单元对应的存储位置，得到数据移动后的数据块，其中，在数据移动后的数据块中，在未标记废弃的数据单元之间的排列顺序上任意相邻的两个未标记废弃的数据单元的存储位置相邻。在本申请的一个实施例中，上述管理模块用于：在存储设备中，按照存储位置由前至后的顺序，逐个获取存储在最前位置的数据块之后的每个数据块，每获取一个数据块，将当前获取的数据块的存储位置整体向前移动，使当前获取的数据块的头部与前一个数据块的尾部的存储位置相邻。在本申请的一个实施例中，上述管理模块用于：将当前获取的数据块复制到缓存中；在存储设备中，废弃当前获取的数据块；将缓存中存储的当前获取的数据块，复制到存储设备中与前一个数据块的尾部相邻的存储位置；清除缓存中存储的当前获取的数据块。在本申请的一个实施例中，上述管理模块还包括：当检测到待存储的目标数据单元时，将目标数据单元存储在已存储的数据块当前占用的存储位置之后的存储位置中。在本申请的一个实施例中，上述装置还包括：标记模块，用于当接收到行数据废弃指令时，获取行数据废弃指令对应的行标识，在数据块中确定行标识对应的数据单元，将行标识对应的数据单元标记为废弃。在本申请的一个实施例中，上述数据块中的数据单元的数据量相同。一方面，提供了一种数据存储管理的装置，装置包括：确定模块，用于确定标记废弃的数据单元对应的存储位置；管理模块，在存储设备中，用于按照存储位置由后至前的顺序，逐个获取未标记废弃的数据单元，每获取一个未标记废弃的数据单元，将当前获取的未标记废弃的数据单元移动至标记废弃的数据单元对应的存储位置。在本申请的一个实施例中，上述管理模块用于：本文档来自技高网...

【技术保护点】
1.一种数据存储管理的方法，其特征在于，应用于存储设备，所述方法包括：/n确定数据块中标记废弃的数据单元对应的存储位置；/n在保持所述数据块中未标记废弃的数据单元之间排列顺序不变的前提下，将未标记废弃的数据单元移动至所述标记废弃的数据单元对应的存储位置，得到数据移动后的数据块，其中，在所述数据移动后的数据块中，在所述未标记废弃的数据单元之间的排列顺序上任意相邻的两个未标记废弃的数据单元的存储位置相邻。/n

【技术特征摘要】
1.一种数据存储管理的方法，其特征在于，应用于存储设备，所述方法包括：
确定数据块中标记废弃的数据单元对应的存储位置；
在保持所述数据块中未标记废弃的数据单元之间排列顺序不变的前提下，将未标记废弃的数据单元移动至所述标记废弃的数据单元对应的存储位置，得到数据移动后的数据块，其中，在所述数据移动后的数据块中，在所述未标记废弃的数据单元之间的排列顺序上任意相邻的两个未标记废弃的数据单元的存储位置相邻。


2.根据权利要求1所述的方法，其特征在于，所述在保持所述数据块中未标记废弃的数据单元之间排列顺序不变的前提下，将未标记废弃的数据单元移动至所述标记废弃的数据单元对应的存储位置，得到数据移动后的数据块之后，所述方法还包括：
在存储设备中，按照存储位置由前至后的顺序，逐个获取存储在最前位置的数据块之后的每个数据块，每获取一个数据块，将当前获取的数据块的存储位置整体向前移动，使当前获取的数据块的头部与前一个数据块的尾部的存储位置相邻。


3.根据权利要求2所述的方法，其特征在于，所述将当前获取的数据块的存储位置整体向前移动，使当前获取的数据块的头部与前一个数据块的尾部的存储位置相邻，包括：
将当前获取的数据块复制到缓存中；
在所述存储设备中，删除所述当前获取的数据块；
将缓存中存储的所述当前获取的数据块，复制到所述存储设备中与前一个数据块的尾部相邻的存储位置；
清除缓存中存储的所述当前获取的数据块。


4.根据权利要求2所述的方法，其特征在于，所述在存储设备中，按照存储位置由前至后的顺序，逐个获取存储在最前位置的数据块之后的每个数据块，每获取一个数据块，将当前获取的数据块的存储位置整体向前移动，使当前获取的数据块的头部与前一个数据块的尾部的存储位置相邻之后，所述方法还包括：
当检测到待存储的目标数据单元时，将所述目标数据单元存储在已存储的数据块当前占用的存储位置之后的存储位置中。


5.根据权利要求1-4任一所述的方法，其特征在于，所述确定数据块中标记废弃的数据单元对应的存储位置之前，所述方法还包括：
当接收到行数据废弃指令时，获取所述行数据废弃指令对应的行标识，在数据块中确定所述行标识对应的数据单元，将所述行标识对应的数据单元标记为废弃。


6.根据权利要求1所述的方法，其特征在于，所述数据块中的数据单元的数据量相同。


7.一种数据存储管理的方法，其特征在于，应用于存储设备，所述方法包括：
确定标记废弃的数据单元对应的存储位置；
在存储设备中，按照存储位置由后至前的顺序，逐个获取未标记废弃的数据单元，每获取一个未标记废弃的数据单元，将当前获取的未标记废弃的数据单元移动至所述标记废弃的数据单元对应的存储位置。


8.根据权利要求7所述的方法，其特征在于，所述将当前获取的未标记废弃的数据单元移动至所述标记废弃的数据单元对应的存储位置，包括：
将当前获取的未标记废弃的数据单元复制到缓存中；
在所述存储设备中，删除所述当前获取的数据单元；
将缓存中存储的所述当前获取的数据单元，复制到所述存储设备中所述标记废弃的数据单元对应的存储位置；
清除缓存中存储的所述当前获取的数据单元。


9.根据权利要求7所述的方法，其特征在于，所述将当前获取的未标记废弃的数据单元移动至所述标记废弃的数据单元对应的存储位置，包括：
在所述标记废弃的数据单元对应的存储位置中，确定未移入未标记废弃的数据单元的存储位置，在所述未移入未标记废弃的数据单元的存储位置中，确定最靠前的目标存储位置；
将当前获取的未标记废弃的数据单元移动至所述目标存储位置。


10.根据权利要求7所述的方法，其特征在于，所述在存储设备中，按照存储位置由后至前的顺序，逐个获取未标记废弃的数据单元，每获取一个未标记废弃的数据单元，将当前获取的未标记废弃的数据单元移动至所述标记废弃的数据单元对应的存储位置之后，所述方法还包括：
...

【专利技术属性】
技术研发人员：徐建昌，冯仁光，叶挺群，方家乐，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：浙江;33