数据的存储方法及装置制造方法及图纸

技术编号:13115011 阅读:65 留言:0更新日期:2016-04-06 07:30
本发明专利技术公开了一种数据的存储方法及装置,在上述方法中,将预设存储器件划分为第一存储区域和第二存储区域,其中,第一存储区域用于存储数据文件的索引,第二存储区域用于存储数据文件,数据文件是将待存储数据按照文件的形式进行存储;将第二存储区域划分为N个存储空间,其中,N为正整数且每个存储空间的存储容量相同;按照待存储数据生成的先后顺序依次存储至N个存储空间。根据本发明专利技术提供的技术方案,实现了对大容量数据的存储方式简便、易行,并且能够有效地提高数据搜索效率。

【技术实现步骤摘要】

本专利技术涉及数据存储领域,具体而言,涉及一种数据的存储方法及装置
技术介绍
目前,现有实现大容量数据的搜索方式通常是基于数据库或者较为复杂的算法,实现时占用的FLASH以及内存资源大,其并不适用于单片机这种资源受限的使用环境。相关技术中通常使用的大容量数据的搜索方式主要包括以下四种:方案一、面向海量数据检索的多级桶哈希索引方法,其主要包括:(1)提供桶映射表,用于减小哈希索引文件在磁盘上的占用空间;(2)哈希索引采用了多级桶,磁盘块的大小是扇区大小的整数倍,每个磁盘块有一个或多个基本桶,可以有块内溢出桶,具有全局溢出桶;(3)提供索引文件的数据缓存结构,提供了数据缓存映射表,数据缓存的管理使用缓存映射表上的双向链表实现。该方案的缺陷在于:所使用的算法过于复杂,不适合在微控制器单元(MicroControlUnit,简称为MCU,其内部集成CPU、RAM、ROM、定时器等多种外设)上使用。方案二、提供了一种海量数据的处理方法及处理装置,该方案包括:设置一数据文件及索引文件,数据文件包括至少一个文件数据块,每个文件数据块的长度相等;索引文件与数据文件相对应,包括各数据对象在数据文件中的地址偏移;在存入数据对象时,如果游标当前指向的文件数据块的剩余空间不够存储待存储的数据对象,则在待存储的数据对象将剩余空间填满后,数据文件向系统申请一块或多块新文件数据块,并将待存储数据对象中还未存入的剩余数据存入到新文件数据块中,并在索引文件中记录新存入数据对象的地址偏移;通过将游标指向欲读取的数据对象的地址偏移来读取数据文件中存储的数据对象。然而,该方案的缺陷在于:数据文件需要动态申请并划分。方案三、涉及一种实时数据库检索方法及检索系统,该方案包括:建立多级索引,依据检索区间从上一级索引的节点链接至下一级索引的节点,直到链接至私有索引;从最上级索引开始检索,从与目标区间存在交集的节点开始,向下一级的索引进行检索,直到检索到私有索引的数据块。该方案的缺陷在于:使用了数据库管理,其不适用于嵌入式系统上资源受限的场合使用。方案四、涉及一种大数量图片的存储与检索方法,包括在硬盘上划分分区,使该分区包含一级索引,二级索引,三级索引和图片数据包;三级索引中存放的内容包括:图片数据包地址和图片在图片数据包中的偏移,图片的长度和图片的拍摄时间,该方法包括以下存储步骤:获取图片;提取图片的信息,将图片的信息匹配至一级索引;若匹配成功,通过一级索引定位到二级索引;再根据二级索引定位到三级索引;以及通过三级索引定位到图片数据包,将图片存储到图片数据包,并将图片在图片数据包中的偏移,图片的长度和图片的拍摄时间记录到三级索引,并更新该图片所属的一级索引和二级索引的最晚图片时间;以及继续获取图片。该方案的缺陷在于:由于图片数据存在一定特性,故而此方案局限性较大,仅能适用于图片的存储及检索。综上所述,相关技术中并没有提出简便易行的大容量数据的存储方式,即如何通过将大容量数据细分成多个存储容量较小的文件进而存入存储介质当中。
技术实现思路
本专利技术提供了一种数据的存储方法及装置,以至少解决相关技术中缺乏简便易行的大容量数据的存储方式的问题。根据本专利技术的一个方面,提供了一种数据的存储方法。根据本专利技术实施例的数据的存储方法包括:将预设存储器件划分为第一存储区域和第二存储区域,其中,第一存储区域用于存储数据文件的索引,第二存储区域用于存储数据文件,数据文件是将待存储数据按照文件的形式进行存储;将第二存储区域划分为N个存储空间,其中,N为正整数且每个存储空间的存储容量相同;按照待存储数据生成的先后顺序依次存储至N个存储空间。优选地,按照待存储数据生成的先后顺序依次存储至N个存储空间包括:按照数据生成的先后顺序确定M由小到大取值,并在第M个存储空间中创建文件,其中,M为正整数且1≤M≤N-1;在确定第M个存储空间内的文件中存储的数据量已经达到预设存储容量阈值的情况下,对第M个存储空间内的文件进行存储,并在相邻的第M+1个存储空间内新建下一个文件,继续向新建的下一个文件中写入数据,直至将待存储数据全部写入N个存储空间。优选地,按照待存储数据生成的先后顺序依次存储至N个存储空间还包括:在每个存储空间内获取当前存储的数据所归属的类型以及每种类型数据在当前存储空间内首次出现的位置信息,其中,将每个存储空间内的文件中属于同种类型的数据采用链表的形式进行链接;对数据类型的数量和位置信息进行记录。优选地,按照待存储数据生成的先后顺序依次存储至N个存储空间还包括:将每个存储空间内的文件中存储的数据划分为T个数据段,其中,T为正整数;分别对每个数据段的起始存储时间、结束存储时间以及对该数据段的操作信息进行记录。优选地,在将预设存储器件划分为第一存储区域和第二存储区域之后,还包括:在第一存储区域记录每个存储空间内文件的起始存储时间、结束存储时间以及对该文件的操作信息。根据本专利技术的另一方面,提供了一种数据的存储装置。根据本专利技术实施例的数据的存储装置包括:第一划分模块,用于将预设存储器件划分为第一存储区域和第二存储区域,其中,第一存储区域用于存储数据文件的索引,第二存储区域用于存储数据文件,数据文件是将待存储数据按照文件的形式进行存储;第二划分模块,用于将第二存储区域划分为N个存储空间,其中,N为正整数且每个存储空间的存储容量相同;存储模块,用于按照待存储数据生成的先后顺序依次存储至N个存储空间。优选地,存储模块包括:创建单元,用于按照数据生成的先后顺序确定M由小到大取值,并在第M个存储空间中创建文件,其中,M为正整数且1≤M≤N-1;存储单元,用于在确定第M个存储空间内的文件中存储的数据量已经达到预设存储容量阈值的情况下,对第M个存储空间内的文件进行存储,并在相邻的第M+1个存储空间内新建下一个文件,继续向新建的下一个文件中写入数据,直至将待存储数据全部写入N个存储空间。优选地,存储模块还包括:获取单元,用于在每个存储空间内获取当前存储的数据所归属的类型以及每种类型数据在当前存储空间内首次出现的位置信息,其中,将每个存储空间内的文件中属于同种类型的数据采用链表的形式进行链接;第一记录单元,用于对数据类型的数量和位置信息进行记录。优选地,存储模块还包括:划分单元,用于将每个存储空间内的文件中存储的数据划分为T个数据段,其中,T为正整数;第二记录单元,用于分别对每个数据段的起始存储时间、结束存储时间以及对该数据段的操作信息进行记录。优选地,上述装置还本文档来自技高网
...

【技术保护点】
一种数据的存储方法,其特征在于,包括:将预设存储器件划分为第一存储区域和第二存储区域,其中,所述第一存储区域用于存储数据文件的索引,所述第二存储区域用于存储所述数据文件,所述数据文件是将待存储数据按照文件的形式进行存储;将所述第二存储区域划分为N个存储空间,其中,N为正整数且每个存储空间的存储容量相同;按照所述待存储数据生成的先后顺序依次存储至所述N个存储空间。

【技术特征摘要】
1.一种数据的存储方法,其特征在于,包括:
将预设存储器件划分为第一存储区域和第二存储区域,其中,所述第一存储区域用
于存储数据文件的索引,所述第二存储区域用于存储所述数据文件,所述数据文件是将
待存储数据按照文件的形式进行存储;
将所述第二存储区域划分为N个存储空间,其中,N为正整数且每个存储空间的存
储容量相同;
按照所述待存储数据生成的先后顺序依次存储至所述N个存储空间。
2.根据权利要求1所述的方法,其特征在于,按照所述待存储数据生成的先后顺序依次存
储至所述N个存储空间包括:
按照所述数据生成的先后顺序确定M由小到大取值,并在第M个存储空间中创建文
件,其中,M为正整数且1≤M≤N-1;
在确定所述第M个存储空间内的文件中存储的数据量已经达到预设存储容量阈值的
情况下,对所述第M个存储空间内的文件进行存储,并在相邻的第M+1个存储空间内新
建下一个文件,继续向新建的下一个文件中写入数据,直至将所述待存储数据全部写入
所述N个存储空间。
3.根据权利要求2所述的方法,其特征在于,按照所述待存储数据生成的先后顺序依次存
储至所述N个存储空间还包括:
在每个存储空间内获取当前存储的数据所归属的类型以及每种类型数据在当前存储
空间内首次出现的位置信息,其中,将每个存储空间内的文件中属于同种类型的数据采
用链表的形式进行链接;
对数据类型的数量和所述位置信息进行记录。
4.根据权利要求3所述的方法,其特征在于,按照所述待存储数据生成的先后顺序依次存
储至所述N个存储空间还包括:
将每个存储空间内的文件中存储的数据划分为T个数据段,其中,T为正整数;
分别对每个数据段的起始存储时间、结束存储时间以及对该数据段的操作信息进行
记录。
5.根据权利要求1至4中任一项所述的方法,其特征在于,在将所述预设存储器件划分为
所述第一存储区域和所述第二存储区域之后,还包括:
在所述第一存储区域记录每个存储空间内文件的起始存储时间、结束存储时间以及

【专利技术属性】
技术研发人员:胡爱萍
申请(专利权)人:杭州海康威视数字技术股份有限公司
类型:发明
国别省市:浙江;33

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1