本发明专利技术提供了一种数据存储与检索装置，包括：索引文件管理模块，为数据制定索引信息，并将所述数据的索引信息记录在索引文件中；定位文件管理模块，为所述数据制定存储位置信息，并将所述数据的存储位置信息记录在定位文件中；数据文件管理模块，按所述存储文件信息，将所述数据存储为数据文件以供检索。相应地，本发明专利技术还提供了一种数据存储与检索方法。通过本发明专利技术的技术方案，可以在数据应用，尤其是在使用海量数据的场合下，避免一次性加载过量数据，减轻系统压力，同时，提高数据存储、检索和恢复的效率。
【技术实现步骤摘要】
本专利技术涉及数据存储与检索
，具体而言，涉及一种数据存储与检索装置和一种数据存储与检索方法。
技术介绍
在信息快速发展的今天，大量的数据信息给我们日常的生活带来很多方便，可以表达更多的内含或获取到更多丰富多彩的内容，如多媒体信息、地理信息等。目前，对信息数据的存储，传统的做法是倾向于使用大型数据库。数据库在连接与 快速访问中存在一定的效率问题，特别是在大型数据应用中，访问效率会呈现阶段性下降，无法满足即输即现的响应请求。因此，信息膨胀的同时带来数据存储及检索效率的降低，导致需求的信息不能被立刻呈现，特别是在一些要求高的行业应用中，比如，在地理信息系统中，位置的移动或地图的放大缩小，都需要快速查找所在区域的地理信息，如果不能做到即输即显，在本来就可能需要反复进行的地理信息查询的过程中增加大量无谓的等待数据检索、加载、呈现的时间，将会使得用户的体验大打折扣。同时，目前对于数据丢失的处理方式往往是对整个数据重新下载更新。而在海量数据应用中，这种情况涉及到的数据容量小则几百MB，大则几十GB甚至上百GB或者更多的数据，如果将这些数据都重新下载，将是令人难以想象的。在海量数据面前，任何硬件配置都不可能通过对所有数据全部加载来提高效率，特别是在硬件资源宝贵的应用场合，如嵌入式系统；而在需要即时即现的场合，如地图信息系统中，相对于大块数据完整下载呈现而言，在需要使用的时候适时加载，并快速呈现在用户面前则显得更加实用和有效。因此，需要一种新的数据存储与检索技术，可以在数据应用，尤其是在使用海量数据的场合下，避免一次性加载过量数据，减轻系统压力，同时，提高数据存储、检索和恢复的效率。
技术实现思路
本专利技术所要解决的技术问题在于，提供一种新的数据存储与检索技术，可以在数据应用，尤其是在使用海量数据的场合下，避免一次性加载过量数据，减轻系统压力，同时，提高数据存储、检索和恢复的效率。有鉴于此，本专利技术提供了一种数据存储与检索装置，包括索引文件管理模块，为需存储的数据制定索引信息，并将所述数据的索引信息记录在索引文件中；定位文件管理模块，为所述数据制定存储位置信息，并将所述数据的存储位置信息记录在定位文件中；数据文件管理模块，按所述存储位置信息，将所述数据存储为数据文件以供检索。在本技术方案中，所述索引文件管理模块为所述数据制定的索引信息可以包括所述数据的名称、所述数据的类别、所述数据对应的索引信息所处的索引级别信息，等等。除了索引信息外，索引文件中还可以进一步包括数据的描述信息，例如大小以及其他属性。在数据存储请求到来时，所述索引文件管理模块根据输入数据的内容进行分析，对其进行筛选归类如果现有索引不能满足需求，则为其建立新的索引；如找到其所属索弓丨，则在现有索引中找到下一级索引，再对其进行分配，直到分配到级别最小的索引为止。处理完毕后，所述索引文件管理模块将处理结果发至所述定位文件管理模块。所述定位文件管理模块根据所述索引文件管理模块的处理结果为所述数据制定存储位置信息，并记录于所述定位文件中，所述存储位置信息主要包括数据的存储位置，进一步地，也可以包括数据的名称、大小以及其他信息。处理完毕后，所述定位文件管理模块将处理结果发至所述数据文件管理模块。所述数据文件管理模块，根据所述定位文件管理模块的处理结果，在所述定位文件管理模块分配的文件地址空间存储所述数据以供检索。具体地，所述数据可以以二进制文件的形式进行存储，进而提高数据的存储效率。通过所述索引文件管理模块、定位文件管理模块和数据文件管理模块的配合，SP·可将数据按照索引文件、定位文件、数据文件的层次，条理清楚地存储起来，进而为快速检索、读取和恢复数据提供了保障。在上述技术方案中，优选地，所述索引文件管理模块还根据所述索引文件，判断所述数据文件中的数据是否满足检索需求；所述定位文件管理模块还在判断结果为是时，根据所述定位文件，确定所述数据文件的存储位置信息；所述数据文件管理模块还按所述数据文件的存储位置信息，获取所述数据文件，以将所述数据文件中的数据作为检索结果。在本技术方案中，当检索请求到来时，所述索引文件管理模块根据所述索引文件，判断所述数据文件中的数据是否满足检索需求，即通过所述索引文件寻找与所述检索请求要求匹配的数据。找到与所述检索请求要求匹配的数据的索引文件后，所述索引文件管理模块将该处理结果发至所述定位文件管理模块。所述定位文件管理模块根据所述索引文件管理模块发来的处理结果确定与所述检索请求要求匹配的数据的定位文件，并将该处理结果发至所述数据文件管理模块。所述数据文件管理模块根据所述定位文件管理模块发来的处理结果，分析所述定位文件，确定所述数据文件的存储位置，进而获取到所述数据文件，并将其中的数据作为检索结果。由于所述数据存储与检索装置已经将所述数据按照层次清晰的结构，并以二进制文件形式存储，所以进行检索时，通过索引文件到定位文件，定位文件到数据文件的过程，能够准确、快速地获取到相应的检索结果。在上述技术方案中，优选地，还包括数据分块模块，获取需存储的原始数据，并在所述原始数据超过预定大小时，按所述预定大小将所述原始数据分块为多个新的数据，以分别进行存储。在本技术方案中，所述数据分块模块将所述原始数据进行分块时，每一个因分块而生成的新的数据的大小可以是2M，也可以是其他能更快读写一个文件的临界值。通过引入所述数据分块模块，将所述原始数据处理为能够更快进行读写的多个占用存储空间较小的文件，这样，需要加载通过所述数据存储与检索装置存储的数据时，就可以避免一次加载过多数据，从而减轻整个数据系统的压力。具体实现过程中，数据分块模块的功能可以集成到索引文件管理模块、定位文件管理模块和数据文件管理模块中的任一模块之中，可以在发现需存储的数据时，就判断数据是否超过所述规定的文件大小或其他策略，如果超出则确定需建立新文件存储，并进行后续的存储过程。在上述技术方案中，优选地，所述索引文件管理模块还在接收到检索请求的当前服务器中未存储所述索引文件时，则从其他服务器中获取所述索引文件到所述当前服务器中；所述定位文件管理模块在所述当前服务器中未存储所述定位文件时，则从所述其他服务器中获取所述定位文件到所述当前服务器中；所述数据文件管理模块在所述当前服务器中未存储所述数据文件时，则从所述其他服务器中获取所述数据文件到所述当前服务器中。 在本技术方案中，所述数据存储与检索装置，包括其中的各个模块，可以配置灵活的执行策略。在收到所述检索请求的服务器是分布式布置，或者是设置有备份服务器的集中式布置的情况下，所述数据存储与检索装置，包括其中的各个模块，在无法在当前的服务器中获取到需要的文件时，可以自动转向所述其他服务器查询并获取相关文件。这样，就增加了所述数据存储与检索装置的灵活性和适应性。在上述技术方案中，优选地，所述定位文件管理模块为具有相同索引信息的不同数据，分配位于同一范围的存储位置信息；所述索引文件包含与其相关的定位文件的标识，用于根据该标识检索出与所述索引文件相关的所述定位文件。在本技术方案中，通过将所述具有相同索引信息的不同数据分配于同一范围的存储位置之中，以及在所述索引文件中包含与其相关的定位文件的标识，进而使得所述数据的存储层次更加清晰，在有助于提高数据检索本文档来自技高网...
【技术保护点】
一种数据存储与检索装置，其特征在于，包括：索引文件管理模块，为需存储的数据制定索引信息，并将所述数据的索引信息记录在索引文件中；定位文件管理模块，为所述数据制定存储位置信息，并将所述数据的存储位置信息记录在定位文件中；数据文件管理模块，按所述存储位置信息，将所述数据存储为数据文件以供检索。
【技术特征摘要】
【专利技术属性】
技术研发人员：李永阳，吴浩，李俊敏，
申请(专利权)人：深圳中兴网信科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。