一种大批量数据的快速存储和快速检索算法制造技术

本发明专利技术公开了一种大批量数据的快速存储和快速检索算法，包括将文件按照一种存储方式进行存储，按照规定好的文件存储结构以及文件数据的存储顺序进行存储，按照固定的数据格式将文件数据进行存储，数据存储的过程中增加数据变量或者减少数据变量，增加double类型Tag3、Tag4，在运行过程中会删除变量，删除Tag1，增加和删除变量时软件不是停止的，即存储过程一直在执行，查找变量Tag1在一个时间段之间的所有数据，在大文件中如何快速的检索符合条件的一个或多个数据，查找变量Tag1在一个时间段之间的所有数据，该数据检索算法直接大大提高了存储、读取、检索和删除操作的工作效率。率。率。

【技术实现步骤摘要】
一种大批量数据的快速存储和快速检索算法


[0001]本专利技术涉及数据处理
，具体为一种大批量数据的快速存储和快速检索算法。

技术介绍

[0002]数据存储对象包括数据流在加工过程中产生的临时文件或加工过程中需要查找的信息。数据以某种格式记录在计算机内部或外部存储介质上，数据存储要命名，这种命名要反映信息特征的组成含义，数据流反映了系统中流动的数据，表现出动态数据的特征，数据存储反映系统中静止的数据，表现出静态数据的特征。
[0003]磁盘和磁带都是常用的存储介质，数据存储组织方式因存储介质而异。在磁带上数据仅按顺序文件方式存取，在磁盘上则可按使用要求采用顺序存取或直接存取方式，数据存储方式与数据文件组织密切相关，其关键在于建立记录的逻辑与物理顺序间对应关系，确定存储地址，以提高数据存取速度。
[0004]涉及到数据处理
，具体而言，涉及到大批量数据的频繁存储、检索的方法、计算机程序产品或算法。
[0005]数据处理是计算机软件中的一项重要任务，其包括：数据存储、读取、检索、删除等功能，涉及到大批量数据，如几个G甚至几十个G的操作，工作效率会严重下降。
[0006]目前市场上大数据处理大部分使用数据库，在文件上操作大数据的产品或算法较少，而大文件操作的效率低下，但是在实际场景中，又必须使用文件，目前的算法已经不能满足项目的需求，因此，亟待一种改进的技术来解决现有技术中所存在的这一问题。

技术实现思路

[0007]本专利技术的目的在于提供一种将文件按照一种存储方式进行存储，按照规定好的文件存储结构以及文件数据的存储顺序进行存储，按照固定的数据格式将文件数据进行存储，数据存储的过程中增加数据变量或者减少数据变量，增加double类型Tag3、Tag4，在运行过程中会删除变量，删除Tag1，增加和删除变量时软件不是停止的，即存储过程一直在执行，查找变量Tag1在一个时间段之间的所有数据，在大文件中如何快速的检索符合条件的一个或多个数据，查找变量Tag1在一个时间段之间的所有数据，大大提高了存储、读取、检索和删除操作的工作效率的大批量数据的快速存储和快速检索算法，以解决上述
技术介绍
中提出的问题。
[0008]为实现上述目的，本专利技术提供如下技术方案：一种大批量数据的快速存储和快速检索算法，所述
[0009]将文件按照一种存储方式进行存储；
[0010]按照规定好的文件存储结构以及文件数据的存储顺序进行存储；
[0011]按照固定的数据格式将文件数据进行存储，数据存储的过程中增加数据变量或者减少数据变量；
[0012]在运行过程中增加变量，增加double类型Tag3、Tag4；
[0013]在运行过程中删除变量，删除Tag1；
[0014]增加和删除变量时软件存储过程一直保持执行状态；
[0015]在大文件中如何快速的检索符合条件的一个或多个数据，查找变量Tag1在一个时间段之间的所有数据。
[0016]优选的，所述
[0017]规定一种数据的固定存储方式并建立数据的存储位置，并对建立好的不同的数据存储位置进行标记；
[0018]在建立好的数据存储位置添加变量整型Tag1、Tag2，添加的变量整型Tag1、Tag2与对应的数据存储位置进行映射。
[0019]优选的，所述启动软件，并接收数据，软件将接收到的数据进行识别并分类；
[0020]数据的存储过程中记录数据的存储时间，数据的接收时间，数据中添加变量，标注存储数据的类型；
[0021]将分类的数据找到对应数据存储的映射路径，每200ms存储一次，存储数据。
[0022]优选的，所述查找变量Tag1的时候采用二分检索；
[0023]首先查找的数据集按照一定的顺序排列；
[0024]获取数据集中最中间的数据元素，并将数据集中最中间的数据元素与目标元素进行比较；
[0025]当目标元素等于中间元素，则检索结束后返回引索，当目标元素大于中间元素，则在右半部分进行查找，否则在数据集中最中间的数据元素的左半部分查找。
[0026]与现有技术相比，本专利技术的有益效果是：
[0027]该数据检索算法直接大大提高了存储、读取、检索和删除操作的工作效率。
附图说明
[0028]图1为本专利技术大批量数据的快速存储和快速检索算法流程示意图。
具体实施方式
[0029]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0030]请参阅图1，本专利技术提供一种技术方案：一种大批量数据的快速存储和快速检索算法，所述
[0031]将文件按照一种存储方式进行存储；
[0032]按照规定好的文件存储结构以及文件数据的存储顺序进行存储；
[0033]按照固定的数据格式将文件数据进行存储，数据存储的过程中增加数据变量或者减少数据变量；
[0034]在运行过程中增加变量，增加double类型Tag3、Tag4；
[0035]在运行过程中删除变量，删除Tag1；
[0036]增加和删除变量时软件存储过程一直保持执行状态；
[0037]在大文件中如何快速的检索符合条件的一个或多个数据，查找变量Tag1在一个时间段之间的所有数据。
[0038]将文件按照一种存储方式进行存储，规定一种数据的固定存储方式并建立数据的存储位置，并对建立好的不同的数据存储位置进行标记；
[0039]在建立好的数据存储位置添加变量整型Tag1、Tag2，添加的变量整型Tag1、Tag2与对应的数据存储位置进行映射。
[0040]启动软件，并接收数据，软件将接收到的数据进行识别并分类，数据的存储过程中记录数据的存储时间，数据的接收时间，数据中添加变量，标注存储数据的类型，将分类的数据找到对应数据存储的映射路径，每200ms存储一次，存储数据。
[0041]在运行过程中增加变量，增加double类型Tag3、Tag4，在运行过程中删除变量，删除Tag1，增加和删除变量时软件存储过程一直保持执行状态。
[0042]查找变量Tag1的时候采用二分检索，首先查找的数据集按照一定的顺序排列，获取数据集中最中间的数据元素，并将数据集中最中间的数据元素与目标元素进行比较，当目标元素等于中间元素，则检索结束后返回引索，当目标元素大于中间元素，则在右半部分进行查找，否则在数据集中最中间的数据元素的左半部分查找。
[0043]该数据检索算法直接大大提高了存储、读取、检索和删除操作的工作效率。
[0044]尽管已经示出和描述了本专利技术的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本专利技术的原理和精神的情况下可以对这些实施例进行多种变化、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大批量数据的快速存储和快速检索算法，其特征在于：所述将文件按照一种存储方式进行存储；按照规定好的文件存储结构以及文件数据的存储顺序进行存储；按照固定的数据格式将文件数据进行存储，数据存储的过程中增加数据变量或者减少数据变量；在运行过程中增加变量，增加double类型Tag3、Tag4；在运行过程中删除变量，删除Tag1；增加和删除变量时软件存储过程一直保持执行状态；在大文件中如何快速的检索符合条件的一个或多个数据，查找变量Tag1在一个时间段之间的所有数据。2.根据权利要求1所述的一种大批量数据的快速存储和快速检索算法，其特征在于：所述规定一种数据的固定存储方式并建立数据的存储位置，并对建立好的不同的数据存储位置进行标记；在建立好的数据存储位置添加变量整型Tag1、Tag2，添加的变量整型Tag1、...

【专利技术属性】
技术研发人员：李朝斌，周政强，季俊，温宜明，董志强，
申请(专利权)人：北京康吉森技术有限公司，
类型：发明
国别省市：