一种CSV大文件快速检索方法、装置、设备、存储介质制造方法及图纸

本申请公开了一种CSV大文件快速检索方法、装置、设备、存储介质，涉及计算机技术领域，包括：基于检索数据请求从CSV文件流中确定第一地址、第二地址和结束地址；其中，第一地址为CSV文件流的标题地址，第二地址为CSV文件流的第一条数据在内存中的起始地址，结束地址为CSV文件流的最后一条数据在内存中的结束地址；将第一地址与第二地址之间的字节数作为目标步长；根据第二地址和结束地址确定CSV文件流的中心地址；以中心地址为起点，利用目标步长分别按照中心地址前方向和中心地址后方向遍历待遍历地址之间的CSV文件流，直至满足检索数据请求。优化检索算法，达到在CSV大文件中进行检索获取目标数据快速且低耗的效果。进行检索获取目标数据快速且低耗的效果。进行检索获取目标数据快速且低耗的效果。

【技术实现步骤摘要】
一种CSV大文件快速检索方法、装置、设备、存储介质


[0001]本专利技术涉及计算机
，特别涉及一种CSV大文件快速检索方法、装置、设备、存储介质。

技术介绍

[0002]目前，在股票的交易中常常存在着各种已经归档的庞大数据，例如，行情数据、交易记录、流水记录等，这类数据都会以CSV文件的方式保存在硬盘中，若对其中某一数据进行检索，则需要通过先加载所有数据，然后在内存中进行所有数据遍历检索，会消耗大量的运算资源和时间，或者直接扫描磁盘中文件的方式检索，也非常占用磁盘，并速度很慢。
[0003]综上，如何对检索的算法优化，达到快速且低耗的效果，在CSV大文件中进行快速检索获取目标数据是本领域有待解决的技术问题。

技术实现思路

[0004]有鉴于此，本专利技术的目的在于提供一种CSV大文件快速检索方法、装置、设备、存储介质，能够通过对检索的算法优化，达到快速且低耗的效果，在CSV大文件中进行快速检索获取目标数据。其具体方案如下：
[0005]第一方面，本申请公开了一种CSV大文件快速检索方法，包括：
[0006]基于检索数据请求从CSV文件流中确定第一地址、第二地址和结束地址；其中，所述第一地址为所述CSV文件流的标题地址，所述第二地址为所述CSV文件流的第一条数据在内存中的起始地址，所述结束地址为所述CSV文件流的最后一条数据在内存中的结束地址；
[0007]将所述第一地址与所述第二地址之间的字节数作为目标步长；
[0008]根据所述第二地址和所述结束地址确定所述CSV文件流的中心地址；
[0009]以所述中心地址为起点，利用所述目标步长分别按照中心地址前方向和中心地址后方向遍历待遍历地址之间的CSV文件流，直至满足检索数据请求。
[0010]可选的，所述基于检索数据请求从CSV文件流中确定第一地址之前，还包括：
[0011]获取CSV文件流，并获取用户端发送的包含索引字段和所述索引字段中目标数据内容的标识的检索数据请求。
[0012]可选的，所述获取CSV文件流，包括：
[0013]对CSV文件的所有字段进行排序，以得到排序后的CSV文件；
[0014]对所述CSV文件进行转换，以获取CSV文件流。
[0015]可选的，所述以所述中心地址为起点，利用所述目标步长分别按照中心地址前方向和中心地址后方向遍历待遍历地址之间的CSV文件流过程中，还包括：
[0016]基于所述目标步长并根据所述中心地址按照地址偏移方式，确定位于所述中心地址前方向的第三地址和位于所述中心地址后方向的第四地址；其中，所述第三地址和所述第四地址均为待遍历地址。
[0017]可选的，所述基于所述目标步长并根据所述中心地址按照地址偏移方式，确定位
于所述中心地址前方向的第三地址和位于所述中心地址后方向的第四地址，包括：
[0018]以所述中心地址为原点，分别在所述中心地址前方向和所述中心地址后方向偏移一个目标步长，遍历对应的CSV文件流，并分别判断在所述中心地址前方向和在所述中心地址后方向是否存在相应的第一目标地址和第二目标地址；若存在，则将第一目标地址后一位的地址确定为第三地址，将所述的目标地址确定为第四地址。
[0019]可选的，所述分别判断在所述中心地址前方向和在所述中心地址后方向是否存在相应的第一目标地址和第二目标地址之后，还包括：
[0020]若不存在，则触发确定新中心地址的操作，并跳转执行分别在所述中心地址前方向和所述中心地址后方向偏移一个目标步长步骤。
[0021]可选的，所述利用所述目标步长分别按照中心地址前方向和中心地址后方向遍历待遍历地址之间的CSV文件流，直至满足检索数据请求，包括：
[0022]将所述第三地址和所述第四地址之间的数据作为目标数据，并将所述目标数据从内存中取出转化为目标字符串；
[0023]比较所述目标字符串中的目标索引字段与索引字段、所述目标字符串中的目标内容标识与标识；
[0024]若比较一致，则检索结束，并将所述目标字符串返回至人机交互界面。
[0025]第二方面，本申请公开了一种CSV大文件快速检索装置，包括：
[0026]地址确定模块，用于基于检索数据请求从CSV文件流中确定第一地址、第二地址和结束地址；其中，所述第一地址为所述CSV文件流的标题地址，所述第二地址为所述CSV文件流的第一条数据在内存中的起始地址，所述结束地址为所述CSV文件流的最后一条数据在内存中的结束地址；
[0027]步长确定模块，用于将所述第一地址与所述第二地址之间的字节数作为目标步长；
[0028]中心地址确定模块，用于根据所述第二地址和所述结束地址确定所述CSV文件流的中心地址；
[0029]数据检索模块，用于以所述中心地址为起点，利用所述目标步长分别按照中心地址前方向和中心地址后方向遍历待遍历地址之间的CSV文件流，直至满足检索数据请求。
[0030]第三方面，本申请公开了一种电子设备，包括：
[0031]存储器，用于保存计算机程序；
[0032]处理器，用于执行所述计算机程序，以实现前述公开的CSV大文件快速检索方法的步骤。
[0033]第四方面，本申请公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的CSV大文件快速检索方法的步骤。
[0034]由此可见，本申请公开了一种CSV大文件快速检索方法，包括：基于检索数据请求从CSV文件流中确定第一地址、第二地址和结束地址；其中，所述第一地址为所述CSV文件流的标题地址，所述第二地址为所述CSV文件流的第一条数据在内存中的起始地址，所述结束地址为所述CSV文件流的最后一条数据在内存中的结束地址；将所述第一地址与所述第二地址之间的字节数作为目标步长；根据所述第二地址和所述结束地址确定所述CSV文件流的中心地址；以所述中心地址为起点，利用所述目标步长分别按照中心地址前方向和中心
地址后方向遍历待遍历地址之间的CSV文件流，直至满足检索数据请求。由此可见，通过从有序CSV文件流中确定出第一地址、第二地址和结束地址，然后根据第一地址和第二地址之间的字节数确定目标步长，并将该目标步长作为一个每行字节数的标准，用来在确定CSV文件流的中心位置后，利用该目标步长按照中心位置的前后方向确定待遍历地址，并以此来遍历检索待遍历地址之间的CSV文件流，直至确定检索数据请求中的目标数据在CSV文件流中的位置，停止待遍历地址确定的过程，结束检索数据。优化检索的算法，在CSV大文件中进行快速检索获取目标数据，达到快速且低耗的效果。
附图说明
[0035]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种CSV大文件快速检索方法，其特征在于，包括：基于检索数据请求从CSV文件流中确定第一地址、第二地址和结束地址；其中，所述第一地址为所述CSV文件流的标题地址，所述第二地址为所述CSV文件流的第一条数据在内存中的起始地址，所述结束地址为所述CSV文件流的最后一条数据在内存中的结束地址；将所述第一地址与所述第二地址之间的字节数作为目标步长；根据所述第二地址和所述结束地址确定所述CSV文件流的中心地址；以所述中心地址为起点，利用所述目标步长分别按照中心地址前方向和中心地址后方向遍历待遍历地址之间的CSV文件流，直至满足检索数据请求。2.根据权利要求1所述的CSV大文件快速检索方法，其特征在于，所述基于检索数据请求从CSV文件流中确定第一地址之前，还包括：获取CSV文件流，并获取用户端发送的包含索引字段和所述索引字段中目标数据内容的标识的检索数据请求。3.根据权利要求2所述的CSV大文件快速检索方法，其特征在于，所述获取CSV文件流，包括：对CSV文件的所有字段进行排序，以得到排序后的CSV文件；对所述CSV文件进行转换，以获取CSV文件流。4.根据权利要求1所述的CSV大文件快速检索方法，其特征在于，所述以所述中心地址为起点，利用所述目标步长分别按照中心地址前方向和中心地址后方向遍历待遍历地址之间的CSV文件流过程中，还包括：基于所述目标步长并根据所述中心地址按照地址偏移方式，确定位于所述中心地址前方向的第三地址和位于所述中心地址后方向的第四地址；其中，所述第三地址和所述第四地址均为待遍历地址。5.根据权利要求4所述的CSV大文件快速检索方法，其特征在于，所述基于所述目标步长并根据所述中心地址按照地址偏移方式，确定位于所述中心地址前方向的第三地址和位于所述中心地址后方向的第四地址，包括：以所述中心地址为原点，分别在所述中心地址前方向和所述中心地址后方向偏移一个目标步长，遍历对应的CSV文件流，并分别判断在所述中心地址前方向和在所述中心地址后方向是否存在相应的第一目标地址和第二目标地址；若存在，则将第一目标地...

【专利技术属性】
技术研发人员：金玉源，张昌彪，史亮，
申请(专利权)人：杭州大道一以科技有限公司，
类型：发明
国别省市：