一种索引创建方法、装置和存储介质制造方法及图纸

本申请提供一种索引创建方法、装置和存储介质，涉及数据处理技术领域，用于解决无法合理地创建索引的技术问题。该方法包括：在获取目标时间段内的数据流的五元组信息和数据流中，每个数据的存储位置信息后，确定数据流的哈希值，并将目标时间段、数据流的五元组信息、数据流的哈希值和每个数据的存储位置信息确定为数据流的索引。本申请提高了创建索引的合理性。理性。理性。

【技术实现步骤摘要】
一种索引创建方法、装置和存储介质


[0001]本申请属于数据处理
，尤其涉及一种索引创建方法、装置和存储介质。

技术介绍

[0002]随着网络传输速度的加快，互联网中产生了海量的数据。当网络发生异常(例如病毒攻击等)时，为了确定异常原因，一般需要调用用于记录网络中所产生数据的日志文件，以查询与异常相关的数据。
[0003]目前，为了便于查询与异常相关的数据，通常会创建用于查询日志文件中各数据的索引。现有技术中，在创建索引时，主要采用数据库索引和位图索引等方法。数据库索引是针对日志文件中的每条数据创建索引。位图索引是针对类型相同的数据创建位图作为索引。
[0004]但是，当面对海量的数据时，若采用数据库索引的方法，则需要创建大量的索引，且查询较多数据时，需要调用每条数据的索引。若采用位图索引的方法，则需要创建大量的位图，消耗较多存储空间，且位图被压缩存储后，不便于调用。可见，相关技术中，创建索引的方式已不能很好地满足数据查询的需求。
[0005]因此，如何合理地创建用于查询数据的索引已成为亟待解决的问题。

技术实现思路

[0006]本申请提供一种索引创建方法、装置和存储介质，用于解决无法合理地创建索引的问题。
[0007]为达到上述目的，本申请采用如下技术方案：
[0008]第一方面，提供一种索引创建方法，包括：在获取目标时间段内的数据流的五元组信息和数据流中，每个数据的存储位置信息后，确定数据流的哈希值，并将目标时间段、数据流的五元组信息、数据流的哈希值和每个数据的存储位置信息确定为数据流的索引。
[0009]可选的，数据流的五元组信息包括四元组信息和传输层协议。四元组信息包括源互联网协议IP地址、源端口、目的IP地址和目的端口。确定数据流的哈希值的方法，具体包括：确定四元组信息中每一项的哈希值。按照预设顺序拼接每一项的哈希值，以得到数据流的哈希值。
[0010]可选的，获取数据流中，每个数据的存储位置信息的方法，具体包括：对每个数据均执行第一操作，以得到每个数据的存储位置信息。其中，第一操作包括：确定一个数据在目标文件中的存储序号。目标文件为用于存储目标时间段内的数据流的文件。将一个数据的偏移量和一个数据的前一个数据的偏移量之间的差值，确定为一个数据的偏移信息。将一个数据的存储序号和一个数据的偏移信息确定为一个数据的存储位置信息。
[0011]可选的，该索引创建方法，还包括：获取查询请求消息。查询请求消息包括待查询时间段和待查询地址。待查询地址包括待查询端口和待查询IP地址中的至少一项。确定与待查询地址对应的待查询哈希值，并获取与待查询哈希值和待查询时间段对应的待查询数
据流。当待查询数据流的五元组信息包括待查询地址时，输出待查询数据流。
[0012]第二方面，提供一种索引创建装置，该索引创建装置，包括：获取单元和确定单元。获取单元，用于获取目标时间段内的数据流的五元组信息和数据流中，每个数据的存储位置信息。确定单元，用于确定数据流的哈希值。确定单元，还用于确定将目标时间段、数据流的五元组信息、数据流的哈希值和每个数据的存储位置信息确定为数据流的索引。
[0013]可选的，数据流的五元组信息包括四元组信息和传输层协议。四元组信息包括源互联网协议IP地址、源端口、目的IP地址和目的端口。确定单元，具体用于：确定四元组信息中每一项的哈希值。按照预设顺序拼接每一项的哈希值，以得到数据流的哈希值。
[0014]可选的，获取单元，具体用于：对每个数据均执行第一操作，以得到每个数据的存储位置信息。其中，第一操作包括：确定一个数据在目标文件中的存储序号。目标文件为用于存储目标时间段内的数据流的文件。将一个数据的偏移量和一个数据的前一个数据的偏移量之间的差值，确定为一个数据的偏移信息。将一个数据的存储序号和一个数据的偏移信息确定为一个数据的存储位置信息。
[0015]可选的，该索引创建装置，还包括：输出单元。获取单元，还用于获取查询请求消息。查询请求消息包括待查询时间段和待查询地址。待查询地址包括待查询端口和待查询IP地址中的至少一项。确定单元，还用于确定与获取单元获取到的待查询地址对应的待查询哈希值，并获取与待查询哈希值和待查询时间段对应的待查询数据流。输出单元，用于当待查询数据流的五元组信息包括待查询地址时，输出待查询数据流。
[0016]第三方面，提供一种索引创建装置，包括存储器和处理器；存储器用于存储计算机执行指令，处理器与存储器通过总线连接；当索引创建装置运行时，处理器执行存储器存储的计算机执行指令，以使索引创建装置执行如第一方面的索引创建方法。
[0017]该索引创建装置可以是网络设备，也可以是网络设备中的一部分装置，例如网络设备中的芯片系统。该芯片系统用于支持网络设备实现第一方面及其任意一种可能的实现方式中所涉及的功能，例如，接收、确定、分流上述数据处理方法中所涉及的数据和/或信息。该芯片系统包括芯片，也可以包括其他分立器件或电路结构。
[0018]第四方面，提供一种计算机可读存储介质，其特征在于，计算机可读存储介质包括计算机执行指令，当计算机执行指令在计算机上运行时，使得计算机执行如第一方面的索引创建方法。
[0019]需要说明的是，上述计算机指令可以全部或者部分存储在第一计算机可读存储介质上。其中，第一计算机可读存储介质可以与索引创建装置的处理器封装在一起的，也可以与索引创建装置的处理器单独封装，本申请对此不作限定。
[0020]在本申请中，上述索引创建装置的名字对设备或功能模块本身不构成限定，在实际实现中，这些设备或功能模块可以以其他名称出现。只要各个设备或功能模块的功能和本申请类似，属于本申请权利要求及其等同技术的范围之内。
[0021]本申请的这些方面或其他方面在以下的描述中会更加简明易懂。
[0022]本申请提供的技术方案至少带来以下有益效果：
[0023]基于上述任一方面，本申请中，在获取目标时间段内的数据流的五元组信息和数据流中，每个数据的存储位置信息，并确定数据流的哈希值后，可以将目标时间段、数据流的五元组信息、数据流的哈希值和每个数据的存储位置信息确定为数据流的索引。
[0024]本申请中，可以针对一个时间段内的一个数据流创建一个索引，且采用哈希值标记数据流，可以降低索引占用的存储空间。同时，该索引中还记录了数据流中的每个数据的存储位置信息，可以实现通过一个索引查询到多个数据的效果。为了避免哈希冲突，该索引中还包括了数据流的五元组信息，以验证查询结果的正确性。因此，本申请提高了创建索引的合理性。
附图说明
[0025]图1为本申请实施例提供的一种索引创建系统的结构示意图；
[0026]图2为本申请实施例提供的通信装置的一种硬件结构示意图；
[0027]图3为本申请实施例提供的通信装置的又一种硬件结构示意图；
[0028]图4为本申请实施例提供的一种索引创建方法的流程示意图一；
[0029本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种索引创建方法，其特征在于，包括：获取目标时间段内的数据流的五元组信息和所述数据流中，每个数据的存储位置信息；确定所述数据流的哈希值；将所述目标时间段、所述数据流的五元组信息、所述数据流的哈希值和所述每个数据的存储位置信息确定为所述数据流的索引。2.根据权利要求1所述的索引创建方法，其特征在于，所述数据流的五元组信息包括四元组信息和传输层协议；所述四元组信息包括源互联网协议IP地址、源端口、目的IP地址和目的端口；所述确定所述数据流的哈希值，包括：确定所述四元组信息中每一项的哈希值；按照预设顺序拼接所述每一项的哈希值，以得到所述数据流的哈希值。3.根据权利要求1所述的索引创建方法，其特征在于，所述获取所述数据流中，每个数据的存储位置信息，包括：对所述每个数据均执行第一操作，以得到所述每个数据的存储位置信息；其中，所述第一操作包括：确定一个数据在目标文件中的存储序号；所述目标文件为用于存储所述目标时间段内的数据流的文件；将所述一个数据的偏移量和所述一个数据的前一个数据的偏移量之间的差值，确定为所述一个数据的偏移信息；将所述一个数据的存储序号和所述一个数据的偏移信息确定为所述一个数据的存储位置信息。4.根据权利要求2所述的索引创建方法，其特征在于，还包括：获取查询请求消息；所述查询请求消息包括待查询时间段和待查询地址；所述待查询地址包括待查询端口和待查询IP地址中的至少一项；确定与所述待查询地址对应的待查询哈希值，并获取与所述待查询哈希值和所述待查询时间段对应的待查询数据流；当所述待查询数据流的五元组信息包括所述待查询地址时，输出所述待查询数据流。5.一种索引创建装置，其特征在于，包括：获取单元和确定单元；所述获取单元，用于获取目标时间段内的数据流的五元组信息和所述数据流中，每个数据的存储位置信息；所述确定单元，用于确定所述数据流的哈希值；所述确定单元，还用于确定将所述目标时间段、所述数据流的五元组信息、所述数据流的哈希值和所述每个数据的存储位置信息确定为所述数据流的索引...

【专利技术属性】
技术研发人员：苗海泉，张春飞，张尚，
申请(专利权)人：亚信科技成都有限公司，
类型：发明
国别省市：