一种数据处理方法及存储设备技术
【技术实现步骤摘要】
一种数据处理方法及存储设备
本专利技术涉及存储
，尤其涉及一种数据处理方法及存储设备。
技术介绍
高级持续性威胁(advancedpersistentthreat，APT)是一种利用先进的攻击手段对特定目标进行长期持续性网络攻击的攻击形式。从攻击原理分析，APT攻击的高级性体现在攻击者在发动APT攻击之前需要精确地收集攻击对象的业务流程信息。在收集业务流程信息的过程中，攻击者会主动分析被攻击对象所使用的应用程序的漏洞，利用这些漏洞实施攻击。为了应对APT，对APT攻击实施过程中的信息收集行为进行溯源，现有技术在企业网接入核心网的位置部署采集器。采集器将采集到的日志数据上报给存储服务器。管理员在发生一些关键的安全事件后，可以通过存储服务器安装的查询软件，例如网络安全智能系统(cybersecurityintelligentsystem，CIS)对这些关键事件进行溯源，例如通过查询会话的日志数据分析攻击者所使用的攻击网络，攻击模式等等。按时间段对会话的日志数据进行查询是最常用的一种查询方式。按时间段查询会话的日志数据的匹配过程是：存储服务器中存储的每条会话的日志...
【技术保护点】
一种数据处理方法，其特征在于，所述方法包括：存储设备接收日志存储请求，所述日志存储请求携带会话的日志数据，所述日志数据包含所述会话的开始时间和结束时间；确定所述日志数据的第一级目录的索引值，所述第一级目录的索引值用E0表示，E0＝所述会话的结束时间‑所述会话的结束时间％预设时间长度，其中％表示取余运算；确定所述日志数据的第二级目录的索引值，所述第二级目录的索引值用B0表示，B0＝所述会话的开始时间‑所述会话的开始时间％所述预设时间长度；确定所述日志数据对应的第三级目录的索引值，所述第三级目录的索引值用(X0，Y0)表示，其中，所述第三级目录的索引值中的第一向量X0＝所述会话...
【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：存储设备接收日志存储请求，所述日志存储请求携带会话的日志数据，所述日志数据包含所述会话的开始时间和结束时间；确定所述日志数据的第一级目录的索引值，所述第一级目录的索引值用E0表示，E0＝所述会话的结束时间-所述会话的结束时间％预设时间长度，其中％表示取余运算；确定所述日志数据的第二级目录的索引值，所述第二级目录的索引值用B0表示，B0＝所述会话的开始时间-所述会话的开始时间％所述预设时间长度；确定所述日志数据对应的第三级目录的索引值，所述第三级目录的索引值用(X0，Y0)表示，其中，所述第三级目录的索引值中的第一向量X0＝所述会话的结束时间％所述预设时间长度，所述第三级目录的索引值中的第二向量Y0＝所述会话的开始时间％所述预设时间长度，(X0，Y0)代表在以(E0，B0)为原点，以会话的结束时间为横坐标系，以会话的开始时间为纵坐标系的第一直角坐标系中横坐标为X0、纵坐标为Y0的一个坐标点；根据E0、B0和(X0，Y0)存储所述日志数据。2.根据权利要求1所述的方法，其特征在于，所述第一直角坐标系中坐标点(X0，Y0)的坐标值代表会话的开始时间为E0+X0，会话的结束时间为B0+Y0的会话的数量；所述根据E0、B0和(X0，Y0)存储所述日志数据之后，所述方法还包括：将所述第一直角坐标系中坐标点(X0，Y0)的坐标值加1。3.根据权利要求1或2所述的方法，其特征在于，所述根据E0、B0和(X0，Y0)存储所述日志数据，包括：查询预先建立的所有第一级目录中是否包含索引值为E0的第一级目录；若所述所有第一级目录中包含索引值为E0的第一级目录，查询所述索引值为E0的第一级目录下的所有第二级目录中是否包含索引值为B0的第二级目录；若所述索引值为E0的第一级目录下的所有第二级目录中包含索引值为B0的第二级目录，查询所述索引值为B0的第二级目录下的所有第三级目录中是否包含索引值为(X0，Y0)的第三级目录；若所述索引值为B0的第二级目录下的所有第三级目录中包含索引值为(X0，Y0)的第三级目录，将所述日志数据存储在索引值为E0的第一级目录下的、索引值为B0的第二级目录下的、索引值为(X0，Y0)的第三级目录对应的存储区域；若所述索引值为B0的第二级目录下的所有第三级目录中不包含索引值为(X0，Y0)的第三级目录，在所述索引值为B0的第二级目录下建立索引值为(X0，Y0)的第三级目录，并将所述日志数据存储在建立的第三级目录对应的存储区域；若所述索引值为E0的第一级目录下的所有第二级目录中不包含索引值为B0的第二级目录，在所述索引值为E0的第一级目录下建立索引值为B0的第二级目录，在建立的第二级目录下建立索引值为(X0，Y0)的第三级目录，并将所述日志数据存储在建立的第三级目录对应的存储区域；若所述所有第一级目录中不包含索引值为E0的第一级目录，建立索引值为E0的第一级目录；在建立的所述索引值为E0的第一级目录下建立索引值为B0的第二级目录；在建立的所述索引值为B0的第二级目录下建立索引值为(X0，Y0)的第三级目录，并将所述日志数据存储在建立的所述索引值为(X0，Y0)的第三级目录对应的存储区域。4.根据权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：所述存储设备接收日志查询请求，所述日志查询请求携带查询时间段，所述查询时间段用查询开始时间和查询结束时间来表示；确定所述查询时间段对应的第一级目录的索引值，所述查询时间段对应的第一级目录的索引值用P0表示，P0＝所述查询开始时间–所述查询开始时间％所述预设时间长度；确定所述查询时间段对应的第二级目录的索引值，所述查询时间段对应的第二级目录的索引值用Q0表示，Q0＝所述查询结束时间-所述查询结束时间％所述预设时间长度；确定所述查询时间段对应的第三级目录的索引值，所述查询时间段对应的第三级目录的索引值用(M0，N0)表示，其中，所述第三级目录的索引值中的第一向量M0＝所述查询开始时间％所述预设时间长度，所述第三级目录的索引值中的第二向量N0＝所述查询结束时间％所述预设时间长度，(M0，N0)代表在以(P0，Q0)为原点，以查询开始时间为横坐标系，以查询结束时间为纵坐标系的第二直角坐标系中横坐标为M0、纵坐标为N0的一个坐标点；根据P0、Q0和(M0，N0)，从已存储的日志数据中查找目标日志数据，其中，所述目标日志数据包含的会话的开始时间和结束时间构成的时间段与所述查询时间段有交集。5.根据权利要求4所述的方法，其特征在于，所述根据P0、Q0和(M0，N0)，从已存储的日志数据中查找目标日志数据，包括：生成目标第一级目录集合，所述目标第一级目录集合包括预先建立的所有第一级目录中索引值不小于P0的至少一个第一级目录；生成目标第二级目录集合，所述目标第二级目录集合包括每个目标第一级目录下的索引值不大于Q0的第二级目录，所述目标第一级目录为目标第一级目录集合中的一个第一级目录；对目标第二级目录，所述目标第二级目录为目标第二级目录集合中的一个第二级目录，执行以下步骤：比较目标第二级目录的索引值、所述目标第二级目录所在的目标第一级目录的索引值、P0和Q0的大小，其中B1表示所述目标第二级目录的索引值，E1表示所述目标第二级目录所在的目标第一级目录的索引值；若E1＝B1＝P0、且P0≠Q0，查询所述目标第二级目录下的目标第三级目录，所述目标第三级目录的索引值中的第一向量大于M0；将所述目标第三级目录对应的存储区域中的日志数据确定为目标日志数据；或者，若E1＝B1＝Q0、且Q0≠P0，查询所述目标第二级目录下的目标第三级目录，所述目标第三级目录的索引值中的第二向量小于N0；将所述目标第三级目录对应的存储区域中的日志数据确定为目标日志数据；或者，若E1＝B1＝Q0＝P0，查询所述目标第二级目录下的目标第三级目录，所述目标第三级目录的索引值中的第二向量不小于N0，且所述目标第三级目录的索引值中的第一向量不大于M0；将所述目标第三级目录对应的存储区域中的日志数据确定为目标日志数据；否则，将所述目标第二级目录对应的存储区域中的日志数据确定为目标日志数据。6.一种存储设备，其特征在于，所述存储设备包括：接收模块、处理模块和存储模块；所述接收模块，用于接收日志存储请求，所述日志存储请求携带会话的日志数据，所述日志数据包含所述会话的开始时间和结束时间；所述处理模块，用于确定所述日志数据的第一级目录的索引值，所述第一级目录的索引值用E0表示，E0＝所述会话的结束时间-所述会话的结束时间％预设时间长度，其中％表示取余运算；所述处理模块，还用于确定所述日志数据的第二级目录的索引值，所述第二级目录的索引值用B0表示，B0＝所述会话的开始时间-所述会话的开始时间％所述预设时间长度；所述处理模块，还用于确定所述日志数据对应的第三级目录的索引值，所述第三级目录的索引值用(X0，Y0)表示，其中，所述第三级目录的索引值中的第一向量X0＝所述会话的结束时间％所述预设时间长度，所述第三级目录的索引值中的第二向量Y0＝所述会话的开始时间％所述预设时间长度，(X0，Y0)代表在以(E0，B0)为原点，以会话的结束时间为横坐标系，以会话的开始时间为纵坐标系的第一直角坐标系中横坐标为X0、纵坐标为Y0的一个坐标点；所述存储模块，用于根据E0、B0和(X0，Y0)存储所述日志数据。7.根据权利要求6所述的存储设备，其特征在于，所述第一直角坐标系中坐标点(X0，Y0)的坐标值代表会话的开始时间为E0+X0，会话的结束时间为B0+Y0的会话的数量；在所述存储模块根据E0、B0和(X0，Y0)存储所述日志数据之后，所述处理模块，还用于将所述第一直角坐标系中坐标点(X0，Y0)的坐标值加1。8.根据权利要求6或7所述的存储设备，其特征在于，所述存储模块具体用于：查询预先建立的所有第一级目录中是否包含索引值为E0的第一级目录；若所述所有第一级目录中包含索引值为E0的第一级目录，查询所述索引值为E0的第一级目录下的所有第二级目录中是否包含索引值为B0的第二级目录；若所述索引值为E0的第一级目录下的所有第二级目录中包含索引值为B0的第二级目录，查询所述索引值为B0的第二级目录下的所有第三级目录中是否包含索引值为(X0，Y0)的第三级目录；若所述索引值为B0的第二级目录下的所有第三级目录中包含索引值为(X0，Y0)的第三级目录，将所述日志数据存储在索引值为E0的第一级目录下的、索引值为B0的第二级目录下的、索引值为(X0，Y0)的第三级目录对应的存储区域；若所述索引值为B0的第二级目录下的所有第三级目录中不包含索引值为(X0，Y0)的第三级目录，在所述索引值为B0的第二级目录下建立索引值为(X0，Y0)的第三级目录，并将所述日志数据存储在建立的第三级目录对应的存储区域；若所述索引值为E0的第一级目录下的所有第二级目录中不包含索引值为B0的第二级目录，在所述索引值为E0的第一级目录下建立索引值为B0的第二级目录，在建立的第二级目录下建立索引值为(X0，Y0)的第三级目录，并将所述日志数据存储在建立的第三级目录对应的存储区域；若所述所有第一级目录中不包含索引值为E0的第一级目录，建立索引值为E0的第一级目录；在建立的所述索引值为E0的第一级目录下建立索引值为B0的第二级目录；在建立的所述索引值为B0的第二级目录下建立索引值为(X0，Y...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。