业务流量存储方法、装置、电子设备和存储介质制造方法及图纸

本申请提供了一种业务流量存储方法、装置、电子设备和存储设备。该方法包括：基于采集线程根据当前采集周期的采集速度采集业务流量，并将采集到的业务流量写入第一缓存；其中，当前采集周期的采集速度根据存储速度和磁盘IO的工作状态确定；基于分析线程读取第一缓存中的业务流量进行分析，生成业务数据，并写入第二缓存；基于存储线程读取第二缓存中的业务数据按照当前存储周期的存储模式写入数据库；其中，当前存储周期的存储模式根据采集速度和磁盘IO的工作状态确定。该方法能够提高业务流量存储效率。量存储效率。量存储效率。

【技术实现步骤摘要】
业务流量存储方法、装置、电子设备和存储介质


[0001]本公开实施例涉及一种业务流量存储方法、装置、电子设备和存储介质。

技术介绍

[0002]电力系统已全面采用网络层设备进行通道安全防护，近些年来针对104规约的应用层攻击层出不穷。对于威胁采集及分析系统，需要将规约数据进行采集及存储，以便于后续程序对流量进行分析，以及后续审计使用。
[0003]电力生产控制大区分为安全I区及II区。安全I区也称实时控制区，业务流量较多，但频率并不太高；安全II区也称非实时控制区，业务流量较少。
[0004]相关技术中，对规约流量实现采集一条存储一条的方式固化存储业务流量。这样的存储方式存储效率地下。

技术实现思路

[0005]有鉴于此，本申请提供一种业务流量存储方法、装置、电子设备和存储介质，能够提高存储效率。
[0006]为解决上述技术问题，本申请的技术方案是这样实现的：
[0007]在一个实施例中，提供了一种业务流量存储方法，所述方法包括：
[0008]基于采集线程根据当前采集周期的采集速度采集业务流量，并将采集到的业务流量写入第一缓存；其中，所述当前采集周期的采集速度根据存储速度和磁盘IO的工作状态确定；所述存储速度和磁盘IO的工作状态是能够获取的最新存储周期的存储速度和磁盘IO的工作状态；
[0009]基于分析线程读取所述第一缓存中的所述业务流量进行分析，生成业务数据，并写入第二缓存；
[0010]基于存储线程读取所述第二缓存中的业务数据按照当前存储周期的存储模式写入数据库；其中，所述当前存储周期的存储模式根据采集速度和磁盘IO的工作状态确定；所述采集速度是当前能够获取的最新采集周期的采集速度；所述磁盘IO的工作状态为上一存储周期的磁盘IO的工作状态。
[0011]其中，根据存储速度和磁盘IO的工作状态确定当前采集周期的采集速度，包括：
[0012]基于所述存储线程获取最新存储周期的存储速度和磁盘IO的工作状态；
[0013]确定所述存储速度是否大于预设存储速度阈值；
[0014]响应于所述存储速度已达预设存储速度极限值，通知所述采集线程降低采集速度作为当前采集周期的采集速度；
[0015]响应于所述存储速度大于预设存储速度阈值，未达预设存储速度极限值，且磁盘IO的工作状态为饱和工作状态，通知所述采集线程降低采集速度作为当前采集周期的采集速度；
[0016]响应于所述存储速度不大于预设存储速度阈值，且磁盘IO的工作状态为非饱和工
作状态，通知所述采集线程提高采集速度作为当前采集周期的采集速度。
[0017]其中，根据采集速度和磁盘IO的工作状态确定当前存储周期的存储模式，包括：
[0018]获取最新采集周期的采集速度，以及上一存储周期的磁盘IO的工作状态；其中，所述采集速度是所述采集线程在最新采集周期结束时计算获得的；
[0019]若采集速度变大，且磁盘IO的工作状态未达饱和工作状态，则调整存储模式为存储速度更快的存储模式为当前存储周期的存储模式；
[0020]若采集速度变小，则调整存储模式为存储速度更小的存储模式作为当前存储周期的存储模式。
[0021]其中，所述方法进一步包括：
[0022]基于存储线程周期计算存储速度；
[0023]比较计算的当前存储周期的存储速度与能获取的最新采集周期的采集速度；
[0024]响应于所述最新采集周期的采集速度大于所述当前存储周期的存储速度，调整存储模式为存储速度更大的存储模式；
[0025]响应于所述最新采集周期的采集速度小于所述当前存储周期的存储速度，调整存储模式为存储速度更小的存储模式。
[0026]其中，所述采集速度包括：第一采集速度、第二采集数据和第三采集速度；其中，所述第一采集速度小于所述第二采集速度；所述第二采集速度小于所述第三采集速度；
[0027]所述存储模式包括：第一存储模式、第二存储模式和第三存储模式；其中，所述第一存储模式包括第一压缩模式和第一打包模式；所述第二存储模式包括第二压缩模式和第二打包模式；所述第三存储模式包括第三压缩模式和第三打包模式；所述第一存储模式存储数据的速度小于第二存储模式存储数据的速度，所述第二存储模式存储数据的速度小于第三存储模式存储数据的速度。
[0028]其中，
[0029]在存储过程中，基于所述第一压缩模式压缩时，业务数据存储内容为原始APDU帧内容；
[0030]基于所述第二压缩模式压缩时，将U帧、S帧优化处理；
[0031]基于所述第三压缩模式压缩时，不存储U帧、S帧的APDU内容，对I帧优化处理。
[0032]其中，
[0033]在存储过程中，基于所述第一打包模式打包时，分别将每条业务数据写入磁盘数据库中；
[0034]基于所述第二打包模式打包时，将容量大于预设有序链表容量值的有序链表存储到磁盘数据库中，并清空对应有序链表的内容；所述有序链表存储多条业务数据；
[0035]基于所述第三打包模式打包时，将存储容量大于预设哈希链表容量值的哈希链表存储到磁盘数据库中，并清空对应的哈希链表的内容；所述哈希链表根据源、目的IP将业务数据加入不同的哈希链表。
[0036]在另一个实施例中，提供了一种业务流量存储装置，所述装置包括：
[0037]采集单元，被配置为执行基于采集线程根据当前采集周期的采集速度采集业务流量，并将采集到的业务流量写入第一缓存；其中，所述当前采集周期的采集速度根据上一存储周期存储线程的存储速度，以及IO的工作状态确定；
[0038]分析单元，被配置为执行基于分析线程读取所述第一缓存中的所述业务流量进行分析，生成业务数据，并写入第二缓存；
[0039]存储单元，被配置为执行基于存储线程读取所述第二缓存中的协议报文按照当前存储周期的存储模式写入数据库；其中，所述当前存储周期的存储模式根据上一采集周期的采集速度和磁盘IO的工作状态确定。
[0040]在另一个实施例中，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述业务流量存储方法的步骤。
[0041]在另一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述业务流量存储方法的步骤。
[0042]由上面的技术方案可见，上述实施例中通过采集、分析和存储三个线程协同进行数据的采集、分析和存储，并基于采集速度和磁盘IO的工作状态动态调整存储模式，基于存储速度和磁盘IO的工作状态动态调整采集速度，让采集、分析和存储根据实际应用情况达到一个平衡状态，进而提高业务流量存储的效率。
附图说明
[0043]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种业务流量存储方法，其特征在于，所述方法包括：基于采集线程根据当前采集周期的采集速度采集业务流量，并将采集到的业务流量写入第一缓存；其中，所述当前采集周期的采集速度根据存储速度和磁盘IO的工作状态确定；所述存储速度和磁盘IO的工作状态是能够获取的最新存储周期的存储速度和磁盘IO的工作状态；基于分析线程读取所述第一缓存中的所述业务流量进行分析，生成业务数据，并写入第二缓存；基于存储线程读取所述第二缓存中的业务数据按照当前存储周期的存储模式写入数据库；其中，所述当前存储周期的存储模式根据采集速度和磁盘IO的工作状态确定；所述采集速度是当前能够获取的最新采集周期的采集速度；所述磁盘IO的工作状态为上一存储周期的磁盘IO的工作状态。2.根据权利要求1所述的方法，其特征在于，根据存储速度和磁盘IO的工作状态确定当前采集周期的采集速度，包括：基于所述存储线程获取最新存储周期的存储速度和磁盘IO的工作状态；确定所述存储速度是否大于预设存储速度阈值；响应于所述存储速度已达预设存储速度极限值，通知所述采集线程降低采集速度作为当前采集周期的采集速度；响应于所述存储速度大于预设存储速度阈值，未达预设存储速度极限值，且磁盘IO的工作状态为饱和工作状态，通知所述采集线程降低采集速度作为当前采集周期的采集速度；响应于所述存储速度不大于预设存储速度阈值，且磁盘IO的工作状态为非饱和工作状态，通知所述采集线程提高采集速度作为当前采集周期的采集速度。3.根据权利要求1所述的方法，其特征在于，根据采集速度和磁盘IO的工作状态确定当前存储周期的存储模式，包括：获取最新采集周期的采集速度，以及上一存储周期的磁盘IO的工作状态；其中，所述采集速度是所述采集线程在最新采集周期结束时计算获得的；若采集速度变大，且磁盘IO的工作状态未达饱和工作状态，则调整存储模式为存储速度更快的存储模式为当前存储周期的存储模式；若采集速度变小，则调整存储模式为存储速度更小的存储模式作为当前存储周期的存储模式。4.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：基于存储线程周期计算存储速度；比较计算的当前存储周期的存储速度与能获取的最新采集周期的采集速度；响应于所述最新采集周期的采集速度大于所述当前存储周期的存储速度，调整存储模式为存储速度更大的存储模式；响应于所述最新采集周期的采集速度小于所述当前存储周期的存储速度，调整存储模式为存储速度更小的存储模式。5.根据权利要求1所述的方法，其...

【专利技术属性】
技术研发人员：吴荣春，张治兵，刘欣东，张亚薇，薄菁，
申请(专利权)人：国网上海市电力公司国家电网有限公司中国电力科学研究院有限公司，
类型：发明
国别省市：