【技术实现步骤摘要】
本专利技术属于大数据，具体涉及一种基于大数据的网络安全威胁检测和防御方法。
技术介绍
1、现如今，随着移动网络和信息技术的发展，网络安全对人们的社会经济方面影响越来越大了，如黑客攻击、病毒传播、拒绝服务、数据泄露等网络安全威胁常常会造成巨大的经济财产损失，甚至影响整个社会的正常运行。但是现在的网络安全由于涉及巨大的数据流量，并且数据来源多样，因此传统的网络安全防御手段已经无法满足要求。
2、现有技术中，由于大数据技术的发展，出现了利用大数据技术的网络威胁检测和防御技术，对网络流量和行为进行实时监测、分析、预警并及时响应防御，这类网络安全威胁检测和防御技术能处理具有海量、多源、异构和动态性质的网络数据，并能提高数据覆盖率和利用率。但是目前由于检测技术和计算资源的限制，这类技术还存在以下问题：1、数据分析和挖掘问题：由于网络数据特征多维复杂，现有的检测技术还一定程度上存在难以提取有效特征、难以构建有效模型、难以解释分析结果等挖掘问题；2、系统性能和可扩展性问题：由于需要处理海量实时数据，并且随着系统的发展数据量会不断增加，因此可能存在计算资源不足、存储资源不足、网络资源不足等性能问题，也可能存在系统架构不灵活、系统组件不兼容、系统功能不完善等可扩展性问题。
技术实现思路
1、本专利技术目的是提供一种基于大数据的网络安全威胁检测和防御方法，以解决现有技术由于网络数据特征多维复杂而存在的数据分析和挖掘问题，以及由于需要处理的海量实时数据还会不断增加而导致的系统性能和可扩展性问题
2、所述的一种基于大数据的网络安全威胁检测和防御方法，包括下列步骤。
3、步骤一、从网络数据源收集数据并进行预处理。
4、步骤二、进行数据分析和数据挖掘，通过基于图神经网络gnn和对抗生成网络gan的结合形成的图对抗生成网络ggan处理，完成数据特征的提取和优化。
5、步骤三、对检测结果进行可视化呈现，基于上一步得到的解释和评估指标，将相关数据进行可视化呈现。
6、优选的，所述步骤一中，收集数据后对收集到的数据进行预处理，处理后的数据形成网络安全大数据；所述步骤二中，先将网络安全大数据表示为图结构，利用图神经网络提取图特征，利用对抗生成网络生成和优化对应的图神经网络的模型，同时图对抗生成网络还能提供可解释性的反馈。
7、优选的，所述步骤二包括下列步骤。
8、1)将网络数据转换为图结构，表达式为g＝(v，e，x，a)，其中，g是图结构，v是节点集合，节点表示网络中的实体；e是边集合，边表示网络关系；x是节点属性矩阵，a是邻接矩阵。
9、2)利用图神经网络对图结构进行编码和解码，分别得到图的隐含表示和重构表示。
10、3)利用对抗生成网络gan对图结构进行重新生成和优化，分别得到图的生成表示和判别表示。
11、4)利用可解释性技术对图结构进行解释和评估，得到图的解释表示和评估指标。
12、优选的，所述步骤1)中，节点集合v＝{v1，v2，...，cn}表示网络中的所有实体，每个实体用一个唯一的标识符vi表示，i＝1，2，...，n；边集合e＝{(vi，vj)}表示网络中的所有节点间的关系，每个关系用一个有序对(vi，vj)表示，表示实体vi和实体vj之间存在某种连接；节点属性矩阵表示网络中每个实体的特征向量，每一行对应一个实体，每一列对应一个特征维度；邻接矩阵表示网络中每对实体之间的连接强度，每一行和每一列分别对应一个实体，每个元素aij对应实体vi和实体vj之间的边，当网络是无权网络时，元素aij表示有无边；当网络是有权网络时，元素aij表示边的属性。
13、优选的，所述步骤2)中，图神经网络gnn的编码公式如下：
14、
15、其中，是第k层的节点v的特征向量，是第k-1层的节点u的特征向量，f(k)是第k层的更新函数，n(v)是节点v的邻居集合，euv是节点u和节点v之间边的特征向量。编码后得到的特征向量矩阵即对应图结构的隐含表示。图神经网络gnn的解码公式为：其中，是图的重构表示，g()是解码函数，h(k)是第k层的所有节点的特征向量矩阵。
16、优选的，所述步骤3)中，对抗生成网络gan的目标函数如下：
17、
18、其中，v(d，g)是对抗损失函数，d(x)是判别器对样本x的判别结果，g(z)是生成器根据噪声z生成的样本，pdata(x)表示样本x的集合，pz(z)表示噪声z的集合，和分别表示判别器将样本x判定为真实数据的期望和判别器将生成器根据噪声z生成的样本判定为虚假数据的期望；该步骤将图神经网络gnn的编码器和解码器组成对抗生成网络gan的生成器，将图神经网络gnn的重构表示作为对抗生成网络gan的输出，将真实图作为对抗生成网络gan的目标，通过训练优化重新生成的图结构。
19、优选的，所述步骤4)中，一方面利用注意力机制或重要性采样技术，对图结构中的节点和边进行权重分配，突出显示最重要或最相关的部分，从而提供图的解释表示；另一方面是利用图相似度或图距离技术，对图结构进行量化的评估，从而提供图的评估指标。
20、优选的，将系统拆分为多个能够独立部署、运行和更新的微服务，微服务之间通过轻量级的通信协议进行交互；利用弹性计算根据实时数据的规模和复杂度动态地调整每个微服务的计算资源、存储资源和网络资源；通过监控和测试技术，得到每个微服务的性能指标和可扩展性指标，对每个微服务的性能和可扩展性进行评估和验证，并根据需要进行调整。
21、优选的，微服务的拆分原则用下列表达式表示：
22、
23、其中，n是微服务的数量，nij是微服务i和微服务j之间的耦合度，si是微服务i的内聚度。耦合度表示微服务之间的依赖程度，内聚度表示微服务内部的一致程度。
24、弹性计算的目标函数表示为：
25、
26、其中，n是微服务的数量，ei是微服务i的效率指标，qi是微服务i的成本指标，基于上面的目标函数计算每个微服务的效率，并通过调整使每个微服务都能在最低成本下获得最高效率。
27、优选的，监控技术的输出表示为：mi＝{oi，ri，li}，其中，mi是微服务i的监控信息集合，oi是微服务i的运行状态信息，ri是微服务i的资源使用信息，li是微服务i的错误日志信息。
28、测试技术的输出表示为：ti＝{ti，qi，ei}，其中，ti是微服务i的测试信息集合，ti是微服务i的响应时间信息，qi是微服务i的吞吐量信息，ei是微服务i的错误率信息。
29、每个微服务的性能指标的表达式为pi＝{ei，qi}，其中，pi是微服务i的性能指标集合；每个微服务的可扩展性指标为xi＝{ti，qi，ei}，其中，xi是微服务i的可扩展性指标集合，通过比较和分析这些指标，评估和验证每个微服务的性能和可扩展性。
30、本专利技术具有以下优本文档来自技高网...
【技术保护点】
1.一种基于大数据的网络安全威胁检测和防御方法，其特征在于：包括下列步骤：
2.根据权利要求1所述的一种基于大数据的网络安全威胁检测和防御方法，其特征在于：所述步骤一中，收集数据后对收集到的数据进行预处理，处理后的数据形成网络安全大数据；所述步骤二中，先将网络安全大数据表示为图结构，利用图神经网络提取图特征，利用对抗生成网络生成和优化对应的图神经网络的模型，同时图对抗生成网络还能提供可解释性的反馈。
3.根据权利要求2所述的一种基于大数据的网络安全威胁检测和防御方法，其特征在于：所述步骤二包括下列步骤：
4.根据权利要求3所述的一种基于大数据的网络安全威胁检测和防御方法，其特征在于：所述步骤1)中，节点集合V＝{v1，v2，...，vn}表示网络中的所有实体，每个实体用一个唯一的标识符vi表示，i＝1，2，...，n；边集合E＝{(vi，vj)}表示网络中的所有节点间的关系，每个关系用一个有序对(vi，vj)表示，表示实体vi和实体vj之间存在某种连接；节点属性矩阵表示网络中每个实体的特征向量，每一行对应一个实体，每一列对应一个特征维度；邻接矩
5.根据权利要求4所述的一种基于大数据的网络安全威胁检测和防御方法，其特征在于：所述步骤2)中，图神经网络GNN的编码公式如下：
6.根据权利要求5所述的一种基于大数据的网络安全威胁检测和防御方法，其特征在于：所述步骤3)中，对抗生成网络GAN的目标函数如下：
7.根据权利要求6所述的一种基于大数据的网络安全威胁检测和防御方法，其特征在于：所述步骤4)中，一方面利用注意力机制或重要性采样技术，对图结构中的节点和边进行权重分配，突出显示最重要或最相关的部分，从而提供图的解释表示；另一方面是利用图相似度或图距离技术，对图结构进行量化的评估，从而提供图的评估指标。
8.根据权利要求1-7中任一所述的一种基于大数据的网络安全威胁检测和防御方法，其特征在于：将系统拆分为多个能够独立部署、运行和更新的微服务，微服务之间通过轻量级的通信协议进行交互；利用弹性计算根据实时数据的规模和复杂度动态地调整每个微服务的计算资源、存储资源和网络资源；通过监控和测试技术，得到每个微服务的性能指标和可扩展性指标，对每个微服务的性能和可扩展性进行评估和验证，并根据需要进行调整。
9.根据权利要求8所述的一种基于大数据的网络安全威胁检测和防御方法，其特征在于：微服务的拆分原则用下列表达式表示：
10.根据权利要求9所述的一种基于大数据的网络安全威胁检测和防御方法，其特征在于：监控技术的输出表示为：Mi＝{Oi，Ri，Li}，其中，Mi是微服务i的监控信息集合，Oi是微服务i的运行状态信息，Ri是微服务i的资源使用信息，Li是微服务i的错误日志信息；
...【技术特征摘要】
1.一种基于大数据的网络安全威胁检测和防御方法，其特征在于：包括下列步骤：
2.根据权利要求1所述的一种基于大数据的网络安全威胁检测和防御方法，其特征在于：所述步骤一中，收集数据后对收集到的数据进行预处理，处理后的数据形成网络安全大数据；所述步骤二中，先将网络安全大数据表示为图结构，利用图神经网络提取图特征，利用对抗生成网络生成和优化对应的图神经网络的模型，同时图对抗生成网络还能提供可解释性的反馈。
3.根据权利要求2所述的一种基于大数据的网络安全威胁检测和防御方法，其特征在于：所述步骤二包括下列步骤：
4.根据权利要求3所述的一种基于大数据的网络安全威胁检测和防御方法，其特征在于：所述步骤1)中，节点集合v＝{v1，v2，...，vn}表示网络中的所有实体，每个实体用一个唯一的标识符vi表示，i＝1，2，...，n；边集合e＝{(vi，vj)}表示网络中的所有节点间的关系，每个关系用一个有序对(vi，vj)表示，表示实体vi和实体vj之间存在某种连接；节点属性矩阵表示网络中每个实体的特征向量，每一行对应一个实体，每一列对应一个特征维度；邻接矩阵表示网络中每对实体之间的连接强度，每一行和每一列分别对应一个实体，每个元素aij对应实体vi和实体vj之间的边，当网络是无权网络时，元素aij表示有无边；当网络是有权网络时，元素aij表示边的属性。
5.根据权利要求4所述的一种基于大数据的网络安全威胁检测和防御方法，其特征在于：所述步骤2)中...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。