【技术实现步骤摘要】
本专利技术涉及网络数据融合与建模的，尤其是涉及一种基于etl的智能量测网络数据融合与建模方法及系统。
技术介绍
1、在智能量测网络的安全数据处理领域，普遍面临着处理复杂度高、数据源多样化、数据格式不一致等难题。数据的高维度和来源的广泛性使得数据融合与同步工作变得尤为困难，虽然业内已采纳一些数据融合策略，但在处理效率和数据模型的应用广泛性方面依然存在明显短板。
2、针对上述问题，目前行业内通常依赖etl（extract、transform、load，抽取、转换、加载）技术和数据仓库技术进行网络安全相关数据的储存与管理。然而，在面对海量的、特征复杂多变的智能量测网络数据时，尽管etl技术在处理大规模数据、优化数据管理流程上具有显著优势，但在数据整合与模型构建方法并未能有效利用这一技术的特点，这就导致在储存管理智能量测网络安全方面的数据时比较混乱，从而使得构建的数据模型的实用性降低。
技术实现思路
1、为了利用etl技术提高数据模型的实用性，本申请提供一种基于etl的智能量测网络数据融合与建模方法、系统、计算机设备及存储介质。
2、第一方面，本申请的上述专利技术目的是通过以下技术方案得以实现的：
3、一种基于etl的智能量测网络数据融合与建模方法，所述基于etl的智能量测网络数据融合与建模方法包括：
4、基于预设的模块化数据特征，在预设的数据仓库中对应建立若干数据采集模块；
5、获取智能量测网络的网络安全数据，对所述网络安全数据
6、分析每个所述数据采集模块中的网络安全数据，获得当前模型应用特征；
7、根据所述当前模型应用特征和所述模块化数据特征，筛选适应当前智能量测网络的数据采集模块，提取所述适应当前智能量测网络的数据采集模块中的网络安全数据，获得当前模型应用特征数据；
8、利用所述当前模型应用特征数据进行建模，获得网络安全数据模型。
9、通过采用上述技术方案，基于预设的模块化数据特征，在预设的数据仓库中对应建立若干数据采集模块，并根据网络安全数据的类型和模块化数据特征进行存储，以此模块化设计提高数据管理的灵活性，以及数据采集和存储过程的灵活性，使得可以根据实际需求轻松调整或扩展数据采集模块，且将不同类型的数据存储在相应的模块中，有助于减少数据冗余，提高数据检索和处理的效率；对获取的网络安全数据进行预处理，包括清洗、转换等操作，可以去除噪声数据、纠正错误数据，确保后续分析的数据质量，然后根据数据类型和模块化数据特征进行存储，预处理和分类存储的数据更加规范一致，有利于后续的特征提取和模型构建；通过分析每个数据采集模块中的网络安全数据，可以揭示当前的网络安全数据与当前应用场景之间的关联性和潜在规律，从而使得获得的模型应用特征能够用于筛选适应当前智能量测网络的数据采集模块，进而选择合适的模型进行训练；除了当前模型应用特征外，再结合预设的模块化数据特征，筛选适应当前智能量测网络的数据采集模块，提取其中的网络安全数据进行建模，可以显著提高模型的准确性和适用性；基于此，通过模块化数据采集、数据预处理、特征提取、数据筛选与建模等步骤，实现了对智能量测网络中网络安全数据的有效整合和高效利用，不仅提高了数据管理的灵活性和效率，还显著提升了模型的准确性和适用性，为智能量测网络的运维和管理提供了有力支持。
10、本申请在一较佳示例中可以进一步配置为：所述模块化数据特征通过以下方式获得：
11、获取不同类型量测网络的网络安全数据，其中，所述不同类型量测网络的网络安全数据包括不同类型量测网络的历史网络安全数据，以及不同类型量测网络对应的网络安全数据模型引用的数据；
12、将所述不同类型量测网络的网络安全数据按照数据来源进行分类，得到分类网络安全数据；
13、基于预设的数据要求概念特征，分别对每种所述分类网络安全数据进行分析，获得对应每种所述分类网络安全数据的模块化数据特征。
14、通过采用上述技术方案，获取不同类型量测网络的网络安全数据，包括历史数据和模型引用数据，涵盖了多种类型量测网络的数据，确保了数据的广泛性和多样性，有助于发现不同网络之间的共性，提高模块化数据特征的通用性，其中，历史数据提供了量测网络在过去一段时间内的行为模式，而模型引用数据则反映了网络在特定场景下的表现，两者结合使得数据更具代表性，能够更准确地反映量测网络的实际状况；另外，将不同类型量测网络的网络安全数据按照数据来源进行分类，例如，网络通信数据、系统日志、安全报警信息等，分类后的数据更加有序，便于后续的数据处理和分析工作，且针对不同来源的数据，可以更有针对性地提取其特有的模块化数据特征，为后续的数据融合和建模提供便利；预设的数据要求概念特征是指对网络安全相关数据的要求的概念，例如，要求网络安全相关数据的时效性，对每种分类网络安全数据进行分析，判断出每种分类网络安全数据符合时效性要求时的达标条件，例如，要求在24h之内，这样对应的模块化数据特征就是用于收集在24h内的网络安全数据，因此，通过预设的数据要求概念特征为数据分析提供了明确的标准和方向，确保了提取出的模块化数据特征的实用性和准确性，并且，当有新的量测网络类型出现时，可以轻松地按照相同的方式获取其模块化数据特征，无需对整体流程进行大规模修改；基于此，通过全面收集、清晰分类和准确分析不同类型量测网络的网络安全数据，为后续的数据处理、分析和建模过程提供了有力支持，提高了数据的全面性和代表性，确保了模块化数据特征的准确性和一致性，同时具备了良好的灵活性和可扩展性。
15、本申请在一较佳示例中可以进一步配置为：所述数据要求概念特征包括数据新颖概念特征、数据重点概念特征和数据稳定概念特征；
16、所述基于预设的数据要求概念特征，分别对每种所述分类网络安全数据进行分析，获得对应每种所述分类网络安全数据的模块化数据特征，包括：
17、分别基于所述数据新颖概念特征、数据重点概念特征和数据稳定概念特征，对每种所述分类网络安全数据进行分析，判断适应对应每种所述分类网络安全数据的数据要求概念特征，获得对应每种所述分类网络安全数据的适应性数据要求概念特征；
18、根据每种所述分类网络安全数据的适应性数据要求概念特征，判断对应每种所述分类网络安全数据的每种适应性数据要求概念特征的数据采集索引，以及特征使用条件；
19、关联所述数据采集索引和所述特征使用条件，获得对应每种所述分类网络安全数据的模块化数据特征。
20、通过采用上述技术方案，不同的数据要求概念特征聚焦于数据的不同方面，从而能够更全面地挖掘数据的价值，确保在后续的数据处理、分析和建模过程中能够充分利用这些价值，使得基于深入分析得出的模块化数据特征，可以为网络安全决策提供更加精准和有力的支持，提高决策的科学性和有效性，适应性数据要求概念是指适应每种分类网络安全本文档来自技高网...
【技术保护点】
1.一种基于ETL的智能量测网络数据融合与建模方法，其特征在于，所述基于ETL的智能量测网络数据融合与建模方法包括：
2.根据权利要求1所述的基于ETL的智能量测网络数据融合与建模方法，其特征在于，所述模块化数据特征通过以下方式获得：
3.根据权利要求2所述的基于ETL的智能量测网络数据融合与建模方法，其特征在于，所述数据要求概念特征包括数据新颖概念特征、数据重点概念特征和数据稳定概念特征；
4.根据权利要求1所述的基于ETL的智能量测网络数据融合与建模方法，其特征在于，所述分析每个所述数据采集模块中的网络安全数据，获得当前模型应用特征，包括：
5.根据权利要求3所述的基于ETL的智能量测网络数据融合与建模方法，其特征在于，所述根据所述当前模型应用特征和所述模块化数据特征，筛选适应当前智能量测网络的数据采集模块，提取所述适应当前智能量测网络的数据采集模块中的网络安全数据，获得当前模型应用特征数据，具体包括：
6.一种基于ETL的智能量测网络数据融合与建模系统，其特征在于，所述基于ETL的智能量测网络数据融合与建模系统包括
7.根据权利要求6所述的基于ETL的智能量测网络数据融合与建模系统，其特征在于，所述基于ETL的智能量测网络数据融合与建模系统还包括：
8.根据权利要求7所述的基于ETL的智能量测网络数据融合与建模系统，其特征在于，所述数据要求概念特征包括数据新颖概念特征、数据重点概念特征和数据稳定概念特征；
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述基于ETL的智能量测网络数据融合与建模方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述基于ETL的智能量测网络数据融合与建模方法的步骤。
...【技术特征摘要】
1.一种基于etl的智能量测网络数据融合与建模方法，其特征在于，所述基于etl的智能量测网络数据融合与建模方法包括：
2.根据权利要求1所述的基于etl的智能量测网络数据融合与建模方法，其特征在于，所述模块化数据特征通过以下方式获得：
3.根据权利要求2所述的基于etl的智能量测网络数据融合与建模方法，其特征在于，所述数据要求概念特征包括数据新颖概念特征、数据重点概念特征和数据稳定概念特征；
4.根据权利要求1所述的基于etl的智能量测网络数据融合与建模方法，其特征在于，所述分析每个所述数据采集模块中的网络安全数据，获得当前模型应用特征，包括：
5.根据权利要求3所述的基于etl的智能量测网络数据融合与建模方法，其特征在于，所述根据所述当前模型应用特征和所述模块化数据特征，筛选适应当前智能量测网络的数据采集模块，提取所述适应当前智能量测网络的数据采集模块中的网络安全数据，获得当前模型应用特征数据，具体包括：
<...【专利技术属性】
技术研发人员：韩文龙，胡朝辉，罗欢，查晶，陈海光，于廷文，邓建锋，
申请(专利权)人：南方电网数字平台科技广东有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。