大数据存储方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术提供一种大数据存储方法、装置、电子设备及存储介质，所述方法包括：采集流程，利用数据采集器对待采集数据进行分类采集，得到索引数据；提取流程，提取所述索引数据的特征标签，并基于所述待采集数据的关联关系获取所述特征标签之间的关联关系；存储流程，将所述特征标签和所述特征标签之间的关联关系以链式存储结构的方式保存到关系型数据库中。本发明专利技术提供的大数据存储方法、装置、电子设备及存储介质，在数据存储后保证了数据之间的关联关系不丢失，且有利于实现后续对存储数据的快速查询。查询。查询。

【技术实现步骤摘要】
大数据存储方法、装置、电子设备及存储介质


[0001]本专利技术涉及大数据存储
，尤其涉及一种大数据存储方法、装置、电子设备及存储介质。

技术介绍

[0002]数据的存储结构会直接影响后续对数据的查询过程，在对大数据进行存储时，常用到两类数据库：非关系型数据库和关系型数据库，在利用非关系型数据库对大数据进行存储后，因为非关系型数据库的本身特点导致各个数据之间缺少必要的关联关系，所以在该类型数据库中进行数据查询时，得到的数据所表达的信息相对孤立，参考价值低下。
[0003]而在利用关系型数据库对大数据进行存储后，因为关系型数据库本身具有固定数据结构的特点导致数据查询效率低下，进而由于查询超时导致无法获取到待查询数据。

技术实现思路

[0004]本专利技术的目的是提供一种大数据存储方法、装置、电子设备及存储介质，用于解决现有技术中存在的技术问题。
[0005]本专利技术提供一种大数据存储方法，包括：
[0006]采集流程，利用数据采集器对待采集数据进行分类采集，得到索引数据；
[0007]提取流程，提取所述索引数据的特征标签，并基于所述待采集数据的关联关系获取所述特征标签之间的关联关系；
[0008]存储流程，将所述特征标签和所述特征标签之间的关联关系以链式存储结构的方式保存到关系型数据库中。
[0009]根据本专利技术提供的大数据存储方法，在所述采集流程之前，所述方法还包括：生成流程，在非关系型数据库中基于网络安全数据类型生成用于分类采集数据的所述数据采集器。
[0010]根据本专利技术提供的大数据存储方法，所述提取所述索引数据的特征标签，具体包括：
[0011]利用聚合模型提取所述索引数据的所述特征标签，所述聚合模型是利用带有所述特征标签的所述索引数据进行训练得到的。
[0012]根据本专利技术提供的大数据存储方法，所述将所述特征标签和所述特征标签之间的关联关系以链式存储结构的方式保存到关系型数据库中，具体包括：
[0013]基于所述特征标签和所述特征标签之间的关联关系得到标签关联数据表；
[0014]以数据采集日期为界限，将所述标签关联数据表依次保存到关系型数据库中。
[0015]根据本专利技术提供的大数据存储方法，所述方法还包括：将所述特征标签对应的所述索引数据保存到关系型数据库中。
[0016]根据本专利技术提供的大数据存储方法，所述特征标签至少包括以下标签中的一种：网络设备运行状况标签、网络流量标签、用户行为标签、事件的时间标签和状态标签、边界
完整性标签、端口扫描标签、强力攻击标签、木马后门攻击标签、拒绝服务攻击标签、缓存区溢出攻击标签、IP碎片攻击标签以及网络蠕虫攻击标签。
[0017]本专利技术还提供一种大数据存储装置，包括：
[0018]采集模块，用于利用数据采集器对待采集数据进行分类采集，得到索引数据；
[0019]提取模块，用于提取所述索引数据的特征标签，并基于所述待采集数据的关联关系获取所述特征标签之间的关联关系；
[0020]存储模块，用于将所述特征标签和所述特征标签之间的关联关系以链式存储结构的方式保存到关系型数据库中。
[0021]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述大数据存储方法的步骤。
[0022]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述大数据存储方法的步骤。
[0023]本专利技术还提供一种计算机程序产品，所计算机程序产品包括有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述大数据存储方法的步骤。
[0024]本专利技术提供的大数据存储方法、装置、电子设备及存储介质，通过在非关系型数据库中对数据进行分类采集并存储，得到索引数据，然后依次提取各索引数据的数据标签，并将得到的数据标签以链式存储结构的形式保存在关系型数据库中，基于此，在确保各个数据之间保留原有关联关系的基础上，实现了对数据的有序存储，有利于实现后续对数据库中数据的精准快速调用，确保数据库中数据对原有数据信息的完整再现。
附图说明
[0025]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0026]图1是本专利技术提供的大数据存储方法的流程示意图之一；
[0027]图2是本专利技术提供的特征标签之间逻辑关系示意图；
[0028]图3是本专利技术提供的特征标签链表结构示意图之一；
[0029]图4是本专利技术提供的特征标签链表结构示意图之二；
[0030]图5是本专利技术提供的大数据存储方法的流程示意图之二；
[0031]图6是本专利技术提供的大数据存储方法的流程示意图之三；
[0032]图7是本专利技术提供的大数据存储装置的结构示意图；
[0033]图8是本专利技术提供的电子设备的结构示意图。
具体实施方式
[0034]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本专利技术中的附图，对本专利技术中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳
动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0035]在对数据进行存储时，常用的数据库有两种：关系型数据库和非关系型数据库，以Mysql数据库和ElasticSearch数据库为例进行比较说明；Mysql数据库作为一种典型的关系型数据库，其库表结构在需求定义中，最基本的查询算法是顺序查找(linear search)，这种复杂度为0(n)的算法在数据量很大时，其数据查找效率低下。不过计算机科学的发展为此提供了很多更优秀的查找算法，例如二分查找(binary search)、二叉树查找(binary tree search)等。但是每种查找算法都只能应用于特定的数据结构之上，例如二分查找要求被检索数据有序，而二叉树查找只能应用于二叉查找树上，而数据本身的组织结构不可能完全满足各种数据结构，(例如，理论上不可能同时将两列数据都按顺序进行组织)，所以在数据之外，数据库系统还需维护特定查找算法的数据结构。这些数据结构以某种方式引用(指向)数据，这样就可以在这些数据结构上实现高级查找算法，这种数据结构就是索引。
[0036]ElasticSearch数据库是一种典型的非关系型数据库，该数据库中的数据结构，用于性能优化所用到的几种数据结构，如用于压缩倒排索引内存存储空间的FST，用于查询条件合并的SkipList以及用于提高范围查找效率的BKDTree，对这几种数据结构在Lucene中的使用进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大数据存储方法，其特征在于，包括：采集流程，利用数据采集器对待采集数据进行分类采集，得到索引数据；提取流程，提取所述索引数据的特征标签，并基于所述待采集数据的关联关系获取所述特征标签之间的关联关系；存储流程，将所述特征标签和所述特征标签之间的关联关系以链式存储结构的方式保存到关系型数据库中。2.根据权利要求1所述的大数据存储方法，其特征在于，在所述采集流程之前，所述方法还包括：生成流程，在非关系型数据库中基于网络安全数据类型生成用于分类采集数据的所述数据采集器。3.根据权利要求1所述的大数据存储方法，其特征在于，所述提取所述索引数据的特征标签，具体包括：利用聚合模型提取所述索引数据的所述特征标签，所述聚合模型是利用带有所述特征标签的所述索引数据进行训练得到的。4.根据权利要求1所述的大数据存储方法，其特征在于，所述将所述特征标签和所述特征标签之间的关联关系以链式存储结构的方式保存到关系型数据库中，具体包括：基于所述特征标签和所述特征标签之间的关联关系得到标签关联数据表；以数据采集日期为界限，将所述标签关联数据表依次保存到关系型数据库中。5.根据权利要求1所述的大数据存储方法，其特征在于，所述方法还包括：将所述特征标签对应的所述索引数据保存到关系型数据库中。6.根据权利要...

【专利技术属性】
技术研发人员：林皓，孙肇华，杨泳，
申请(专利权)人：北京北信源软件股份有限公司，
类型：发明
国别省市：