【技术实现步骤摘要】
本专利技术涉及数据安全领域，特别涉及一种用于数据湖的动态异常检测方法。
技术介绍
1、数据湖作为一个集中式存储库，其中存储的数据包括海量的结构化数据、非结构化数据以及其他多来源多模态的原始数据。随着数据量的快速增长、数据出入湖过程的高速读写性能要求以及数据应用场景的复杂化，数据湖常常面临着需要频繁扩展存储容量来应对数据持续增加的需求。
2、专利技术专利cn113342502b公开了一种数据湖的性能诊断方法，通过第一异常值检测阈值和第二异常值检测阈值实现数据湖的当前性能与历史性能比较，从而提高确定数据湖的性能的效率，然而目前主流的数据湖多采用基于多个物理存储节点的分布式存储架构，在依赖于数据湖实时性能的数据交互过程中，存储节点往往会面临着数据在短时间内需要高速写入的请求，但通常在收到请求时再进行节点扩容会较为被动，容易导致数据写入失败，因此需要对存储节点的实时性能指标进行提前监控，在节点出现性能骤降或节点容量用尽等异常问题时作提前扩容或其他处理。因此，一种结合实时监控和预测性分析的动态检测方法，是有效识别数据湖中的异常负载和性...
【技术保护点】
1.一种用于数据湖的动态异常检测方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的一种用于数据湖的动态异常检测方法，其特征在于，数据湖中的存储节点指负责存储和管理数据的节点，所有存储节点以分布式的形式组织并共同组成数据湖的存储层，每个存储节点各存储部分数据，数据湖内通过分片技术实现数据的水平扩展和存储负载均衡。
3.根据权利要求1所述的一种用于数据湖的动态异常检测方法，其特征在于，选定数据湖中的部分存储节点，记为检测节点的方法具体为：在数据湖内的所有存储节点中，选取若干个历史上频繁处于高负载状态的存储节点作为检测节点；或者，按照...
【技术特征摘要】
1.一种用于数据湖的动态异常检测方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的一种用于数据湖的动态异常检测方法，其特征在于，数据湖中的存储节点指负责存储和管理数据的节点，所有存储节点以分布式的形式组织并共同组成数据湖的存储层，每个存储节点各存储部分数据，数据湖内通过分片技术实现数据的水平扩展和存储负载均衡。
3.根据权利要求1所述的一种用于数据湖的动态异常检测方法，其特征在于，选定数据湖中的部分存储节点，记为检测节点的方法具体为：在数据湖内的所有存储节点中，选取若干个历史上频繁处于高负载状态的存储节点作为检测节点；或者，按照随机抽样的方法选取若干个存储节点作为检测节点。
4.根据权利要求1所述的一种用于数据湖的动态异常检测方法，其特征在于，根据第一数据，建立第一动态检测模型的方法具体为：
5.根据权利要求4所述的一...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。