基于实时流计算分析的特征提取系统及方法技术方案

本发明专利技术提供了一种基于实时流计算分析的特征提取系统及方法，所述系统至少包括：DSL解析层，被配置为：获取待分析事件流的多个特征，确定特征间的依赖关系，根据依赖关系进行特征的深度分组，根据深度分组结果得到特征提取的执行计划；执行层，被配置为：按照深度由大到小依次计算各个深度分组中的所有特征，进行实时流计算，得到特征提取结果；本发明专利技术简化了特征提取引擎的使用成本，提高了特征提取引擎通用性，将实时流数据特征提取引擎扩展为集群模式，实现了系统的高可用及高性能。实现了系统的高可用及高性能。实现了系统的高可用及高性能。

【技术实现步骤摘要】
基于实时流计算分析的特征提取系统及方法


[0001]本专利技术涉及数据处理
，特别涉及一种基于实时流计算分析的特征提取系统及方法。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
，并不必然构成现有技术。
[0003]无论是简单的基于静态规则的系统，还是复杂的统计模型或者机器学习模型，在采集监控系统中输入绝大部分都是已经量化的各种数据，在进行数据应用时需要从这些数据中提取各种特征。
[0004]专利技术人发现，现有的特征提取策略大多是基于预设的特征提取引擎进行相关特征提取，目前的特征提取引擎的成本较高，同时现有的特征提取引擎无法实现特征的快速提取。

技术实现思路

[0005]为了解决现有技术的不足，本专利技术提供了一种基于实时流计算分析的特征提取系统及方法，简化了特征提取引擎的使用成本，提高了特征提取引擎通用性，将实时流数据特征提取引擎扩展为集群模式，实现了系统的高可用及高性能。
[0006]为了实现上述目的，本专利技术采用如下技术方案：
[0007]本专利技术第一方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于实时流计算分析的特征提取系统，其特征在于：至少包括：DSL解析层，被配置为：获取待分析事件流的多个特征，确定特征间的依赖关系，根据依赖关系进行特征的深度分组，根据深度分组结果得到特征提取的执行计划；执行层，被配置为：按照深度由大到小依次计算各个深度分组中的所有特征，进行实时流计算，得到特征提取结果。2.如权利要求1所述的基于实时流计算分析的特征提取系统，其特征在于：还包括：状态存储层；所述状态存储层，被配置为：使用Apache Ignite或者Redis Cluster分布式内存数据库进行状态管理。3.如权利要求2所述的基于实时流计算分析的特征提取系统，其特征在于：结合消息中间件对流数据的分区功能，进行特征提取引擎的集群。4.如权利要求1所述的基于实时流计算分析的特征提取系统，其特征在于：DSL解析层，包括：Source输入流、Sink输出流、Field字段、Operator算子、Function函数、Macro宏以及Mode操作模式。5.如权利要求4所述的基于实时流计算分析的特征提取系统，其特征在于：Source输入流定义事件的输入流，终端上报数据到消息队列，实时流计算特征提取引擎将消息队列作为事件的输入流。6.如权利要求4所述的基于实时流计算分析的特征提取...

【专利技术属性】
技术研发人员：张雷，王金国，杨尚伟，
申请(专利权)人：中孚安全技术有限公司，
类型：发明
国别省市：