一种数据流自动富化的方法和装置制造方法及图纸

本发明专利技术提供一种数据流自动富化的方法和装置，所述方法包括：加载富化规则配置表；其中，所述富化规则配置表包括至少一个富化算子的配置信息和规则信息；确定业务对应的目标富化算子；接收所述业务的原始数据流，通过所述目标富化算子的配置信息和规则信息对所述原始数据流进行富化处理，得到富化数据流。本发明专利技术提供的数据流自动富化的方法可以通过富化规则配置表的自定义配置在不中断富化处理进程的前提下修改富化算子的配置信息和规则信息，从而降低富化算子与业务之间的耦合性，提高富化算子的可用性。高富化算子的可用性。高富化算子的可用性。

【技术实现步骤摘要】
一种数据流自动富化的方法和装置


[0001]本专利技术涉及数据处理
，尤其涉及一种数据流自动富化的方法和装置。

技术介绍

[0002]大数据可分为批式大数据和流式大数据两类。其中，流式大数据又被称为数据流，数据流可被视为一个随时间延续而无限增长的动态数据集合，应用于网络监控、传感器网络、航空航天、气象测控和金融服务等领域。在安全行业中，通常需要对安全数据构成的数据流进行富化，利用富化后的数据流进行综合分析，以便及时发现存在的安全威胁。
[0003]现有技术中，数据流的富化类操作通常是依赖于固定的富化数据来源、固定的富化算子配置信息与固定的富化算子规则信息实现，这种实现方式较为固化，富化算子与业务之间耦合性高，不能适应快速变更的业务需求。
[0004]如何实现自定义配置多种富化算子，提高富化算子的可用性，是目前需要解决的技术问题。

技术实现思路

[0005]本专利技术提供一种数据流自动富化的方法和装置，用以解决现有技术中富化算子与业务之间耦合性高的缺陷，实现自定义配置多种富化算子，提高富化算子的可用性。
[0006]本专利技术提供一种数据流自动富化的方法，包括：
[0007]加载富化规则配置表；其中，所述富化规则配置表包括至少一个富化算子的配置信息和规则信息；
[0008]确定业务对应的目标富化算子；
[0009]接收所述业务的原始数据流，通过所述目标富化算子的配置信息和规则信息对所述原始数据流进行富化处理，得到富化数据流。
[0010]根据本专利技术提供的一种数据流自动富化的方法，每个所述富化算子具有唯一确定的算子标识，且所述富化规则配置表中存储有算子标识与富化算子的对应关系；
[0011]所述在接收所述业务的原始数据流之前，所述方法还包括：
[0012]调用数据查询服务从所述富化规则配置表中获取每个算子标识对应的富化算子；
[0013]基于所述目标富化算子对应的算子标识，将所述目标富化算子的配置信息和规则信息加载至内存中；和/或，
[0014]基于所述目标富化算子对应的算子标识，调用数据查询服务从所述富化规则配置表中获取所述目标富化算子，并将所述目标富化算子的配置信息和规则信息加载至内存中。
[0015]根据本专利技术提供的一种数据流自动富化的方法，所述目标富化算子为三方接口富化算子；所述三方接口的待富化数据存储于二级缓存，所述二级缓存包括本地缓存；
[0016]所述通过所述目标富化算子的配置信息和规则信息对所述原始数据流进行富化处理，得到富化数据流，包括：
[0017]从所述内存中获取所述三方接口富化算子对应的第一配置信息和第一规则信息；其中，所述第一配置信息用于确定所述原始数据流中用于进行富化处理的字段名称，所述第一规则信息用于通过所述三方接口富化算子将所述待富化数据对应添加至所述原始数据流；
[0018]根据所述第一配置信息确定所述原始数据流中用于进行富化处理的字段名称；
[0019]基于所述字段名称获取所述原始数据流中对应的字段值；
[0020]基于所述字段名称和所述字段值向所述本地缓存发送第一请求，以获取对应的所述待富化数据；
[0021]若在所述本地缓存中获取到所述待富化数据，则通过所述三方接口富化算子按照所述第一规则信息将所述待富化数据对应添加至所述原始数据流，生成并输出所述富化数据流。
[0022]根据本专利技术提供的一种数据流自动富化的方法，所述二级缓存还包括分布式缓存，所述分布式缓存通过初始化程序进行缓存刷新；
[0023]基于所述字段名称和所述字段值向所述本地缓存发送第一请求，以获取对应的所述待富化数据之后，所述方法还包括：
[0024]若在所述本地缓存中未获取到所述待富化数据，则向所述分布式缓存发送第二请求，以获取对应的所述待富化数据；
[0025]若在所述分布式缓存中获取到所述待富化数据，则将所述待富化数据存入所述本地缓存，通过所述三方接口富化算子按照所述第一规则信息将所述待富化数据对应添加至所述原始数据流，生成并输出所述富化数据流；
[0026]若在所述分布式缓存中未获取到所述待富化数据，则通过所述初始化程序重新加载所述分布式缓存，将重新加载之后的所述分布式缓存中的所述待富化数据存入所述本地缓存，通过所述三方接口富化算子按照所述第一规则信息将所述待富化数据对应添加至所述原始数据流，生成并输出所述富化数据流。
[0027]根据本专利技术提供的一种数据流自动富化的方法，所述通过所述初始化程序重新加载所述分布式缓存，包括：
[0028]通过所述初始化程序向所述分布式缓存请求获取刷新缓存标识；其中，所述刷新缓存标识与分布式缓存具有唯一确定的对应关系；
[0029]若获取所述刷新缓存标识成功，则基于所述刷新缓存标识重新加载所述分布式缓存；
[0030]若获取所述刷新缓存标识失败，则创建所述刷新缓存标识，基于所述刷新缓存标识与所述分布式缓存的对应关系将创建的所述刷新缓存标识写入所述分布式缓存中，基于创建的所述刷新缓存标识重新加载所述分布式缓存。
[0031]根据本专利技术提供的一种数据流自动富化的方法，所述目标富化算子为字段映射富化算子；
[0032]所述通过所述目标富化算子的配置信息和规则信息对所述原始数据流进行富化处理，得到富化数据流，包括：
[0033]从所述内存中获取所述字段映射富化算子对应的第二配置信息和第二规则信息；其中，所述第二配置信息包含字段映射表，所述字段映射表定义目标字段与目标字段值的
映射关系，所述第二规则信息用于通过所述字段映射富化算子提取所述原始数据流中的目标字段；
[0034]通过所述字段映射富化算子按照所述第二规则信息提取所述原始数据流中的目标字段，根据所述字段映射表对所述目标字段进行转换生成目标字段值，将所述目标字段值作为所述富化数据流输出。
[0035]根据本专利技术提供的一种数据流自动富化的方法，所述目标富化算子为方法引用富化算子；
[0036]所述通过所述目标富化算子的配置信息和规则信息对所述原始数据流进行富化处理，得到富化数据流，包括：
[0037]从所述内存中获取所述方法引用富化算子对应的第三配置信息和第三规则信息；其中，所述第三配置信息用于确定需要使用的目标引用方法，所述第三规则信息用于通过所述目标引用方法对所述原始数据流进行再加工；
[0038]根据所述第三配置信息确定需要使用的目标引用方法；
[0039]通过所述目标引用方法按照所述第三规则信息对所述原始数据流进行再加工，将再加工后的输出值作为所述富化数据流输出；其中，所述再加工包括增加字段、合并字段以及更改字段格式中的至少一种。
[0040]根据本专利技术提供的一种数据流自动富化的方法，所述分布式缓存与至少一个所述三方接口通过执行接口连接；
[0041]在确定所述目标富化算子为三方接口富化算子的情况下，所述方法还包括：
[0042]按照本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据流自动富化的方法，其特征在于，包括：加载富化规则配置表；其中，所述富化规则配置表包括至少一个富化算子的配置信息和规则信息；确定业务对应的目标富化算子；接收所述业务的原始数据流，通过所述目标富化算子的配置信息和规则信息对所述原始数据流进行富化处理，得到富化数据流。2.根据权利要求1所述的数据流自动富化的方法，其特征在于，每个所述富化算子具有唯一确定的算子标识，且所述富化规则配置表中存储有算子标识与富化算子的对应关系；所述在接收所述业务的原始数据流之前，所述方法还包括：调用数据查询服务从所述富化规则配置表中获取每个算子标识对应的富化算子；基于所述目标富化算子对应的算子标识，将所述目标富化算子的配置信息和规则信息加载至内存中；和/或，基于所述目标富化算子对应的算子标识，调用数据查询服务从所述富化规则配置表中获取所述目标富化算子，并将所述目标富化算子的配置信息和规则信息加载至内存中。3.根据权利要求2所述的数据流自动富化的方法，其特征在于，所述目标富化算子为三方接口富化算子；所述三方接口的待富化数据存储于二级缓存，所述二级缓存包括本地缓存；所述通过所述目标富化算子的配置信息和规则信息对所述原始数据流进行富化处理，得到富化数据流，包括：从所述内存中获取所述三方接口富化算子对应的第一配置信息和第一规则信息；其中，所述第一配置信息用于确定所述原始数据流中用于进行富化处理的字段名称，所述第一规则信息用于通过所述三方接口富化算子将所述待富化数据对应添加至所述原始数据流；根据所述第一配置信息确定所述原始数据流中用于进行富化处理的字段名称；基于所述字段名称获取所述原始数据流中对应的字段值；基于所述字段名称和所述字段值向所述本地缓存发送第一请求，以获取对应的所述待富化数据；若在所述本地缓存中获取到所述待富化数据，则通过所述三方接口富化算子按照所述第一规则信息将所述待富化数据对应添加至所述原始数据流，生成并输出所述富化数据流。4.根据权利要求3所述的数据流自动富化的方法，其特征在于，所述二级缓存还包括分布式缓存，所述分布式缓存通过初始化程序进行缓存刷新；基于所述字段名称和所述字段值向所述本地缓存发送第一请求，以获取对应的所述待富化数据之后，所述方法还包括：若在所述本地缓存中未获取到所述待富化数据，则向所述分布式缓存发送第二请求，以获取对应的所述待富化数据；若在所述分布式缓存中获取到所述待富化数据，则将所述待富化数据存入所述本地缓存，通过所述三方接口富化算子按照所述第一规则信息将所述待富化数据对应添加至所述原始数据流，生成并输出所述富化数据流；
若在所述分布式缓存中未获取到所述待富化数据，则通过所述初始化程序重新加载所述分布式缓存，将重新加载之后的所述分布式缓存中的所述待富化数据存入所述本地缓存，通过所述三方接口富化算子按照所述第一规则信息将所述待富化数据对应添加至所述原始数据流，生成并输出所述富化数据流。5.根据权利要求4所述的数据流自动富化的方法，其特征在于，所述通过所述初始化程序重新加载所述分布式缓存，包括：通过所述初始化程序向所述分布式缓存请求获取刷新缓存标识；其中，所述刷新缓存标识与分布式缓存具有唯一确定的对应关系；若获取所述刷新缓存标识成功，则...

【专利技术属性】
技术研发人员：秦世欢，王秋粟，常月，张希涛，
申请(专利权)人：奇安信科技集团股份有限公司，
类型：发明
国别省市：