数据流处理方法、装置、服务器及存储介质制造方法及图纸

本申请提供一种数据流处理方法、装置、服务器及存储介质。本申请提供的数据流处理方法，首先获取第一数据流，其中，第一数据流包括地域性特征信息，然后对第一数据流配置规则参数以生成第二数据流，规则参数用于表征流任务的筛选条件，再根据地域性特征信息以及规则参数将第二数据流进行树形结构分级，以使特征值根据树形结构与第二数据流进行关联，而特征值用于表征静态标签表数据。从而，减少了实时数据的处理量，提高了处理效率，优化了处理方式，满足了实时流表关联需求，保证了数据处理系统的运行稳定性。

Data stream processing method, device, server and storage medium

【技术实现步骤摘要】
数据流处理方法、装置、服务器及存储介质
本申请涉及数据处理
，尤其涉及一种数据流处理方法、装置、服务器及存储介质。
技术介绍
随着大数据技术的快速发展，以及各种实时场景类应用需求的不断涌现，使得大数据技术的应用从批量处理为主逐渐向以实时处理为主演进。主流Kafka和Sparkstreaming具有提供海量、复杂、多源、异构的数据处理源，以及对其进行接入、清洗并保证数据质量的能力。数据源首先通过高吞吐能力的Kafka，然后使用Sparkstreaming进行消费对接完成后，再存入Hbase数据库，或者与数据表关联后再存入Hbase数据库，以完成对实时数据的流处理。现有技术中，因实时数据的数据源不同，使得数据结构不同，以及针对该实时数据的业务需求不同，使得筛选规则不同。不同数据源的实时数据需要编写不同的筛选规则以满足业务需求，从而导致数据峰值高达近千万每秒的数据流的处理量变得更为庞大，导致数据在处理以及入库过程中出现诸多问题。例如在入库过程中，采用传统的应用程序接口(ApplicationProgrammingInte本文档来自技高网...

【技术保护点】
1.一种数据流处理方法，其特征在于，包括：/n获取第一数据流，所述第一数据流包括地域性特征信息；/n对所述第一数据流配置规则参数以生成第二数据流，所述规则参数用于表征流任务的筛选条件；/n根据所述地域性特征信息以及所述规则参数将所述第二数据流进行树形结构分级，以使特征值根据所述树形结构与所述第二数据流进行关联，所述特征值用于表征静态标签表数据。/n

【技术特征摘要】
1.一种数据流处理方法，其特征在于，包括：
获取第一数据流，所述第一数据流包括地域性特征信息；
对所述第一数据流配置规则参数以生成第二数据流，所述规则参数用于表征流任务的筛选条件；
根据所述地域性特征信息以及所述规则参数将所述第二数据流进行树形结构分级，以使特征值根据所述树形结构与所述第二数据流进行关联，所述特征值用于表征静态标签表数据。


2.根据权利要求1所述的数据流处理方法，其特征在于，所述对所述第一数据流配置规则参数以生成第二数据流之前，还包括：
根据所述第一数据流以及所述流任务确定所述规则参数，所述流任务包括业务需求。


3.根据权利要求2所述的数据流处理方法，其特征在于，所述根据所述地域性特征信息以及所述规则参数将所述第二数据流进行树形结构分级之后，还包括：
根据所述业务需求以及所述树形结构通过预设流处理语言对所述第二数据流进行处理以获得处理结果，所述处理结果用于表征所述流任务的实现结果。


4.根据权利要求3所述的数据流处理方法，其特征在于，
将所述规则参数存入所述预设第一数据库，所述预设第一数据库为MySQL数据库；和/或
将所述处理结果以及所述树形结构存入预设第二数据库，所述预设第二数据库为Hbase数据库；和/或，
将所述静态标签表数据存入预设第三数据库，所述预设第三数据库为Hive数据库。


5.根据权利要求4所述的数据流处理方法，其特征在于，所述MySQL数据库包括JSON字符串；
通过所述JSON字符串对所述规则参数进行操作处理，所述操作处理包括新建...

【专利技术属性】
技术研发人员：陈海波，王志军，谢攀，王蓉，谢继刚，戴智，苏轶，李梦圆，
申请(专利权)人：中国联合网络通信集团有限公司，联通系统集成有限公司，
类型：发明
国别省市：北京;11