一种数据处理方法、装置、电子设备及存储介质制造方法及图纸

本公开关于一种数据处理方法、装置、电子设备及存储介质，包括：根据预先获取的数据处理规则，生成初始规则树；对初始规则树中的节点进行遍历，根据对应的标签规则，对父节点相同的叶子节点进行合并处理，得到简化规则树；依次确定目标计算引擎，并按照由上到下的顺序，对简化规则树中的节点进行遍历，在任一未标记的节点满足目标计算引擎的适用条件情况下，将任一未标记的节点标记为目标计算引擎的计算节点，直至简化规则树中的根节点标记完成；将简化规则树转换为执行计划树；基于执行计划树，对待处理数据进行处理，得到处理结果。这样，基于多种计算引擎的特点，对不同节点选择合适的计算引擎，从而提升计算速度和资源利用率。用率。用率。

【技术实现步骤摘要】
一种数据处理方法、装置、电子设备及存储介质


[0001]本公开涉及数据分析领域，尤其涉及一种数据处理方法、装置、电子设备及存储介质。

技术介绍

[0002]在很多业务场景中，业务人员需要根据自定义规则，通过指定标签名、运算符、标签值等信息，根据不同对象的对象属性圈选出对象群，进而可以对对各对象群开展相应的业务活动。
[0003]现有的技术方案，在进行对象圈选时，使用hive sql(hive Structured Query Language，基于hive存储引擎的结构化查询语言)方式，将所有的圈选条件拼接为一个sql语句，执行sql语句后得到最终结果。
[0004]但是，对于复杂的圈选规则，会拼接为一条较长的sql语句，其中会嵌套多个查询，使用hive引擎进行查询，少则1
‑
2小时，多则10多个小时，查询速度慢，而且资源占用情况严重，可能造成其他查询的阻塞。

技术实现思路

[0005]本公开提供一种数据处理方法、装置、电子设备及存储介质，以至少解决相关技术中查询速度慢，而且资源占用情况严重，可本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：根据预先获取的数据处理规则，生成初始规则树，其中，所述数据处理规则包括至少一项标签规则及所述标签规则之间的逻辑关系，所述初始规则树中包括叶子节点及非叶子节点，所述叶子节点用于表征所述标签规则，所述非叶子节点用于表征所连接的子节点之间的逻辑关系；按照由下到上的顺序，对所述初始规则树中的节点进行遍历，根据对应的标签规则，对父节点相同的叶子节点进行合并处理，得到简化规则树；按照预设优先级顺序，依次确定目标计算引擎，并按照由上到下的顺序，对所述简化规则树中的节点进行遍历，在任一未标记的节点满足所述目标计算引擎的适用条件情况下，将所述任一未标记的节点标记为所述目标计算引擎的计算节点，直至所述简化规则树中的根节点标记完成；根据所述节点标记，将所述简化规则树转换为执行计划树，所述执行计划树的叶子节点用于表征计算单元，所述执行计划树的非叶子节点用于表征所连接的子节点之间的逻辑关系；基于所述执行计划树，对待处理数据进行处理，得到处理结果。2.根据权利要求1所述的数据处理方法，其特征在于，所述按照由下到上的顺序，对所述初始规则树中的节点进行遍历，根据对应的标签规则，对父节点相同的叶子节点进行合并处理，得到简化规则树，包括：按照由下到上的顺序，对所述初始规则树中的节点进行遍历，将当前遍历到的节点作为目标节点；在所述目标节点的子节点中包括多个叶子节点的情况下，获取所包括的叶子节点对应的标签规则，所述标签规则包括标签名、运算规则及标签值；将所包括的叶子节点中标签名相同的节点作为候选节点，在所述候选节点的运算规则及标签值满足合并条件的情况下，对所述候选节点进行合并，得到简化规则树。3.根据权利要求1所述的数据处理方法，其特征在于，所述按照由上到下的顺序，对所述简化规则树中的节点进行遍历，在任一未标记的节点满足所述目标计算引擎的适用条件情况下，将所述任一未标记的节点标记为所述目标计算引擎的计算节点，直至所述简化规则树中的根节点标记完成，包括：按照由上到下的顺序，对所述简化规则树中的节点进行遍历，将当前遍历到的节点作为目标节点；在所述目标节点未标记的情况下，若所述目标节点满足所述目标计算引擎的适用条件，则将所述目标节点标记为所述目标计算引擎的计算节点；在所述目标节点已标记的情况下，遍历下一节点，直至不存在未标记的子节点，对根节点进行标记处理。4.根据权利要求3所述的数据处理方法，其特征在于，在所述目标节点未标记的情况下，若所述目标节点不满足所述目标计算引擎的适用条件，还包括：在所述目标节点的下层节点满足所述目标计算引擎的调整条件的情况下，将满足所述调整条件的下层节点合并为所述目标节点...

【专利技术属性】
技术研发人员：李昂，吴兆跃，张型龙，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：