数据处理方法、电子设备和存储介质技术

技术编号:43844975 阅读:15 留言:0更新日期:2024-12-31 18:39
本申请提出一种数据处理方法、电子设备和存储介质,涉及数据处理技术领域。该方法包括:基于预设映射关系信息、以及自定义的多条预设数据处理语句,分别构建多个与预设数据处理语句对应的备选语义树,其中,预设映射关系信息为表征预设数据处理语句与待使用数据库中的执行语句之间的映射关系的信息;根据获取到的待处理数据的格式与多个备选语义树进行匹配,确定与待处理数据对应的目标语义树;依据待处理数据对应的目标语义树,确定待处理数据对应的查询语句;基于待处理数据对应的查询语句对待使用数据库进行查询,获得数据查询结果。简化业务数据的处理步骤,使数据查询结果体现业务数据的变化情况。

【技术实现步骤摘要】

本申请涉及数据处理,具体涉及一种数据处理方法、电子设备和存储介质


技术介绍

1、在对大数据进行统计分析的过程中,通常采用离线方式的基于数据库的查询分析方式,对具有较大体量的数据进行处理,不仅需要消耗很长的时间(例如,消耗数小时或数天等),还无法体现数据的实时变化情况。

2、例如,技术人员通常需要利用flink、stream等技术进行流式数据的统计,其需要技术人员熟练掌握flink等工具;而且,对于一个新的统计业务,技术人员需要利用flink等工具中的算子、并基于统计业务的需求,重新部署或编写相关业务代码,增加了人力成本,延长了业务数据的处理时长,无法使用户基于业务数据的实时变化情况快速的进行数据统计。


技术实现思路

1、本申请提供一种数据处理方法、电子设备和存储介质。

2、本申请实施例提供一种数据处理方法,方法包括:基于预设映射关系信息、以及自定义的多条预设数据处理语句,分别构建多个与预设数据处理语句对应的备选语义树,其中,预设映射关系信息为表征预设数据处理语句与待使用数据库中的执行本文档来自技高网...

【技术保护点】

1.一种数据处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述待处理数据,包括:实时数据中的增量变更数据,所述实时数据中的增量变更数据表征实时获取的业务数据相对于历史业务数据发生变更的数据;

3.根据权利要求2所述的方法,其特征在于,所述基于所述目标查询规则和多个所述待使用查询语句,确定所述待处理数据对应的查询语句之前,所述数据处理方法还包括:

4.根据权利要求2所述的方法,其特征在于,所述基于所述待处理数据对应的查询语句对所述待使用数据库进行查询,获得数据查询结果之后,所述数据处理方法还包括:p>

5.根据权...

【技术特征摘要】

1.一种数据处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述待处理数据,包括:实时数据中的增量变更数据,所述实时数据中的增量变更数据表征实时获取的业务数据相对于历史业务数据发生变更的数据;

3.根据权利要求2所述的方法,其特征在于,所述基于所述目标查询规则和多个所述待使用查询语句,确定所述待处理数据对应的查询语句之前,所述数据处理方法还包括:

4.根据权利要求2所述的方法,其特征在于,所述基于所述待处理数据对应的查询语句对所述待使用数据库进行查询,获得数据查询结果之后,所述数据处理方法还包括:

5.根据权利要求1所述的方法,其特征在于,所述待处理数据,还包括:历史业务数据;

6.根据权利要求5所述的方法,其特征在于,所述分别使用多个所述待使用查询语句对所述待使用数据库进行查询,获得所述数据查询结果,包括:

7.根据权利要求1至6中任一项所述的方法,其特征在于,所述基于预设映射关系信息、以及自定义的多条预设数据处理语句,分别构建多个与所述预设数据处理语句对应的备选语义树,包括:

8.根据权利要求7所述的方法,其特征在于,所述预设数据处理单元包括至少一个处理规则和多个数据处理对象,所...

【专利技术属性】
技术研发人员:董殿清谢宏亮
申请(专利权)人:中兴通讯股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1