本申请涉及数据库技术领域，具体地涉及一种数据处理方法、装置及设备。一种数据处理方法，所述方法包括：对待处理的工作流中的查询语句进行解析，得到各所述工作流的关键字信息，所述关键字信息包括所述工作流的目标表字段、查询结果字段、源表字段、查询条件字段、分组字段和排序字段；根据各所述工作流的关键字信息对各所述工作流进行优化处理；根据所述工作流的优化处理结果更新数据仓库。通过本发明专利技术实施例减少了工作流的重复计算，节省计算资源和计算成本，提高数据加工任务合理性，提高可维护性，提高任务健壮性，节约运维成本。
【技术实现步骤摘要】
本申请涉及数据库，具体地涉及一种数据处理方法、装置及设备。
技术介绍
1、数据仓库通过sql查询语句实现对表格中数据的查询计算等操作。但是对于某些较为复杂的业务逻辑，通过单一的查询语句无法按成操作。工作流就是为了解决这一问题，将较为复杂的业务拆分为多个子部分，按照某种预定规则通过多条查询语句自动执行每一个子部分以实现对业务逻辑的处理。
2、在相关技术中，业务流中的查询语句可能会出现重复的问题，导致服务器资源的浪费。同时业务流的设计也不能在数仓层面知道数据治理，进一步导致数仓在开发过程中存在工程师未遵循规范、临时紧急需求处理、血缘关系复杂等情况导致数仓逐渐偏离了规范的问题，随着数仓的建设，工作流数量的增加，人工检查也会变得很复杂、难维护、操作性很差。
技术实现思路
1、本专利技术实施例提供了一种数据处理方法、装置及设备，用以解决现有技术中查询语句可能会出现重复，导致服务器资源浪费的问题。
2、第一方面，本专利技术实施例提供了一种数据处理方法，所述方法包括：
>3、对待处理的工作本文档来自技高网...
【技术保护点】
1.一种数据处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述根据各所述工作流的关键字信息对各所述工作流进行优化处理，包括：
3.根据权利要求2所述的方法，其特征在于，所述当至少两个工作流为同源相同计算工作流时，对所述至少两个工作流进行合并，包括：
4.根据权利要求2所述的方法，其特征在于，所述当至少两个工作流为同源递进计算工作流时，对所述至少两个工作流进行合并，包括：
5.根据权利要求2所述的方法，其特征在于，当至少两个工作流为同源相似计算工作流时，对所述至少两个工作流进行合并，包括：
6.根...
【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述根据各所述工作流的关键字信息对各所述工作流进行优化处理，包括：
3.根据权利要求2所述的方法，其特征在于，所述当至少两个工作流为同源相同计算工作流时，对所述至少两个工作流进行合并，包括：
4.根据权利要求2所述的方法，其特征在于，所述当至少两个工作流为同源递进计算工作流时，对所述至少两个工作流进行合并，包括：
5.根据权利要求2所述的方法，其特征在于，当至少两个工作流为同源相似...
【专利技术属性】
技术研发人员：陈德江，关泰璐，焦文斌，
申请(专利权)人：联通智网科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。