数据更新方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种数据更新方法、装置、计算机设备和存储介质。方法包括：通过获取数据更新请求；查找数据更新请求对应业务数据表的数据标记，数据标记用于标记业务数据表的重要程度；根据数据标记所标记的业务数据表的重要程度，确定所述业务数据表中的待更新分区；获取待更新分区对应的增量数据，根据增量数据对待更新分区内的业务数据表进行更新。本申请通过在获取数据更新请求后，依据预先的数据标记所标记的业务数据表的重要程度高低，来查找业务数据表中需要更新的分区，通过只对重要程度高的分区进行更新，可以有效保证数据更新的效率。

【技术实现步骤摘要】
数据更新方法、装置、计算机设备和存储介质
本申请涉及计算机
，特别是涉及一种数据更新方法、装置、计算机设备和存储介质。
技术介绍
随着互联网的快速发展以及数据的快速增涨，人们逐渐的认识到数据在整个互联网发展中的战略重要性。数据量爆发式的增长也促进了数据的存储、计算、组织以及分析等领域的长足发展，透过数据仓库理论所特有的资料储存架构，做有系统的分析整理，以利各种分析方法如联机分析处理、数据挖掘之进行，并进而支持如决策支持系统之创建，帮助决策者能快速有效的从大量资料中，分析出有价值的资讯，以利决策拟定及快速回应外在环境变动，帮助建构商业智能。维度建模作为数据仓库建模中重要的建设方法，囊括了全部的业务过程和维度，设计过程集合了业务开发、数据设计人员、数据应用人员，确保数据能完整记录和合理的抽象。该设计重新规划了数仓结构和数据规范，确保数据层次清晰，具有高可用性和易用性。如对于维度模型中的缓慢变化维以及累积快照事实表面临着历史分区的更新问题，面对历史数据的更新，通常是根据更新时间获取变化的业务数据，而上述这类表，通常是以创建日期作为分区，本文档来自技高网...

【技术保护点】
1.一种数据更新方法，所述方法包括：/n获取数据更新请求；/n查找所述数据更新请求对应业务数据表的数据标记，所述数据标记用于标记所述业务数据表的重要程度；/n根据所述数据标记所标记的业务数据表的重要程度，确定所述业务数据表中的待更新分区；/n获取所述待更新分区对应的增量数据，根据所述增量数据对所述待更新分区内的业务数据表进行更新。/n

【技术特征摘要】
1.一种数据更新方法，所述方法包括：
获取数据更新请求；
查找所述数据更新请求对应业务数据表的数据标记，所述数据标记用于标记所述业务数据表的重要程度；
根据所述数据标记所标记的业务数据表的重要程度，确定所述业务数据表中的待更新分区；
获取所述待更新分区对应的增量数据，根据所述增量数据对所述待更新分区内的业务数据表进行更新。


2.根据权利要求1所述的方法，其特征在于，所述查找所述数据更新请求对应业务数据表的数据标记之前，还包括：
获取业务过程分类表以及各业务过程对应的业务字段分类表；
根据所述业务过程分类表的分类类别以及所述业务字段分类表中的分类类别，为各业务字段对应的业务数据表添加数据标记。


3.根据权利要求2所述的方法，其特征在于，所述根据所述数据标记所标记的业务数据表的重要程度，确定所述业务数据表中的待更新分区包括：
根据所述数据标记所标记的业务数据表的重要程度，通过预设shell脚本获取所述业务数据表中的待更新分区；
将所述数据标记对应的待更新分区拼接后，将拼接后的所述待更新分区作为查询参数更新待更新分区查询语句；
根据所述更新后的待更新分区查询语句查找业务数据表中的待更新分区。


4.根据权利要求2所述的方法，其特征在于，所述根据所述数据标记所标记的业务数据表的重要程度，确定所述业务数据表中的待更新分区包括：
调用预设UDF函数，更新待更新分区查询语句，所述预设UDF函数用于根据所述数据标记查找待更新分区；
根据所述更新后的待更新分区查询语句查找业务数据表中的待更新分区。


5.根据权利要求1所述的方法，其特征在于，所述获取所述待更新分区对应的增量数据，根据所述增量数据对所述待更新分区的数据表进行更新包括：
通过Hive扫描所述待更新分区，获取...

【专利技术属性】
技术研发人员：谢晓佳，张宗祺，张鹏，姜良雷，王耀南，
申请(专利权)人：招联消费金融有限公司，
类型：发明
国别省市：广东;44