【技术实现步骤摘要】
数据增量更新及查询方法、装置、电子设备及存储介质
本专利技术涉及大数据
，尤其涉及一种数据增量更新及查询方法、装置、电子设备及计算机可读存储介质。
技术介绍
大数据背景下，数据规模急剧扩大、数据形式多样、对数据应用的要求也日益提高，这给传统数据库技术带来了巨大的挑战。现有技术下存在以下缺陷：1、数据源越来越多，数据的完整性无法保证，将会极大地限制数据质量，影响数据查询的准确性。2、由于数据更新需要时间，单纯的视图查询，直接将视图与数据库关联导致查询越来越慢。
技术实现思路
本专利技术提供一种数据增量更新及查询方法、装置及计算机可读存储介质，其主要目的在于解决数据查询较慢及准确性不高的问题。为实现上述目的，本专利技术提供的一种数据增量更新及查询方法，包括：获取原始数据集，并将所述原始数据集抽取至预设的数据湖；将所述数据湖中的数据导入至预设的数据库中，在所述数据库中获取预先设置的目标表、增量数据表及更新数据表；获取所述数据库中的源表，将所述源表中的数据抽取至所述目标表，并...
【技术保护点】
1.一种数据增量更新及查询方法，其特征在于，所述方法包括：/n获取原始数据集，并将所述原始数据集抽取至预设的数据湖；/n将所述数据湖中的数据导入至预设的数据库中，在所述数据库中获取预先设置的目标表、增量数据表及更新数据表；/n获取所述数据库中的源表，将所述源表中的数据抽取至所述目标表，并根据所述源表中的时间戳及预设的时间间隔，从所述数据库中获取增量数据，将所述增量数据抽取至所述增量数据表；/n将所述增量数据表与所述目标表进行比对，得到更新数据，将所述更新数据抽取至所述目标表；/n获取所述数据库中的视图，通过所述目标表中的数据主键，将所述视图与所述目标表进行关联，得到关联视图。/n
【技术特征摘要】
1.一种数据增量更新及查询方法，其特征在于，所述方法包括：
获取原始数据集，并将所述原始数据集抽取至预设的数据湖；
将所述数据湖中的数据导入至预设的数据库中，在所述数据库中获取预先设置的目标表、增量数据表及更新数据表；
获取所述数据库中的源表，将所述源表中的数据抽取至所述目标表，并根据所述源表中的时间戳及预设的时间间隔，从所述数据库中获取增量数据，将所述增量数据抽取至所述增量数据表；
将所述增量数据表与所述目标表进行比对，得到更新数据，将所述更新数据抽取至所述目标表；
获取所述数据库中的视图，通过所述目标表中的数据主键，将所述视图与所述目标表进行关联，得到关联视图。
2.如权利要求1所述的数据增量更新及查询方法，其特征在于，所述将所述原始数据集抽取至预设的数据湖，包括：
判断所述原始数据集中的数据类型；
若所述数据的类型为未知的数据类型，则将所述原始数据集存储至所述数据湖中的未知数据子集，并进行告警；
若所述数据的类型为已知的数据类型，则将所述原始数据集分配至所述数据湖对应的数据子集，得到已知数据子集。
3.如权利要求2所述的数据增量更新及查询方法，其特征在于，所述将所述原始数据集抽取至预设的数据湖之后，还包括：
利用预设的校验方法对所述已知数据子集中的数据进行校检，判断所述数据是否存在错误数据；
若所述数据中存在所述错误数据，则进行告警。
4.如权利要求1所述的数据增量更新及查询方法，其特征在于，所述根据所述源表中的时间戳及预设的时间间隔，从所述数据库中获取增量数据，将所述增量数据抽取至所述增量数据表，包括：
根据标准时间及所述预设的时间间隔更新所述时间戳，得到更新时间戳；
利用预设的抽取工具获取所述更新时间戳内的增量数据，并将所述增量数据抽取至所述增量目标表。
5.如权利要求1所述的数据增量更新及查询方法，其特征在于，所述将所述增量数据表与所述目标表进行比对，得到更新数据，包括：
获取所述增量数据表与所述目标表内的数据；
将所述数据进行比对，若所述数据相同，则不进行数据更新，若所述数...
【专利技术属性】
技术研发人员：蒋少杰，戴秀凤，王德品，
申请(专利权)人：招商局金融科技有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。