本发明专利技术涉及数据处理技术，揭露了一种数据仓库的数据管理方法，包括：获取待上传项目任务，根据待上传项目任务构建目标数据表，根据命名规则对待上传项目任务及目标数据表进行命名，得到待上传项目任务名及目标数据表名；将待上传项目任务、目标数据表、待上传项目任务名及目标表名存储至数据仓库中；获取数据仓库中的所有项目任务，对项目任务进行解析，得到第一依赖关系，根据第一依赖关系设置第二依赖关系；对数据表进行属性分析，得到表结构；根据第二依赖关系及表结构构建图关系，根据图关系及数据表生成数据表关系网。本发明专利技术还提出一种数据仓库的数据管理装置、电子设备以及存储介质。本发明专利技术可以提高数据仓库中表的数据关系的条理性。的条理性。的条理性。
【技术实现步骤摘要】
数据仓库的数据管理方法、装置、设备及存储介质
[0001]本专利技术涉及数据处理
，尤其涉及一种数据仓库的数据管理方法、装置、电子设备及计算机可读存储介质。
技术介绍
[0002]在企业的实际应用中，关于数据仓库的项目，往往需要大量的开发人员参加，所建立的表成百上千，若没有进行统一管理，后期很难判断表的有效性。由于项目参与人员的更新，以及开发人员所负责的项目不同，导致难以清晰的梳理出数据仓库中表的关系，从而导致企业的人力成本高，项目实施进度以及项目稳定性不能保证。
技术实现思路
[0003]本专利技术提供一种数据仓库的数据管理方法、装置、电子设备及计算机可读存储介质，其主要目的在于解决数据仓库中表的数据关系梳理不够清晰问题。
[0004]为实现上述目的，本专利技术提供的一种数据仓库的数据管理方法，包括：
[0005]获取待上传项目任务，根据所述待上传项目任务构建目标数据表，根据预设的命名规则对所述待上传项目任务及所述目标数据表进行命名，得到待上传项目任务名及目标数据表名；
[0006]将所述待上传项目任务、所述目标数据表、所述待上传项目任务名及所述目标表名存储至预设的数据仓库中；
[0007]获取所述数据仓库中的项目任务，对所述项目任务进行解析，得到所述项目任务之间的第一依赖关系，根据所述第一依赖关系设置所述项目任务对应的数据表的第二依赖关系；
[0008]对所述项目任务对应的数据表进行属性分析，得到所述数据表对应的表结构；
[0009]根据所述第二依赖关系及所述表结构构建所述项目任务对应的数据表之间的图关系，根据所述图关系及所述项目任务对应的数据表生成数据表关系网。
[0010]可选地，所述根据预设的命名规则对所述待上传项目任务及所述目标数据表进行命名，得到待上传项目任务名及目标数据表名，包括：
[0011]根据对所述待上传项目任务生成随机数，并利用所述随机数对所述待上传项目任务进行编号，得到任务编号；
[0012]获取所述待上传项目任务的上传时间，通过任务编号及所述上传时间对所述待上传项目任务进行命名，得到待上传项目任务名；
[0013]对所述目标数据表进行排序，得到排序序号及排序时间；
[0014]根据所述排序序号及所述排序时间对所述目标数据表进行命名，得到目标数据表名。
[0015]可选地，所述根据所述待上传项目任务构建目标数据表，包括：
[0016]将所述待上传项目任务划分为多个任务子模块；
[0017]利用预设的Create table执行语句，根据所述任务子模块构建目标数据表。
[0018]可选地，所述将所述待上传项目任务、所述目标数据表、所述待上传项目任务名及所述目标表名存储至预设的数据仓库中，包括：
[0019]获取所述数据仓库的数据传输请求头部，并在所述数据传输请求头部增加扩展字段；
[0020]增加所述扩展字段的数据传输请求头部向所述数据仓库发送数据传输请求；
[0021]接收所述数据仓库基于所述数据传输请求返回的数据传输状态，在所述数据传输状态为可传输状态时，将所述待上传项目任务、所述目标数据表、所述待上传项目任务名及所述目标表名关联存入所述数据仓库中。
[0022]可选地，所述对所述项目任务进行解析，得到所述项目任务之间的第一依赖关系，包括：
[0023]将所述项目任务划分为多个子任务，并从所述子任务逐个选取目标子任务，将所述子任务中除所述目标子任务以外的子任务作为参考子任务；
[0024]利用所述目标子任务对所述参考子任务进行关联性分析，得到关联子任务；
[0025]根据所述关联子任务与所述目标子任务的关联性生成第一依赖关系。
[0026]可选地，所述对所述项目任务对应的数据表进行属性分析，得到所述数据表对应的表结构，包括：
[0027]对所述项目任务对应的数据表进行数据属性提取，得到表名、列表字段、内容字段；
[0028]对所述表名、所述列表字段、所述内容字段进行结构化记录，得到所述数据表对应的表结构。
[0029]可选地，所述根据所述第二依赖关系及所述表结构构建所述项目任务对应的数据表之间的图关系，包括：
[0030]提取所述第二依赖关系中的所有关系表，以所述关系表为节点，通过所述第二依赖关系绘制所述关系表的基础图谱；
[0031]获取所述关系表所对应的关系表结构，以所述关系表结构为叶子节点，通过所述基础图谱绘制所述项目任务对应的数据表之间的图关系。
[0032]为了解决上述问题，本专利技术还提供一种数据仓库的数据管理装置，所述装置包括：
[0033]命名模块，用于获取待上传项目任务，根据所述待上传项目任务构建目标数据表，根据预设的命名规则对所述待上传项目任务及所述目标数据表进行命名，得到待上传项目任务名及目标数据表名；
[0034]数据存储模块，用于将所述待上传项目任务、所述目标数据表、所述待上传项目任务名及所述目标表名存储至预设的数据仓库中；
[0035]依赖关系生成模块，用于获取所述数据仓库中的项目任务，对所述项目任务进行解析，得到所述项目任务之间的第一依赖关系，根据所述第一依赖关系设置所述项目任务对应的数据表的第二依赖关系；
[0036]表结构生成模块，用于对所述项目任务对应的数据表进行属性分析，得到所述数据表对应的表结构；
[0037]数据表关系网生成模块，用于根据所述第二依赖关系及所述表结构构建所述项目
任务对应的数据表之间的图关系，根据所述图关系及所述项目任务对应的数据表生成数据表关系网。
[0038]为了解决上述问题，本专利技术还提供一种电子设备，所述电子设备包括：
[0039]至少一个处理器；以及，
[0040]与所述至少一个处理器通信连接的存储器；其中，
[0041]所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述所述的数据仓库的数据管理方法。
[0042]为了解决上述问题，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个计算机程序，所述至少一个计算机程序被电子设备中的处理器执行以实现上述所述的数据仓库的数据管理方法。
[0043]本专利技术实施例通过获取预设的命名规则，对获取的待上传项目任务及所述待上传项目任务构建的目标数据表进行命名，便于对所述待上传项目任务及所述目标数据表进行统一管理；根据项目任务对应的数据表的依赖关系及对应的表结构构建项目任务对应的数据表之间的图关系，并生成数据表关系网，清楚的梳理了数据表之间的关系，便于对数据仓库的数据进行有效管理，保证了项目任务的实施进度和稳定性。因此本专利技术提出的数据仓库的数据管理方法、装置、电子设备及计算机可读存储介质，可以解决数据仓库中表的数据关系梳理不够清晰问题。
附图说明
[0044]图1为本专利技术一实施例本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据仓库的数据管理方法，其特征在于，所述方法包括：获取待上传项目任务，根据所述待上传项目任务构建目标数据表，根据预设的命名规则对所述待上传项目任务及所述目标数据表进行命名，得到待上传项目任务名及目标数据表名；将所述待上传项目任务、所述目标数据表、所述待上传项目任务名及所述目标表名存储至预设的数据仓库中；获取所述数据仓库中的项目任务，对所述项目任务进行解析，得到所述项目任务之间的第一依赖关系，根据所述第一依赖关系设置所述项目任务对应的数据表的第二依赖关系；对所述项目任务对应的数据表进行属性分析，得到所述数据表对应的表结构；根据所述第二依赖关系及所述表结构构建所述项目任务对应的数据表之间的图关系，根据所述图关系及所述项目任务对应的数据表生成数据表关系网。2.如权利要求1所述的数据仓库的数据管理方法，其特征在于，所述根据预设的命名规则对所述待上传项目任务及所述目标数据表进行命名，得到待上传项目任务名及目标数据表名，包括：根据对所述待上传项目任务生成随机数，并利用所述随机数对所述待上传项目任务进行编号，得到任务编号；获取所述待上传项目任务的上传时间，通过任务编号及所述上传时间对所述待上传项目任务进行命名，得到待上传项目任务名；对所述目标数据表进行排序，得到排序序号及排序时间；根据所述排序序号及所述排序时间对所述目标数据表进行命名，得到目标数据表名。3.如权利要求1所述的数据仓库的数据管理方法，其特征在于，所述根据所述待上传项目任务构建目标数据表，包括：将所述待上传项目任务划分为多个任务子模块；利用预设的Create table执行语句，根据所述任务子模块构建目标数据表。4.如权利要求1所述的数据仓库的数据管理方法，其特征在于，所述将所述待上传项目任务、所述目标数据表、所述待上传项目任务名及所述目标表名存储至预设的数据仓库中，包括：获取所述数据仓库的数据传输请求头部，并在所述数据传输请求头部增加扩展字段；增加所述扩展字段的数据传输请求头部向所述数据仓库发送数据传输请求；接收所述数据仓库基于所述数据传输请求返回的数据传输状态，在所述数据传输状态为可传输状态时，将所述待上传项目任务、所述目标数据表、所述待上传项目任务名及所述目标表名关联存入所述数据仓库中。5.如权利要求1所述的数据仓库的数据管理方法，其特征在于，所述对所述项目任务进行解析，得到所述项目任务之间的第一依赖关系，包括：将所述项目任务划分为多个子任务，并从所述子任务逐个选取目标子任务，将所述...
【专利技术属性】
技术研发人员：刘灯，胡立波，张茜，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。