本公开提供一种数据管理方法和装置、存储介质，涉及数据存储领域。数据管理方法包括：与预定数据源建立连接；根据与预定业务属性相关联的存储层级和业务域确定业务数据在分布式大数据存储节点中的第一数据存储位置；从数据源采集元数据；根据元数据从数据源采集业务数据；将所采集的业务数据存储到第一数据存储位置。置。置。
【技术实现步骤摘要】
数据管理方法和装置、存储介质
[0001]本公开涉及通信领域，特别涉及一种数据管理方法和装置、存储介质。
技术介绍
[0002]目前，企业采用的企业信息系统种类较多，这增加了企业数字化架构复杂度。此外，随着多云环境的出现，硬件基础设施从IT时代的服务器演变成数字化时代的“云”，多数企业选取多云策略，多云的使用可以让企业信息架构更灵活，但同时也让企业信息架构更为复杂，底层数据的互联互通成为困扰企业发展的痛点。在大数据技术的大力发展下，信息系统中的数据实现了统一汇聚及存储，但数据量的不断增加，导致数据存储越来越多，各种数据融合在一起，没有规则的存储方式无法支撑数据的快速定位，无法有效且快速的提取目标数据，无法很好地支撑企业经营决策，也无法很好的应对快速变化的前端业务。
[0003]目前，现有的研发数据存储方式大多采用数据仓库，通过数据采集将各个业务子系统汇聚到统一数据仓库中，按照分层结构进行存储。
技术实现思路
[0004]专利技术人注意到，现有的存储方案对数据的支持性相对较弱，大多是汇聚结构化数据类型，且无法以业务导向自动化构建业务域存储结构，无法支撑企业形成一套完整的研发数据资产目录，对下游数据开发人员业务能力要求较高，维护成本高，数据开发应用成效及效率较低，复用能力弱，有大量的重复性工作。
[0005]据此，本公开提供一种数据管理方案，通过根据与预定业务属性相关联的存储层级和业务域确定业务数据在分布式大数据存储节点中的数据存储位置，从而实现业务数据的分层分域存储，由此可有效提升研发数据访问效率及精确度，帮助企业构建数据资产目录，提高数据的应用价值，为企业经营决策提供数据支撑。
[0006]根据本公开实施例的第一方面，提供一种数据管理方法，由数据管理装置执行，包括：与预定数据源建立连接；根据与预定业务属性相关联的存储层级和业务域确定业务数据在分布式大数据存储节点中的第一数据存储位置；从所述数据源采集元数据；根据所述元数据从所述数据源采集业务数据；将所采集的业务数据存储到第一数据存储位置。
[0007]在一些实施例中，将所采集的业务数据存储到第一数据存储位置包括：判断第一数据存储位置中的用于存储业务数据的第一数据存储目录是否存在；若所述第一数据存储目录存在，则将所采集的业务数据存储到所述第一数据存储目录中。
[0008]在一些实施例中，若所述第一数据存储目录不存在，则创建所述第一数据存储目录；将所采集的业务数据存储到所述第一数据存储目录中。
[0009]在一些实施例中，从所述数据源采集元数据包括：从所述数据源获取元数据；判断所获取的元数据是否完整；若所获取的元数据不完整，则从所述数据源进行元数据补录，以便获得完整的元数据。
[0010]在一些实施例中，从所述分布式大数据存储节点中提取与预定业务相关联的业务
数据；对提取的业务数据进行数据清洗和聚合处理，以得到聚合数据；根据与预定业务属性相关联的存储层级和业务域确定聚合数据在分布式大数据存储节点中的第二数据存储位置；将聚合数据存储到所述第二数据存储位置。
[0011]在一些实施例中，将聚合数据存储到所述第二数据存储位置包括：判断第二数据存储位置中的用于存储聚合数据的第二数据存储目录是否存在；若所述第二数据存储目录存在，则将聚合数据存储到所述第二数据存储目录中。
[0012]在一些实施例中，若所述第二数据存储目录不存在，则创建所述第二数据存储目录；将聚合数据存储到所述第二数据存储目录中。
[0013]在一些实施例中，所述存储层级包括贴源层、加载层和应用层中的至少一项。
[0014]根据本公开实施例的第二方面，提供一种数据管理装置，包括：第一处理模块，被配置为与预定数据源建立连接，根据与预定业务属性相关联的存储层级和业务域确定业务数据在分布式大数据存储节点中的第一数据存储位置，从所述数据源采集元数据，根据所述元数据从所述数据源采集业务数据；第二处理模块，被配置为将所采集的业务数据存储到第一数据存储位置。
[0015]在一些实施例中，第二处理模块被配置为判断第一数据存储位置中的用于存储业务数据的第一数据存储目录是否存在，若所述第一数据存储目录存在，则将所采集的业务数据存储到所述第一数据存储目录中。
[0016]在一些实施例中，第二处理模块被配置为若所述第一数据存储目录不存在，则创建所述第一数据存储目录，将所采集的业务数据存储到所述第一数据存储目录中。
[0017]在一些实施例中，第一处理模块被配置为从所述数据源获取元数据，判断所获取的元数据是否完整，若所获取的元数据不完整，则从所述数据源进行元数据补录，以便获得完整的元数据。
[0018]在一些实施例中，上述装置还包括第三处理模块，其中：第三处理模块，被配置为从所述分布式大数据存储节点中提取与预定业务相关联的业务数据，对提取的业务数据进行数据清洗和聚合处理，以得到聚合数据，根据与预定业务属性相关联的存储层级和业务域确定聚合数据在分布式大数据存储节点中的第二数据存储位置；第二处理模块被配置为将聚合数据存储到所述第二数据存储位置。
[0019]在一些实施例中，第二处理模块被配置为判断第二数据存储位置中的用于存储聚合数据的第二数据存储目录是否存在，若所述第二数据存储目录存在，则将聚合数据存储到所述第二数据存储目录中。
[0020]在一些实施例中，第二处理模块被配置为若所述第二数据存储目录不存在，则创建所述第二数据存储目录，将聚合数据存储到所述第二数据存储目录中。
[0021]在一些实施例中，所述存储层级包括贴源层、加载层和应用层中的至少一项。
[0022]根据本公开实施例的第三方面，提供一种数据管理装置，包括：存储器，被配置为存储指令；处理器，耦合到存储器，处理器被配置为基于存储器存储的指令执行实现如上述任一实施例所述的方法。
[0023]根据本公开实施例的第四方面，提供一种计算机可读存储介质，其中，计算机可读存储介质存储有计算机指令，指令被处理器执行时实现如上述任一实施例所述的方法。
[0024]通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其
优点将会变得清楚。
附图说明
[0025]为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0026]图1为本公开一个实施例的数据管理方法的流程示意图；
[0027]图2为本公开另一个实施例的数据管理方法的流程示意图；
[0028]图3为本公开一个实施例的数据管理装置的结构示意图；
[0029]图4为本公开另一个实施例的数据管理装置的结构示意图；
[0030]图5为本公开又一个实施例的数据管理装置的结构示意图；
[0031]图6为本公开一本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据管理方法，由数据管理装置执行，包括：与预定数据源建立连接；根据与预定业务属性相关联的存储层级和业务域确定业务数据在分布式大数据存储节点中的第一数据存储位置；从所述数据源采集元数据；根据所述元数据从所述数据源采集业务数据；将所采集的业务数据存储到第一数据存储位置。2.根据权利要求1所述的方法，其中，将所采集的业务数据存储到第一数据存储位置包括：判断第一数据存储位置中的用于存储业务数据的第一数据存储目录是否存在；若所述第一数据存储目录存在，则将所采集的业务数据存储到所述第一数据存储目录中。3.根据权利要求2所述的方法，还包括：若所述第一数据存储目录不存在，则创建所述第一数据存储目录；将所采集的业务数据存储到所述第一数据存储目录中。4.根据权利要求1所述的方法，其中，从所述数据源采集元数据包括：从所述数据源获取元数据；判断所获取的元数据是否完整；若所获取的元数据不完整，则从所述数据源进行元数据补录，以便获得完整的元数据。5.根据权利要求1
‑
4中任一项所述的方法，还包括：从所述分布式大数据存储节点中提取与预定业务相关联的业务数据；对提取的业务数据进行数据清洗和聚合处理，以得到聚合数据；根据与预定业务属性相关联的存储层级和业务域确定聚合数据在分布式大数据存储节点中的第二数据存储位置；将聚合数据存储到所述第二数据存储位置。6.根据权利要求5所述的方法，其中，将聚合数据存储到所述第二数据存储位置包括：判断第二数据存储位置中的用于存储聚合数据的第二数据存储目录是否存在；若所述第二数据存储目录存在，则将聚合数据存储到所述第二数据存储目录中。7.根据权利要求6所述的方法，还包括：若所述第二数据存储目录不存在，则创建所述第二数据存储目录；将聚合数据存储到所述第二数据存储目录中。8.根据权利要求5所述的方法，其中，所述存储层级包括贴源层、加载层和应用层中的至少一项。9.一种数据管理装置，包括：第一处理模块，被配置为与预定数据源建立连接，根据与预定业务属性相关联的存储层级和业务域确定业务数据在分布式大数据存储节点中的第一数据存储位置，从所述数据源采集元数据，根据所述元数据从所述数据源采集业务数据...
【专利技术属性】
技术研发人员：李想，伍佳伟，许忠贤，
申请(专利权)人：江苏徐工国重实验室科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。