元数据处理方法及装置制造方法及图纸

本申请实施例提供一种元数据处理方法及装置，所述方法包括获取目标业务在执行过程中生成的元数据，根据元数据确定数据关联度、业务成本值以及数据应用频次中的至少一种，根据数据关联度、业务成本值以及数据应用频次中的至少一种确定目标复用值，其中，目标复用值表示元数据被复用的可能性大小，根据目标复用值存储或删除元数据。本申请提高了目标复用值确定的准确性，进而提高了数据管理的准确性。进而提高了数据管理的准确性。进而提高了数据管理的准确性。

【技术实现步骤摘要】
元数据处理方法及装置


[0001]本申请实施例涉及数据处理
，尤其涉及一种元数据处理方法及装置。

技术介绍

[0002]随着网络技术的发展，数据量呈爆发式增长，越来越多的人意识到数据的重要性。
[0003]由于数据量越来越多，为了更好的对数据进行管理，可以先确定数据的复用值，然后根据复用值对数据进行管理。
[0004]然而，在确定数据复用值时，一般通过运维人员手动设置数据复用值，过于依赖运维人员的工作经验，降低了数据复用值确定的准确性，进而影响了数据管理的准确性。

技术实现思路

[0005]本申请实施例提供一种元数据处理方法及装置，以提高数据管理的准确性。
[0006]第一方面，本申请实施例提供一种元数据处理方法，包括：
[0007]获取目标业务在执行过程中生成的元数据；
[0008]根据所述元数据确定数据关联度、业务成本值以及数据应用频次中的至少一种；
[0009]根据所述数据关联度、所述业务成本值以及所述数据应用频次中的至少一种确定目标复用值，其中，所述目标复用值表示所述元数据被复用的可能性大小；
[0010]根据所述目标复用值存储或删除所述元数据。
[0011]可选的，所述根据所述元数据确定数据关联度，包括：
[0012]确定所述元数据中涉及到的每个子业务对应的目标组个数，其中，所述目标业务包含至少一个子业务，每个子业务涉及至少一个目标组，每个所述目标组均对对应的子业务执行不同的操作；
[0013]根据每个所述子业务对应的目标组个数与预设个数阈值确定每个所述子业务的数据关联值；
[0014]对每个所述子业务的数据关联值进行求和运算，得到数据关联度。
[0015]可选的，所述根据所述元数据确定业务成本值，包括：
[0016]根据所述元数据确定存储成本以及硬件消耗成本；
[0017]对所述存储成本以及所述硬件消耗成本进行求和运算，得到业务成本值。
[0018]可选的，所述根据所述元数据确定存储成本值，包括：
[0019]根据所述元数据确定所述目标业务消耗的存储量；
[0020]确定存储成本单价；
[0021]根据所述目标业务消耗的存储量以及所述存储成本单价确定存储成本值。
[0022]可选的，所述根据所述元数据确定所述目标业务消耗的存储量，包括：
[0023]通过预设存储路径确定所述元数据中包含的目标数据表，其中，所述目标业务中包含至少一子业务，所述预设存储路径为每个所述子业务对应的数据的存储路径；
[0024]确定每个所述目标数据表的初始存储量，并对所述每个所述目标数据表的初始存
储量进行求和运算，得到所述目标业务消耗的存储量。
[0025]可选的，所述确定存储成本单价，包括：
[0026]获取预设时长内的基础成本值，其中，所述基础成本值为在预设时长内的主机折旧费用、机房租金、网络设施折旧费用以及人员运维费用中的至少一种；
[0027]根据处理器的采购成本、内存的采购成本以及磁盘的采购成本确定存储成本所占的第一比值；
[0028]根据所述基础成本值、所述第一比值以及存储总量确定存储成本单价，其中，所述目标业务消耗的存储量为所述目标业务每天消耗的存储，所述存储总量为预设时长内所述目标业务消耗的总存储。
[0029]可选的，所述根据所述元数据确定硬件消耗成本，包括：
[0030]根据所述元数据确定所述目标业务运行过程中的处理器总量和内存总量；
[0031]确定处理器成本单价以及内存成本单价；
[0032]根据所述目标业务消耗的处理器总量以及所述处理器成本单价确定处理器成本，并根据所述目标业务消耗的内存总量以及所述内存成本单价确定内存成本；
[0033]根据所述处理器成本以及所述内存成本确定硬件消耗成本。
[0034]可选的，所述根据所述元数据确定数据应用频次，包括：
[0035]确定所述元数据中包含的创建方个数、使用方个数、所述元数据关联的下游表个数以及上游表个数；
[0036]根据所述创建方个数、所述使用方个数、所述元数据关联的下游表个数以及上游表个数确定数据应用频次。
[0037]可选的，所述根据所述目标复用值删除所述元数据，包括：
[0038]若所述目标复用值低于预设复用值阈值，则生成并显示元数据删除提示；
[0039]响应作用于所述元数据删除提示的触控操作，删除所述目标业务对应的元数据。
[0040]第二方面，本申请实施例提供一种元数据处理装置，包括：
[0041]获取模块，用于获取目标业务在执行过程中生成的元数据；
[0042]处理模块，用于根据所述元数据确定数据关联度、业务成本值以及数据应用频次中的至少一种；
[0043]所述处理模块，还用于根据所述数据关联度、所述业务成本值以及所述数据应用频次中的至少一种确定目标复用值，其中，所述目标复用值表示所述元数据被复用的可能性大小；
[0044]所述处理模块，还用于根据所述目标复用值存储或删除所述元数据。
[0045]第三方面，本申请实施例提供一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；
[0046]所述存储器存储计算机执行指令；
[0047]所述处理器执行所述存储器存储的计算机执行指令，实现如第一方面任一项所述的元数据处理方法。
[0048]第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如第一方面任一项所述的元数据处理方法。
[0049]本申请实施例提供了一种元数据处理方法及装置，采用上述方案后，可以先获取目标业务在执行过程中生成的元数据，然后可以根据元数据确定数据关联度、业务成本值以及数据应用频次中的至少一种，再根据数据关联度、业务成本值以及数据应用频次中的至少一种确定目标复用值，并根据目标复用值存储或删除元数据，通过先根据目标业务在执行过程中生成的元数据来确定数据关联度、业务成本值以及数据应用频次等参数，再根据数据关联度、业务成本值以及数据应用频次等参数确定目标复用值的方式，使得确定的目标复用值可以从多个维度来体现目标业务的实现情况，而不仅是依赖于运维人员的工作经验，提高了目标复用值确定的准确性，进而提高了数据管理的准确性。
附图说明
[0050]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0051]图1为本申请实施例提供的数据处理方法的应用系统的架构示意图；
[0052]图2为本申请实施例提供的数据处理方法的流程示意图；
[0053]图3本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种元数据处理方法，其特征在于，包括：获取目标业务在执行过程中生成的元数据；根据所述元数据确定数据关联度、业务成本值以及数据应用频次中的至少一种；根据所述数据关联度、所述业务成本值以及所述数据应用频次中的至少一种确定目标复用值，其中，所述目标复用值表示所述元数据被复用的可能性大小；根据所述目标复用值存储或删除所述元数据。2.根据权利要求1所述的方法，其特征在于，所述根据所述元数据确定数据关联度，包括：确定所述元数据中涉及到的每个子业务对应的目标组个数，其中，所述目标业务包含至少一个子业务，每个子业务涉及至少一个目标组，每个所述目标组均对对应的子业务执行不同的操作；根据每个所述子业务对应的目标组个数与预设个数阈值确定每个所述子业务的数据关联值；对每个所述子业务的数据关联值进行求和运算，得到数据关联度。3.根据权利要求1所述的方法，其特征在于，所述根据所述元数据确定业务成本值，包括：根据所述元数据确定存储成本以及硬件消耗成本；对所述存储成本以及所述硬件消耗成本进行求和运算，得到业务成本值。4.根据权利要求3所述的方法，其特征在于，所述根据所述元数据确定存储成本值，包括：根据所述元数据确定所述目标业务消耗的存储量；确定存储成本单价；根据所述目标业务消耗的存储量以及所述存储成本单价确定存储成本值。5.根据权利要求4所述的方法，其特征在于，所述根据所述元数据确定所述目标业务消耗的存储量，包括：通过预设存储路径确定所述元数据中包含的目标数据表，其中，所述目标业务中包含至少一子业务，所述预设存储路径为每个所述子业务对应的数据的存储路径；确定每个所述目标数据表的初始存储量，并对所述每个所述目标数据表的初始存储量进行求和运算，得到所述目标业务消耗的存储量。6.根据权利要求4所述的方法，其特征在于，所述确定存储成本单价，包括：获取预设时长内的基础成本值，其中，所述基础成本值为在预设时长内的主机折旧费用、机房租金、网络设施折旧费用以及人员运维费用中的至少一种；根据处理器的采购成本、内存的采购成本以及磁盘的采购成本确定存储成本所占的第一比值；根据所述基础成本值、所述第一比值以及存储总量确定存储成本单价，其中，所述目标...

【专利技术属性】
技术研发人员：冯仕炳，吴海英，刘德华，蒋宁，
申请(专利权)人：马上消费金融股份有限公司，
类型：发明
国别省市：