确定主数据的方法、电子设备和计算机可读存储介质技术

本申请公开了一种确定主数据的方法、电子设备和计算机可读存储介质，该方法包括：获取待识别数据表以及待识别数据表对应的描述业务实体关系的ER图和/或描述业务流程的数据流程DFD图；根据ER图和/或DFD图确定待识别数据表是否为业务实体表；响应于待识别数据表为业务实体表，构建评分矩阵；根据评分矩阵，确定每个评价指标的权重；对于每个数据字段，利用各评价指标的权重对数据字段对应各评价指标的评价分数进行加权求和，得到数据字段的目标分数；对于每个数据字段，响应于数据字段对应的目标分数大于第一阈值，确定数据字段为主数据字段；其中，主数据字段对应的数据为主数据。通过上述方式，本申请能够提高主数据识别的准确性。性。性。

【技术实现步骤摘要】
确定主数据的方法、电子设备和计算机可读存储介质


[0001]本申请涉及数据处理
，特别是涉及一种确定主数据的方法、电子设备和计算机可读存储介质。

技术介绍

[0002]随着大数据时代的到来，越来越多的企业开始信息化和数字化转型，基础数据不断增多、业务也不断整合，业务系统的规模和业务流程的复杂度导致了很多数据质量问题。为了解决这类问题，企业开始关注核心主营业务的基础数据即主数据。但是，数据量庞大，如何在庞大的数据里准确识别出主数据成为亟待解决的问题。

技术实现思路

[0003]本申请主要解决的技术问题是提供一种确定主数据的方法、电子设备和计算机可读存储介质，能够提高主数据识别的准确性。
[0004]为解决上述技术问题，本申请采用的一个技术方案是：提供一种确定主数据的方法，该方法包括：获取待识别数据表以及待识别数据表对应的描述业务实体关系的ER图和/或描述业务流程的数据流程DFD图；根据ER图和/或DFD图确定待识别数据表是否为业务实体表；响应于待识别数据表为业务实体表，构建评分矩阵；其中，业务实体表包括若干数据字段，若干数据字段对应若干评价指标的评价分数构成评分矩阵；根据评分矩阵，确定每个评价指标的权重；对于每个数据字段，利用各评价指标的权重对数据字段对应各评价指标的评价分数进行加权求和，得到数据字段的目标分数；对于每个数据字段，响应于数据字段对应的目标分数大于第一阈值，确定数据字段为主数据字段；其中，主数据字段对应的数据为主数据。
[0005]其中，根据ER图确定待识别数据表是否为业务实体表，包括：识别ER图中的主键和外键；响应于存在主键且不存在外键，确定待识别数据表为业务实体表。
[0006]其中，根据DFD图确定待识别数据表是否为业务实体表，包括：识别DFD图的输入流和输出流；响应于输出流大于输入流，确定待识别数据表为业务实体表。
[0007]其中，获取待识别数据表对应的描述业务实体关系的ER图和/或描述业务流程的数据流程DFD图，包括：从待识别数据表对应的开发文档、模型管理工具和/或系统数据架构文档中直接引用ER图和/或DFD图；或通过逆向工程梳理待识别数据对应的业务流程、概念模型和逻辑模型，进而创建出ER图或DFD图。
[0008]其中，根据评分矩阵，确定每个评价指标的权重，包括：对评分矩阵进行主成分分析，确定主成分个数以及各评价指标对应各主成分的得分系数；对于各评价指标，根据评价指标对应各主成分的得分系数，确定评价指标的综合得分系数；对各评价指标的综合得分系数进行归一化处理，得到各评价指标的权重。
[0009]其中，对评分矩阵进行主成分分析，确定主成分个数，包括：对评分矩阵进行降噪处理，得到协方差评分矩阵；确定协方差评分矩阵的特征值个数，并将特征值个数作为主成
分个数。
[0010]其中，确定协方差评分矩阵的特征值个数，包括：利用特征函数对协方差评分矩阵进行解析，得到协方差评分矩阵的若干特征值；和/或，将特征值个数作为主成分个数，包括：对于各特征值，响应于特征值的贡献率大于贡献阈值，确定特征值为目标特征值，并将目标特征值的个数作为主成分的个数。
[0011]其中，对评分矩阵进行降噪处理，得到协方差评分矩阵，包括：对评分矩阵进行归一化处理，得到标准化评分矩阵；基于标准化评分矩阵，得到协方差评分矩阵。
[0012]其中，若干评价指标包括高价值性、领域级共享性、长周期性、企业级共享性、唯一性、跨系统使用性、稳定性、高使用性和基础性中的至少一者。
[0013]为解决上述技术问题，本申请采用的另一个技术方案是：提供一种电子设备，该电子设备包括存储器和处理器，存储器存储有程序指令，处理器用于执行程序指令以实现上述的确定主数据的方法。
[0014]为解决上述技术问题，本申请采用的另一个技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质用于存储程序指令，程序指令能够被执行以实现上述的确定主数据的方法。
[0015]上述方案，根据待识别数据表对应的ER图和/或DFD图初步确定待识别数据表中的数据是否为主数据，然后通过确定待识别数据表的各数据字段是否为主数据字段以进一步确定待识别数据表中的主数据范围。故，通过结合关联分析法和主成分分析法的方式确定主数据，提高主数据识别的准确性；另外，关联分析法和主成分分析法的结合，既弱化了主成分分析法中的主观判断的问题，又弥补了关联分析法中缺少量化指标度量的问题。
附图说明
[0016]图1是本申请提供的确定主数据的方法一实施例的流程示意图；
[0017]图2是图1所示步骤S12一实施例的流程示意图；
[0018]图3是图1所示步骤S12另一实施例的流程示意图；
[0019]图4是图1所示步骤S12另一实施例的流程示意图；
[0020]图5是图1所示步骤S13一实施例的流程示意图；
[0021]图6是图5所示步骤S131一实施例的流程示意图；
[0022]图7是本申请提供的电子设备一实施例的结构示意图；
[0023]图8是本申请提供的计算机可读存储介质一实施例的结构示意图。
具体实施方式
[0024]下面结合说明书附图，对本申请实施例的方案进行详细说明。
[0025]以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
[0026]本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任
意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
[0027]请参阅图1，图1是本申请提供的确定主数据的方法一实施例的流程示意图。需注意的是，若有实质上相同的结果，本申请实施例并不以图1所示的流程顺序为限。如图1所示，本实施例包括：
[0028]步骤S11：获取待识别数据表以及待识别数据表对应的描述业务实体关系的ER图和/或描述业务流程的数据流程DFD图。
[0029]本实施例的方法用于确定待识别数据表里的数据是否为主数据。本文所述的待识别数据表可以是任意业务系统的数据库中的数据表，在此不做具体限定。在一实施方式中，待识别数据表具体可以从本地存储或者云端存储中获取得到。可以理解地，在其他实施方式中，也可从业务系统的数据库调取数据表以作为待识别数据表。
[0030]由于业务系统的数据库设计基本都是要遵循建模流程的，建模过程中会根据数据表生成描述业务实体关系的ER图以及描述业务流程的数据流程DFD图，并对应存储于开发文档、模型管理工具或者业务系统架构文档中。所以，在一实施方式中，在当待识别数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种确定主数据的方法，其特征在于，所述方法包括：获取待识别数据表以及所述待识别数据表对应的描述业务实体关系的ER图和/或描述业务流程的数据流程DFD图；根据所述ER图和/或所述DFD图确定所述待识别数据表是否为业务实体表；响应于所述待识别数据表为所述业务实体表，构建评分矩阵；其中，所述业务实体表包括若干数据字段，所述若干数据字段对应若干评价指标的评价分数构成所述评分矩阵；根据所述评分矩阵，确定每个所述评价指标的权重；对于每个所述数据字段，利用各所述评价指标的权重对所述数据字段对应各所述评价指标的评价分数进行加权求和，得到所述数据字段的目标分数；对于每个所述数据字段，响应于所述数据字段对应的目标分数大于第一阈值，确定所述数据字段为主数据字段；其中，所述主数据字段对应的数据为主数据。2.根据权利要求1所述的方法，其特征在于，所述根据所述ER图确定所述待识别数据表是否为业务实体表，包括：识别所述ER图中的主键和外键；响应于存在所述主键且不存在所述外键，确定所述待识别数据表为所述业务实体表。3.根据权利要求1所述的方法，其特征在于，所述根据所述DFD图确定所述待识别数据表是否为业务实体表，包括：识别所述DFD图的输入流和输出流；响应于所述输出流大于所述输入流，确定所述待识别数据表为所述业务实体表。4.根据权利要求1所述的方法，其特征在于，所述获取所述待识别数据表对应的描述业务实体关系的ER图和/或描述业务流程的数据流程DFD图，包括：从所述待识别数据表对应的开发文档、模型管理工具和/或系统数据架构文档中直接引用所述ER图和/或所述DFD图；或通过逆向工程梳理所述待识别数据对应的业务流程、概念模型和逻辑模型，进而创建出所述ER图或所述DFD图。5.根据权利要求1所述的方法，其特征在于，所述根据所述评分矩阵，确定每个所述评价指标的权重，包括：对所述评分矩阵进行主成分...

【专利技术属性】
技术研发人员：罗芳，
申请(专利权)人：平安银行股份有限公司，
类型：发明
国别省市：