System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及数据处理领域,更具体的说,涉及一种数据处理方法、装置及电子设备。
技术介绍
1、在国家大力推动数字经济发展的同时,企业也在积极响应并开展大规模的数字化转型。目前,科技的高速发展使数据在工业生产中的体量日益增大,同时各种技术也日新月异。不论是内部管理方面,还是外部交易方面,企业都需要一套合理的数据治理方法,来对庞大的数据进行处理。
2、数据治理的核心目标是提高数据质量,为数据资产管理提供完整、准确的元数据,帮助数据使用者准确理解数据的含义和价值,更加准确的对元数据按照不同的维度或者需求进行分类处理,以更好的为后续的分析需求提供有力的保障。
3、但是,由于目前数据资产管理中所涉及的数据量非常庞大,且,数据间关系复杂,如何对庞大且关系复杂的数据进行准确的分类,是亟需解决的问题。
技术实现思路
1、有鉴于此,本申请提供了一种数据处理方法、装置及电子设备,用于解决在数据量庞大且数据间关系复杂时,亟需对其进行准确分类的问题。
2、为解决上述技术问题,本专利技术采用了如下技术方案:
3、一种数据处理方法,包括:
4、获取目标对象的血缘关系图谱,所述血缘关系图谱包含处于不同层级的节点,以及节点之间的关系;
5、确定所述血缘关系图谱中包含的各个系统级节点;
6、获取分类参考信息,所述分类参考信息包括:收益参考信息或成本参考信息;
7、依据所述血缘关系图谱中,与所述分类参考信息对应的数据表节点
8、针对待处理系统级节点,根据与所述待处理系统级节点具有影响关系的目标系统级节点对应的分类参考值,利用经典shapley值方法,计算所述待处理系统级节点中的各个数据表节点对应的分类参考值;所述待处理系统级节点包括具有数据分类需求的数据表对应的数据表节点;
9、响应于当前分类需求,依据所述待处理系统级节点中的各个数据表节点的分类参考值,对所述目标对象包含的至少一个系统中的数据表进行分类。
10、可选地,依据所述血缘关系图谱中,与所述分类参考信息对应的数据表节点的信息值,利用经典shapley值方法,分别确定各个所述系统级节点对应的分类参考值,包括:
11、针对各个所述系统级节点,确定与所述系统级节点对应的参考集合;所述参考集合为,由所述目标对象中除所述系统级节点之外的其他所有系统级节点组成的系统集合的子集合;
12、依据所述血缘关系图谱中,与所述分类参考信息对应的数据表节点的信息值,分别确定由所述参考集合以及所述系统级节点组成的待处理集合的参考信息值、以及所述参考集合的参考信息值;
13、利用经典shapley值方法,结合所述待处理集合的参考信息值以及所述参考集合的参考信息值,依次确定各个所述系统级节点对应的分类参考值。
14、可选地,在所述分类参考信息为收益参考信息时,依据所述血缘关系图谱中,与所述分类参考信息对应的数据表节点的信息值,确定由所述参考集合以及所述系统级节点组成的待处理集合的参考信息值,包括:
15、确定由所述参考集合以及所述系统级节点组成的待处理集合对应的影响系统集合,所述影响系统集合为依据所述血缘关系图谱确定出的,所述待处理集合中的各系统级节点向下影响的系统级节点的集合;
16、依据所述影响系统集合中的具有收益信息值的数据表节点的收益信息值,计算所述待处理集合的参考信息值。
17、可选地,确定由所述参考集合以及所述系统级节点组成的待处理集合对应的影响系统集合,包括:
18、基于所述血缘关系图谱对应的传递闭包矩阵,分析得到由所述参考集合以及所述系统级节点组成的待处理集合对应的影响系统集合。
19、可选地,依据所述影响系统集合中的具有收益信息值的数据表节点的收益信息值,计算所述待处理集合的参考信息值,包括:
20、确定出所述影响系统集合中包括的具有收益信息值的面向业务数据表节点,并计算所述面向业务数据表节点的收益信息值;
21、基于所述面向业务数据表节点的收益信息值,计算所述待处理集合的影响参考信息值;
22、将所述待处理集合的影响参考信息值作为所述待处理集合的参考信息值。
23、可选地,针对待处理系统级节点,根据与所述待处理系统级节点具有影响关系的目标系统级节点对应的分类参考值,利用经典shapley值方法,计算所述待处理系统级节点中的各个数据表节点对应的分类参考值,包括:
24、确定待处理系统级节点;所述待处理系统级节点包括具有数据分类需求的数据表对应的数据表节点;
25、在所述待处理系统级节点仅包括一个数据库节点的情况下,将所述待处理系统级节点的分类参考值作为所述待处理系统级节点中的数据库节点的分类参考值;
26、确定与所述待处理系统级节点具有影响关系的目标系统级节点;所述目标系统级节点仅包括一个目标数据库节点;
27、根据所述目标数据库节点的分类参考值,利用经典shapley值方法,计算所述数据库节点中的各个数据表节点对应的分类参考值。
28、可选地,根据所述目标数据库节点的分类参考值,利用经典shapley值方法,计算所述数据库节点中的各个数据表节点对应的分类参考值,包括:
29、将影响所述数据库节点的第一目标数据库节点作为所述数据库节点的虚拟输入节点,并将所述虚拟输入节点的收益信息值设置为预设收益信息数值;
30、将受所述数据库节点影响的第二目标数据库节点的集合作为所述数据库节点的虚拟输出节点,并计算所述虚拟输出节点的收益信息值;所述目标数据库节点包括所述第一目标数据库节点和所述第二目标数据库节点;所述虚拟输出节点的收益信息值与所述第二目标数据库节点的分类参考值相关;
31、根据所述虚拟输入节点的收益信息值、以及所述虚拟输出节点的收益信息值,利用经典shapley值方法计算所述数据库节点中的各个数据表节点对应的分类参考值。
32、可选地,所述血缘关系图谱还包括:运算节点,所述运算节点为表征相邻数据表间运算关系的节点;
33、根据所述虚拟输入节点的收益信息值、以及所述虚拟输出节点的收益信息值,利用经典shapley值方法计算所述数据库节点中的各个数据表节点对应的分类参考值,包括:
34、根据所述虚拟输入节点的收益信息值、以及所述虚拟输出节点的收益信息值,利用经典shapley值方法计算所述数据库节点中的各个数据表节点以及各个运算节点对应的分类参考值。
35、可选地,在所述分类参考信息为成本参考信息时,依据所述血缘关系图谱中,与所述分类参考信息对应的数据表节点的信息值,确定由所述参考集合以及所述系统级节点组成的待处理集合的参考信息值,包括:
36、确定由所述参考集合以及所述系统级节点组成本文档来自技高网...
【技术保护点】
1.一种数据处理方法,其特征在于,包括:
2.根据权利要求1所述的数据处理方法,其特征在于,依据所述血缘关系图谱中,与所述分类参考信息对应的数据表节点的信息值,利用经典Shapley值方法,分别确定各个所述系统级节点对应的分类参考值,包括:
3.根据权利要求2所述的数据处理方法,其特征在于,在所述分类参考信息为收益参考信息时,依据所述血缘关系图谱中,与所述分类参考信息对应的数据表节点的信息值,确定由所述参考集合以及所述系统级节点组成的待处理集合的参考信息值,包括:
4.根据权利要求3所述的数据处理方法,其特征在于,确定由所述参考集合以及所述系统级节点组成的待处理集合对应的影响系统集合,包括:
5.根据权利要求3所述的数据处理方法,其特征在于,依据所述影响系统集合中的具有收益信息值的数据表节点的收益信息值,计算所述待处理集合的参考信息值,包括:
6.根据权利要求3所述的数据处理方法,其特征在于,针对待处理系统级节点,根据与所述待处理系统级节点具有影响关系的目标系统级节点对应的分类参考值,利用经典Shapley值方法,计算所
7.根据权利要求6所述的数据处理方法,其特征在于,根据所述目标数据库节点的分类参考值,利用经典Shapley值方法,计算所述数据库节点中的各个数据表节点对应的分类参考值,包括:
8.根据权利要求7所述的数据处理方法,其特征在于,所述血缘关系图谱还包括:运算节点,所述运算节点为表征相邻数据表间运算关系的节点;
9.根据权利要求2所述的数据处理方法,其特征在于,在所述分类参考信息为成本参考信息时,依据所述血缘关系图谱中,与所述分类参考信息对应的数据表节点的信息值,确定由所述参考集合以及所述系统级节点组成的待处理集合的参考信息值,包括:
10.根据权利要求1所述的数据处理方法,其特征在于,在响应于当前分类需求,依据所述待处理系统级节点中的各个数据表节点的分类参考值,对所述目标对象包含的至少一个系统中的数据表进行分类之后,还包括:
11.一种数据处理装置,其特征在于,包括:
12.一种电子设备,其特征在于,包括:存储器和处理器;
...【技术特征摘要】
1.一种数据处理方法,其特征在于,包括:
2.根据权利要求1所述的数据处理方法,其特征在于,依据所述血缘关系图谱中,与所述分类参考信息对应的数据表节点的信息值,利用经典shapley值方法,分别确定各个所述系统级节点对应的分类参考值,包括:
3.根据权利要求2所述的数据处理方法,其特征在于,在所述分类参考信息为收益参考信息时,依据所述血缘关系图谱中,与所述分类参考信息对应的数据表节点的信息值,确定由所述参考集合以及所述系统级节点组成的待处理集合的参考信息值,包括:
4.根据权利要求3所述的数据处理方法,其特征在于,确定由所述参考集合以及所述系统级节点组成的待处理集合对应的影响系统集合,包括:
5.根据权利要求3所述的数据处理方法,其特征在于,依据所述影响系统集合中的具有收益信息值的数据表节点的收益信息值,计算所述待处理集合的参考信息值,包括:
6.根据权利要求3所述的数据处理方法,其特征在于,针对待处理系统级节点,根据与所述待处理系统级节点具有影响关系的目标系统级节点对应的分类参考值,利用经典shapley...
【专利技术属性】
技术研发人员:王哲,赵梓荣,舒光斌,岳丰,方兴,
申请(专利权)人:中信证券股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。