System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据处理方法、装置、设备及存储介质制造方法及图纸_技高网

数据处理方法、装置、设备及存储介质制造方法及图纸

技术编号:40155985 阅读:3 留言:0更新日期:2024-01-26 23:31
本申请提供一种数据处理方法、装置、设备及存储介质,涉及大数据领域、金融科技领域或其他相关领域。该方法包括:获取包括待处理数据的数据表和数据表的表元数据;对表元数据,采用以文生文引擎,确定待处理数据的业务相关信息;根据数据表,确定待处理数据的数据关系,数据关系包括表间数据关系、表内列数据关系和列内数据关系中的至少一种;根据数据关系,确定待处理数据的数据质量;根据业务相关信息、数据关系和数据质量,对待处理数据进行信息挖掘。本申请的方法,可以提高对数据信息进行挖掘的效率。

【技术实现步骤摘要】

本申请涉及大数据领域、金融科技领域或其他相关领域,尤其涉及一种数据处理方法、装置、设备及存储介质


技术介绍

1、数据中台,是指对既有或新建的信息化系统的业务与数据的沉淀,并实现数据赋能新业务和/或新应用的中间支撑性平台。建设数据中台的目的就是对数据进行快速的价值释放。但由于数据业务知识的壁垒,中台建设数据的建模信息缺失以及数据质量低下,使得数据信息挖掘变得越来越难。因此,如何降低数据信息挖掘的难度显得尤为重要。

2、相关技术中,在实现对数据信息进行挖掘时,是通过对数据进行业务领域知识探索、建模探索和数据质量探索实现的。具体地,通过人工查询该数据对应的业务领域知识,通过研究这些数据的er图建模,确定数据之间的建模关系,以及通过进行数据清洗确保数据质量。但通过这种方式对数据信息进行挖掘的效率低。

3、因此,亟需一种可以提高对数据信息进行挖掘的效率的方案。


技术实现思路

1、本申请提供一种数据处理方法、装置、设备及存储介质,用以提高对数据信息进行挖掘的效率。

2、第一方面,本申请提供一种数据处理方法,包括:获取包括待处理数据的数据表和所述数据表的表元数据;对所述表元数据,采用以文生文引擎,确定所述待处理数据的业务相关信息;根据所述数据表,确定所述待处理数据的数据关系,所述数据关系包括表间数据关系、表内列数据关系和列内数据关系中的至少一种;根据所述数据关系,确定所述待处理数据的数据质量;根据所述业务相关信息、所述数据关系和所述数据质量,对所述待处理数据进行信息挖掘。

3、第二方面,本申请提供一种数据处理装置,包括:获取模块,用于获取包括待处理数据的数据表和所述数据表的表元数据;第一确定模块,用于对所述表元数据,采用以文生文引擎,确定所述待处理数据的业务相关信息;第二确定模块,用于根据所述数据表,确定所述待处理数据的数据关系,所述数据关系包括表间数据关系、表内列数据关系和列内数据关系中的至少一种;第三确定模块,用于根据所述数据关系,确定所述待处理数据的数据质量;挖掘模块,用于根据所述业务相关信息、所述数据关系和所述数据质量,对所述待处理数据进行信息挖掘。

4、第三方面,本申请提供一种电子设备,包括:处理器,以及与处理器连接的存储器;存储器存储计算机执行指令;处理器执行存储器存储的计算机执行指令,以实现第一方面的数据处理方法。

5、第四方面,本申请提供一种计算机可读存储介质,计算机可读存储介质中存储有计算机执行指令,计算机执行指令被执行时用于实现如第一方面的数据处理方法。

6、第五方面,本申请实施例提供一种计算机程序产品,包括计算机程序,计算机程序被执行时实现第一方面的数据处理方法。

7、本申请提供的数据处理方法、装置、设备及存储介质,通过将待处理数据的数据表的表元数据输入至文生文引擎中,可以自动生成待处理数据的业务相关信息,从而可以解决人工查询业务相关信息的效率低和准确率低的问题;以及通过对待处理数据的数据表进行数据分析,确定出待处理数据的表间数据关系、表内列数据关系和列内数据关系中的至少一种数据关系,可以解决由于对数据的实体关系图(entity-relationship model,简称er)建模的学习研究成本高,导致的确定数据关系效率低的问题。从而可以进一步提高对数据信息进行挖掘的效率。此外,在确定了待处理数据的数据关系之后,还通过数据关系确定待处理数据的数据质量,从而解决仅通过数据清洗无法保证高质量的数据的问题,进一步可以保证对数据信息进行挖掘的准确率。

本文档来自技高网...

【技术保护点】

1.一种数据处理方法,其特征在于,包括:

2.根据权利要求1所述的数据处理方法,其特征在于,所述数据表包括第一数据表和第二数据表,所述根据所述数据表,确定所述待处理数据的数据关系,包括:

3.根据权利要求2所述的数据处理方法,其特征在于,所述根据所述第一相似度,确定所述待处理数据的表间数据关系,包括:

4.根据权利要求1所述的数据处理方法,其特征在于,所述根据所述数据表,确定所述待处理数据的数据关系,包括:

5.根据权利要求4所述的数据处理方法,其特征在于,所述根据所述第二相似度,确定所述待处理数据的表内列数据关系,包括:

6.根据权利要求1所述的数据处理方法,其特征在于,所述根据所述数据表,确定所述待处理数据的数据关系,包括:

7.根据权利要求6所述的数据处理方法,其特征在于,所述根据所述散点图,确定所述待处理数据的列内数据关系,包括:

8.根据权利要求1至7中任一项所述的数据处理方法,其特征在于,所述根据所述数据关系,确定所述待处理数据的数据质量,包括:

9.根据权利要求8所述的数据处理方法,其特征在于,所述根据所述数据关系,确定所述待处理数据的数据质量之后,还包括:

10.一种数据处理装置,其特征在于,包括:

11.一种电子设备,其特征在于,包括:处理器,以及与所述处理器连接的存储器;

12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被执行时用于实现如权利要求1至9中任一项所述的方法。

13.一种计算机程序产品,其特征在于,包括计算机程序,所述计算机程序被执行时用于实现如权利要求1至9中任一项所述的方法。

...

【技术特征摘要】

1.一种数据处理方法,其特征在于,包括:

2.根据权利要求1所述的数据处理方法,其特征在于,所述数据表包括第一数据表和第二数据表,所述根据所述数据表,确定所述待处理数据的数据关系,包括:

3.根据权利要求2所述的数据处理方法,其特征在于,所述根据所述第一相似度,确定所述待处理数据的表间数据关系,包括:

4.根据权利要求1所述的数据处理方法,其特征在于,所述根据所述数据表,确定所述待处理数据的数据关系,包括:

5.根据权利要求4所述的数据处理方法,其特征在于,所述根据所述第二相似度,确定所述待处理数据的表内列数据关系,包括:

6.根据权利要求1所述的数据处理方法,其特征在于,所述根据所述数据表,确定所述待处理数据的数据关系,包括:

7.根据权利要求6所述的数据处理方法,其特征在于,所述根据...

【专利技术属性】
技术研发人员:朱姣姣
申请(专利权)人:中国工商银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1