数据处理方法、装置、设备及存储介质制造方法及图纸

技术编号:40155985 阅读:18 留言:0更新日期:2024-01-26 23:31
本申请提供一种数据处理方法、装置、设备及存储介质,涉及大数据领域、金融科技领域或其他相关领域。该方法包括:获取包括待处理数据的数据表和数据表的表元数据;对表元数据,采用以文生文引擎,确定待处理数据的业务相关信息;根据数据表,确定待处理数据的数据关系,数据关系包括表间数据关系、表内列数据关系和列内数据关系中的至少一种;根据数据关系,确定待处理数据的数据质量;根据业务相关信息、数据关系和数据质量,对待处理数据进行信息挖掘。本申请的方法,可以提高对数据信息进行挖掘的效率。

【技术实现步骤摘要】

本申请涉及大数据领域、金融科技领域或其他相关领域,尤其涉及一种数据处理方法、装置、设备及存储介质


技术介绍

1、数据中台,是指对既有或新建的信息化系统的业务与数据的沉淀,并实现数据赋能新业务和/或新应用的中间支撑性平台。建设数据中台的目的就是对数据进行快速的价值释放。但由于数据业务知识的壁垒,中台建设数据的建模信息缺失以及数据质量低下,使得数据信息挖掘变得越来越难。因此,如何降低数据信息挖掘的难度显得尤为重要。

2、相关技术中,在实现对数据信息进行挖掘时,是通过对数据进行业务领域知识探索、建模探索和数据质量探索实现的。具体地,通过人工查询该数据对应的业务领域知识,通过研究这些数据的er图建模,确定数据之间的建模关系,以及通过进行数据清洗确保数据质量。但通过这种方式对数据信息进行挖掘的效率低。

3、因此,亟需一种可以提高对数据信息进行挖掘的效率的方案。


技术实现思路

1、本申请提供一种数据处理方法、装置、设备及存储介质,用以提高对数据信息进行挖掘的效率。

>2、第一方面,本申本文档来自技高网...

【技术保护点】

1.一种数据处理方法,其特征在于,包括:

2.根据权利要求1所述的数据处理方法,其特征在于,所述数据表包括第一数据表和第二数据表,所述根据所述数据表,确定所述待处理数据的数据关系,包括:

3.根据权利要求2所述的数据处理方法,其特征在于,所述根据所述第一相似度,确定所述待处理数据的表间数据关系,包括:

4.根据权利要求1所述的数据处理方法,其特征在于,所述根据所述数据表,确定所述待处理数据的数据关系,包括:

5.根据权利要求4所述的数据处理方法,其特征在于,所述根据所述第二相似度,确定所述待处理数据的表内列数据关系,包括

6....

【技术特征摘要】

1.一种数据处理方法,其特征在于,包括:

2.根据权利要求1所述的数据处理方法,其特征在于,所述数据表包括第一数据表和第二数据表,所述根据所述数据表,确定所述待处理数据的数据关系,包括:

3.根据权利要求2所述的数据处理方法,其特征在于,所述根据所述第一相似度,确定所述待处理数据的表间数据关系,包括:

4.根据权利要求1所述的数据处理方法,其特征在于,所述根据所述数据表,确定所述待处理数据的数据关系,包括:

5.根据权利要求4所述的数据处理方法,其特征在于,所述根据所述第二相似度,确定所述待处理数据的表内列数据关系,包括:

6.根据权利要求1所述的数据处理方法,其特征在于,所述根据所述数据表,确定所述待处理数据的数据关系,包括:

7.根据权利要求6所述的数据处理方法,其特征在于,所述根据...

【专利技术属性】
技术研发人员:朱姣姣
申请(专利权)人:中国工商银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1