基于窄表的数据处理方法、装置及设备制造方法及图纸

技术编号:38098237 阅读:10 留言:0更新日期:2023-07-06 09:14
本申请提供一种基于窄表的数据处理方法、装置及设备,涉及数据处理技术,该方法包括:获取多份待处理窄表数据;其中,每一待处理窄表数据包括多个待关联字段,每一待关联字段对应有待关联数据;根据预设的串接图谱信息,对多份待处理窄表数据中的各待关联字段进行串接处理,得到多个待关联字段之间的关联信息;其中,串接图谱信息包括多个预设字段以及预设字段之间的串接关系信息;根据多个待关联字段之间的关联信息、以及每一待关联字段对应的待关联数据,生成串接后的宽表数据。本申请的方法,可提高了数据串接过程中的准确性及有效性,解决了根据窄表数据串接得到的宽表数据的准确度较低的技术问题。度较低的技术问题。度较低的技术问题。

【技术实现步骤摘要】
基于窄表的数据处理方法、装置及设备


[0001]本申请涉及数据处理技术,尤其涉及一种基于窄表的数据处理方法、装置及设备。

技术介绍

[0002]目前,随着大数据技术的成熟和广泛运用,各行各业都更加重视数据对生产经营的支撑水平,以及数字化运营水平的提升,所以需要将不同领域、主题、维度的窄表数据串接成为宽表数据。
[0003]现有技术中,对多份窄表数据进行串接时,通常是根据工作人员配置的配置信息自动生成对应的配置步骤,并确定至少两个配置步骤之间的关联关系,然后根据配置步骤之间的关联关系,依次调用每一配置步骤对应的执行指令,根据执行指令执行配置步骤,直至生成宽表数据。
[0004]然而现有技术中,由于在根据配置步骤生成数据宽表时,会出现窄表数据增多或减少的情况,如果工作人员不能及时更新配置信息,现有的配置步骤不能对增多或减少的宽表数据进行准确的串接,进而导致串接得到的宽表数据的准确度较低。

技术实现思路

[0005]本申请提供一种基于窄表的数据处理方法、装置及设备,用以解决根据窄表数据串接得到的宽表数据的准确度较低的技术问题。
[0006]第一方面,本申请提供一种基于窄表的数据处理方法,包括:
[0007]获取多份待处理窄表数据;其中,每一所述待处理窄表数据包括多个待关联字段,每一所述待关联字段对应有待关联数据;
[0008]根据预设的串接图谱信息,对多份待处理窄表数据中的各待关联字段进行串接处理,得到多个所述待关联字段之间的关联信息;其中,所述串接图谱信息包括多个预设字段以及所述预设字段之间的串接关系信息;
[0009]根据多个所述待关联字段之间的关联信息、以及每一所述待关联字段对应的待关联数据,生成串接后的宽表数据。
[0010]进一步地,所述串接图谱信息包括多个所述串接关系信息,每一所述串接关系信息包括多个预设字段,每一所述串接关系信息内多个预设字段均为相同颜色;
[0011]不同所述串接关系信息之间为不同颜色。
[0012]进一步地,根据预设的串接图谱信息,对多份待处理窄表数据中的各待关联字段进行串接处理,得到多个所述待关联字段之间的关联信息,包括:
[0013]根据预设的串接图谱信息中的多个预设字段,在多份待处理窄表数据中查找与每一所述预设字段对应的待关联字段;
[0014]根据所述预设字段之间的串接关系信息,对各所述预设字段对应的待关联字段进行串接处理,得到多个所述待关联字段之间的关联信息。
[0015]进一步地,根据多个所述待关联字段之间的关联信息、以及每一所述待关联字段
对应的待关联数据,生成串接后的宽表数据,包括:
[0016]根据多个所述待关联字段之间的关联信息、以及每一所述待关联字段对应的待关联数据,将每一所述待关联字段对应的待关联数据关联到一起,并根据关联到一起的多个待关联数据生成串接后的宽表数据。
[0017]进一步地,所述方法还包括:
[0018]获取多份窄表数据;
[0019]对多份所述窄表数据进行分析处理,得到多个字段;
[0020]根据每一窄表数据包含的字段,确定所述多个字段之间的串接关系信息,并根据所述串接关系信息建立串接图谱信息;其中,所述串接图谱信息包括当前窄表数据的任一字段与前一个窄表数据的任一字段之间的串接关系信息,和/或,当前窄表数据的任一字段与后一个窄表数据的任一字段之间的串接关系信息。
[0021]第二方面,本申请提供一种基于窄表的数据处理装置,包括:
[0022]第一获取单元,用于获取多份待处理窄表数据;其中,每一所述待处理窄表数据包括多个待关联字段,每一所述待关联字段对应有待关联数据;
[0023]串接单元,用于根据预设的串接图谱信息,对多份待处理窄表数据中的各待关联字段进行串接处理,得到多个所述待关联字段之间的关联信息;其中,所述串接图谱信息包括多个预设字段以及所述预设字段之间的串接关系信息;
[0024]生成单元,用于根据多个所述待关联字段之间的关联信息、以及每一所述待关联字段对应的待关联数据,生成串接后的宽表数据。
[0025]进一步地,所述串接图谱信息包括多个所述串接关系信息,每一所述串接关系信息包括多个预设字段,每一所述串接关系信息内多个预设字段均为相同颜色;
[0026]不同所述串接关系信息之间为不同颜色。
[0027]进一步地,所述串接单元,包括:
[0028]查找模块,用于根据预设的串接图谱信息中的多个预设字段,在多份待处理窄表数据中查找与每一所述预设字段对应的待关联字段;
[0029]串接模块,用于根据所述预设字段之间的串接关系信息,对各所述预设字段对应的待关联字段进行串接处理,得到多个所述待关联字段之间的关联信息。
[0030]进一步地,所述生成单元,具体用于:
[0031]根据多个所述待关联字段之间的关联信息、以及每一所述待关联字段对应的待关联数据,将每一所述待关联字段对应的待关联数据关联到一起,并根据关联到一起的多个待关联数据生成串接后的宽表数据。
[0032]进一步地,所述装置还包括:
[0033]第二获取单元,用于获取多份窄表数据;
[0034]处理单元,用于对多份所述窄表数据进行分析处理,得到多个字段;建立单元,用于根据每一窄表数据包含的字段,确定所述多个字段之间的串接关系信息,并根据所述串接关系信息建立串接图谱信息;其中,所述串接图谱信息包括当前窄表数据的任一字段与前一个窄表数据的任一字段之间的串接关系信息,和/或,当前窄表数据的任一字段与后一个窄表数据的任一字段之间的串接关系信息。
[0035]第三方面,本申请提供一种电子设备,包括存储器、处理器,所述存储器中存储有
可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现第一方面所述的方法。
[0036]第四方面,本申请提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现第一方面所述的方法。
[0037]第五方面,本申请提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现第一方面所述的方法。
[0038]本申请提供的基于窄表的数据处理方法、装置及设备,获取多份待处理窄表数据;其中,每一待处理窄表数据包括多个待关联字段,每一待关联字段对应有待关联数据;根据预设的串接图谱信息,对多份待处理窄表数据中的各待关联字段进行串接处理,得到多个待关联字段之间的关联信息;其中,串接图谱信息包括多个预设字段以及预设字段之间的串接关系信息;根据多个待关联字段之间的关联信息、以及每一待关联字段对应的待关联数据,生成串接后的宽表数据。本方案中,获取多份待处理窄表数据后,可以得到待处理窄表数据包括的多个待关联字段,并且每一待关联字段对应有待关联数据,然后根据串接图谱信息中预设字段之间的串接关系信息,将多个待关联数据按照该串接关系信息进行串接处理,本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种基于窄表的数据处理方法,其特征在于,包括:获取多份待处理窄表数据;其中,每一所述待处理窄表数据包括多个待关联字段,每一所述待关联字段对应有待关联数据;根据预设的串接图谱信息,对多份待处理窄表数据中的各待关联字段进行串接处理,得到多个所述待关联字段之间的关联信息;其中,所述串接图谱信息包括多个预设字段以及所述预设字段之间的串接关系信息;根据多个所述待关联字段之间的关联信息、以及每一所述待关联字段对应的待关联数据,生成串接后的宽表数据。2.根据权利要求1所述的方法,其特征在于,所述串接图谱信息包括多个所述串接关系信息,每一所述串接关系信息包括多个预设字段,每一所述串接关系信息内多个预设字段均为相同颜色;不同所述串接关系信息之间为不同颜色。3.根据权利要求1所述的方法,其特征在于,根据预设的串接图谱信息,对多份待处理窄表数据中的各待关联字段进行串接处理,得到多个所述待关联字段之间的关联信息,包括:根据预设的串接图谱信息中的多个预设字段,在多份待处理窄表数据中查找与每一所述预设字段对应的待关联字段;根据所述预设字段之间的串接关系信息,对各所述预设字段对应的待关联字段进行串接处理,得到多个所述待关联字段之间的关联信息。4.根据权利要求1所述的方法,其特征在于,根据多个所述待关联字段之间的关联信息、以及每一所述待关联字段对应的待关联数据,生成串接后的宽表数据,包括:根据多个所述待关联字段之间的关联信息、以及每一所述待关联字段对应的待关联数据,将每一所述待关联字段对应的待关联数据关联到一起,并根据关联到一起的多个待关联数据生成串接后的宽表数据。5.根据权利要求1

4任一项所述的方法,其特征在于,所述方法还包括:获取多份窄表数据;对多份所述窄表数据进行分析处理,得到多个字段;根据每一窄表数据包含的字段,确定所述多个字段之间的串接关系信息,并根据所述串接关系信息建立串接图谱信息;其中,所述串接图谱信息包括当前窄表数据的任一字段与前一个窄表数据的任一字段之间的串接关系信息,和/或,当前窄表数据的任一字段与后一个窄表数据的任一字段之间的串接关系信息。6.一种基于窄表的数据处理装置,其特征在于,包括:第一获取单元,用于获取多份待处理窄表数据;其中,每一所述待处理窄表数据包括多个待关联字段,每一所述待关联字段对应有待关联数据;串接单元,用于根据预设的串接图谱信息,对多份待处理窄表数据中的各待关联字段进行...

【专利技术属性】
技术研发人员:杨嘉忱李峙葛迪
申请(专利权)人:中国联合网络通信集团有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1