System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及数据编码,尤其涉及一种数据的编码入库方法、装置、电子设备及存储介质。
技术介绍
1、目前,大数据分析已逐渐应用于各大平台,通过对海量数据进行挖掘与分析可以获取大量有价值的信息,但是随着数据量不断增大,数据结构越来越复杂,数据来源也越来越多,数据呈现出零散、异构以及低质等碎片化特征,因此,对大数据汇总分析及应用也越来越复杂。
2、相关技术中,通常会先通过相关领域技术人员对有多源异构数据进行分组分类,再对分类后的数据进行手动层层编码,最后将编码后的数据存入相关数据库,以便于后期应用。明显的,现有的数据编码入库方法人工操作过多,效率较差,且不同领域数据的分组分类方式存在差异,同一数据编码入库方法的通用性较差。
技术实现思路
1、本专利技术提供了一种数据的编码入库方法、装置、电子设备及存储介质,以解决相关技术中的数据的编码入库方法的效率较低以及通用性较差的技术问题。
2、根据本专利技术的一方面,提供了一种数据的编码入库方法,其中,该方法包括:
3、获取待编码数据集,其中,所述待编码数据集包括多个数据来源的待编码数据和/或多种数据结构的待编码数据;
4、确定预设编码域,基于所述预设编码域对所述待编码数据集中的每个所述待编码数据进行编码得到目标编码数据;
5、通过分流模型确定每个所述目标编码数据对应的目标分流编码,并将每个所述目标编码数据分流至所述目标分流编码对应的目标分流;
6、通过提取入库模型确定所述目标
7、根据本专利技术的另一方面,提供了一种数据的编码入库装置,其中,该装置包括:
8、数据获取模块,用于获取待编码数据集,其中,所述待编码数据集包括多个数据来源的待编码数据和/或多种数据结构的待编码数据;
9、数据编码模块,用于确定预设编码域,基于所述预设编码域对所述待编码数据集中的每个所述待编码数据进行编码得到目标编码数据;
10、数据分流模块,用于通过分流模型确定每个所述目标编码数据对应的目标分流编码,并将每个所述目标编码数据分流至所述目标分流编码对应的目标分流;
11、数据入库模块,用于通过提取入库模型确定所述目标分流编码对应的数据表编码,并将每个所述目标分流存入所述数据表编码对应的目标数据表。
12、根据本专利技术的另一方面,提供了一种电子设备,所述电子设备包括:
13、至少一个处理器;以及
14、与所述至少一个处理器通信连接的存储器;其中,
15、所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行本专利技术任一实施例所述的数据的编码入库方法。
16、根据本专利技术的另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现本专利技术任一实施例所述的数据的编码入库方法。
17、本专利技术实施例的技术方案,通过获取待编码数据集,其中,所述待编码数据集包括多个数据来源的待编码数据和/或多种数据结构的待编码数据;确定预设编码域,基于所述预设编码域对所述待编码数据集中的每个所述待编码数据进行编码得到目标编码数据;通过分流模型确定每个所述目标编码数据对应的目标分流编码,并将每个所述目标编码数据分流至所述目标分流编码对应的目标分流;通过提取入库模型确定所述目标分流编码对应的数据表编码,并将每个所述目标分流存入所述数据表编码对应的目标数据表。本申请基于数据编码对多源异构的大数据进行编码分析入库,可快速整合多源异构数据,提高了数据的编码入库的效率,且本申请适用于多种来源的数据,提高了数据的编码入库应用的广泛性和通用性。应当理解,本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征,也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。
本文档来自技高网...【技术保护点】
1.一种数据的编码入库方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述预设编码域包括通用编码域、属性编码域以及业务编码域中至少一项。
3.根据权利要求1所述的方法,其特征在于,所述目标编码数据包括通用编码、属性编码以及业务编码中至少一项,所述通用编码为定长编码,所述通用编码包括场景编码、数据来源编码、操作步骤编码以及操作时间编码中至少一项。
4.根据权利要求1所述的方法,其特征在于,在所述通过分流模型确定每个所述目标编码数据对应的目标分流编码之前,还包括:
5.根据权利要求1所述的方法,其特征在于,在所述通过提取入库模型确定所述目标分流编码对应的数据表编码之前,还包括:
6.根据权利要求1所述的方法,其特征在于,还包括:
7.根据权利要求6所述的方法,其特征在于,所述通过数据访问模型对输入的所述目标访问编码进行数据查询,得到并访问所述待访问数据,包括:
8.一种数据的编码入库装置,其特征在于,包括:
9.一种电子设备,其特征在于,所述电子设备包括:
...
【技术特征摘要】
1.一种数据的编码入库方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述预设编码域包括通用编码域、属性编码域以及业务编码域中至少一项。
3.根据权利要求1所述的方法,其特征在于,所述目标编码数据包括通用编码、属性编码以及业务编码中至少一项,所述通用编码为定长编码,所述通用编码包括场景编码、数据来源编码、操作步骤编码以及操作时间编码中至少一项。
4.根据权利要求1所述的方法,其特征在于,在所述通过分流模型确定每个所述目标编码数据对应的目标分流编码之前,还包括:
5.根据权利要求1所述的方法,其特征在于,在所...
【专利技术属性】
技术研发人员:吴误,王亚峰,刘嘉铭,贾珊,
申请(专利权)人:中国农业银行股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。