半结构化数据的转化方法、装置、电子设备及存储介质制造方法及图纸

本申请实施例提供一种半结构化数据的转化方法、装置、电子设备及存储介质，其中，该方法包括：获取半结构化数据；对所述半结构化数据中的对象进行字段解析，得到基础表；根据所述基础表获得派生表；根据所述基础表和所述派生表构建标准模板文档；将所述半结构化数据输入所述标准模板文档进行转化，得到结构化数据。实施本申请实施例，可以实现对半结构化数据的快速转化，使得半结构化数据可以发挥其共享价值，减少在数据转化过程中的重复沟通、重读开发的工作成本，极大地提高了半结构化数据的转化效率。的转化效率。的转化效率。

【技术实现步骤摘要】
半结构化数据的转化方法、装置、电子设备及存储介质


[0001]本申请涉及数据处理
，具体而言，涉及一种半结构化数据的转化方法、装置、电子设备及存储介质。

技术介绍

[0002]金融行业需要用到很多半结构化数据，半结构化数据(如JSON)是一种轻量级的数据交换格式。采用独立于编程语言的文本格式来存储和表示数据。其简洁和清晰的层次结构使得JSON成为了理想的数据交换语言，易于人阅读和编写。
[0003]传统的数据仓库对于半结构化数据通常是将数据从业务系统经数据采集后作为结构化表数据中的字段存储，而其特殊的数据表现使其具有与结构化数据类似的预定义结构描述，半结构化数据可以通过结构化解析过程，作为结构化数据存储，方便数据分析人员通过SQL语言进行数据处理。
[0004]然而，由于金融行业涉及到越来越多的大数据平台加工，业内通常将半结构化数据解析过程置于数据加工链条的末端，由分析人员随用随取或者数据集市加工业务数据时进行解析转换，导致半结构化数据无法发挥基础数据的共享价值，并且，对于半结构化数据的结构描述及加工过程，没有统一的需求、设计、开发交付文档，增加重复沟通、重复开发的工作量，效率低下。

技术实现思路

[0005]本申请实施例的目的在于提供一种半结构化数据的转化方法、装置、电子设备及存储介质，可以实现对半结构化数据的快速转化，使得半结构化数据可以发挥其共享价值，减少在数据转化过程中的重复沟通、重读开发的工作成本，极大地提高了半结构化数据的转化效率。
[0006]第一方面，本申请实施例提供了一种半结构化数据的转化方法，所述方法包括：
[0007]获取半结构化数据；
[0008]对所述半结构化数据中的对象进行字段解析，得到基础表；
[0009]根据所述基础表获得派生表；
[0010]根据所述基础表和所述派生表构建标准模板文档；
[0011]将所述半结构化数据输入所述标准模板文档进行转化，得到结构化数据。
[0012]在上述实现过程中，对半结构化数据的对象进行字段解析得到基础表，再根据基础表获得派生表，进而根据基础表和派生表构建标准模板文档，可以实现对半结构化数据的快速转化，使得半结构化数据可以发挥其共享价值，减少在数据转化过程中的重复沟通、重读开发的工作成本，极大地提高了半结构化数据的转化效率。
[0013]进一步地，所述对所述半结构化数据中的对象进行字段解析，得到基础表的步骤，包括：
[0014]对所述半结构化数据中的对象进行字段解析，得到解析字段；
[0015]将所述解析字段加入初始基础表中进行横向扩展，得到所述基础表。
[0016]在上述实现过程中，对半结构化数据中的对象进行字段解析，再将得到的解析字段加入初始基础表进行横向扩展，使得到的基础表更加完整、完善。
[0017]进一步地，所述根据所述基础表获得派生表的步骤，包括：
[0018]获取初始派生表；
[0019]将所述初始派生表中的对象进行拆解，得到多个初始结构化数据；
[0020]将所述基础表中的目标字段根据所述多个初始结构化数据添加至所述初始派生表，得到所述派生表。
[0021]在上述实现过程中，将基础表中的目标字段根据拆解后得到的多个初始结构化数据进行添加，使得到的派生表可以一对多相互对应，使得派生表中的数据结构更加清晰。
[0022]进一步地，所述根据所述基础表和所述派生表构建标准模板文档的步骤，包括：
[0023]根据所述基础表和所述派生表构建模板设计文档；
[0024]根据所述模板设计文档获得所述标准模板文档。
[0025]在上述实现过程中，根据基础表和派生表构建模板设计文档，可以适应多种结构化数据的转化需求，无需逐一对标准模板文档进行调整。
[0026]进一步地，所述根据所述模板设计文档获得所述标准模板文档的步骤，包括：
[0027]获取转化需求；
[0028]根据所述转化需求对所述模板设计文档进行结构转化，得到标准化数据；
[0029]根据所述标准化数据获得所述标准模板文档。
[0030]在上述实现过程中，根据转化需求对模板设计文档进行结构转化，使得标准模板文档可以对多种转化需求下的半结构化数据进行转化，无需反复构建标准模板文档，可以提高效率。
[0031]进一步地，所述根据所述转化需求对所述模板设计文档进行结构转化，得到标准化数据的步骤，包括：
[0032]根据所述转化需求中的第一转化需求将所述模板设计文档进行代码转化，生成代码数据；
[0033]根据所述转化需求中的第二转化需求将所述模板设计文档进行文档导入转化，生成导入文档；
[0034]将所述转化需求中的第三转化需求将所述模板设计文档进行配置转化，生成调度作业部署包；
[0035]将所述代码数据、所述导入文档和所述调度作业部署包作为所述标准化数据。
[0036]在上述实现过程中，根据不同的转化需求将模板设计文档进行代码转化、文档导入转化和配置转化，使得到的标准化数据可以映射多种数据转化功能，有效提高标准化数据的实用性。
[0037]进一步地，在所述将所述半结构化数据输入所述标准模板文档进行转化，得到结构化数据的步骤之后，还包括：
[0038]对所述结构化数据进行可视化展示。
[0039]在上述实现过程中，可以将结构化数据一一进行展示，便于及时发现问题进行更改。
[0040]第二方面，本申请实施例还提供了一种半结构化数据的转化装置，所述装置包括：
[0041]获取模块，用于获取半结构化数据；
[0042]解析模块，用于对所述半结构化数据中的对象进行字段解析，得到基础表；
[0043]数据获得模块，用于根据所述基础表获得派生表；
[0044]构建模块，用于根据所述基础表和所述派生表构建标准模板文档；
[0045]转化模块，用于将所述半结构化数据输入所述标准模板文档进行转化，得到结构化数据。
[0046]在上述实现过程中，对半结构化数据的对象进行字段解析得到基础表，再根据基础表获得派生表，进而根据基础表和派生表构建标准模板文档，可以实现对半结构化数据的快速转化，使得半结构化数据可以发挥其共享价值，减少在数据转化过程中的重复沟通、重读开发的工作成本，极大地提高了半结构化数据的转化效率。
[0047]第三方面，本申请实施例提供的一种电子设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面任一项所述的方法的步骤。
[0048]第四方面，本申请实施例提供的一种计算机可读存储介质，所述存储介质上存储有指令，当所述指令在计算机上运行时，使得所述计算机执行如第一方面任一项所述的方法。
[0049]第五方面，本申请实施例提供的一种计算机程序产品，所述计算机程序产品在计算机上运行时，使得计本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种半结构化数据的转化方法，其特征在于，所述方法包括：获取半结构化数据；对所述半结构化数据中的对象进行字段解析，得到基础表；根据所述基础表获得派生表；根据所述基础表和所述派生表构建标准模板文档；将所述半结构化数据输入所述标准模板文档进行转化，得到结构化数据。2.根据权利要求1所述的半结构化数据的转化方法，其特征在于，所述对所述半结构化数据中的对象进行字段解析，得到基础表的步骤，包括：对所述半结构化数据中的对象进行字段解析，得到解析字段；将所述解析字段加入初始基础表中进行横向扩展，得到所述基础表。3.根据权利要求1所述的半结构化数据的转化方法，其特征在于，所述根据所述基础表获得派生表的步骤，包括：获取初始派生表；将所述初始派生表中的对象进行拆解，得到多个初始结构化数据；将所述基础表中的目标字段根据所述多个初始结构化数据添加至所述初始派生表，得到所述派生表。4.根据权利要求1所述的半结构化数据的转化方法，其特征在于，所述根据所述基础表和所述派生表构建标准模板文档的步骤，包括：根据所述基础表和所述派生表构建模板设计文档；根据所述模板设计文档获得所述标准模板文档。5.根据权利要求4所述的半结构化数据的转化方法，其特征在于，所述根据所述模板设计文档获得所述标准模板文档的步骤，包括：获取转化需求；根据所述转化需求对所述模板设计文档进行结构转化，得到标准化数据；根据所述标准化数据获得所述标准模板文档。6.根据权利要求5所述的半结构化数据的转化方法，其特征在...

【专利技术属性】
技术研发人员：陈旋，
申请(专利权)人：平安银行股份有限公司，
类型：发明
国别省市：