一种数据生成的方法和相关装置制造方法及图纸

本申请公开了一种数据生成的方法和相关装置，可应用于大数据领域，该方法包括：确定待生成测试半结构化数据的预设数据模板，该预设数据模板是预先数据分析待生成测试半结构化数据对应的目标半结构化数据所得到的；获取待生成测试半结构化数据的预设数据格式和预设数据量，预设数据格式和预设数据量是根据半结构化数据测试需求所确定的；根据预设数据格式、预设数据量和预设数据模板，生成测试半结构化数据。可见，分析目标半结构化数据的数据特性得到预设数据模板，结合半结构化数据测试需求确定的预设数据格式和预设数据量，代替人工构造方式，自动化生成测试半结构化数据。该方式节省大量的时间和精力，提高所生成的测试半结构化数据的质量。半结构化数据的质量。半结构化数据的质量。

【技术实现步骤摘要】
一种数据生成的方法和相关装置


[0001]本申请涉及数据处理
，尤其涉及一种数据生成的方法和相关装置。

技术介绍

[0002]随着信息技术以及互联网的快速发展，各行各业均产生呈爆炸式增长的数据。该数据不仅包括结构化数据，而且包括半结构化数据以及非结构化数据。在大数据平台的建设过程中，需要准备大量的结构化数据、半结构化数据和非结构化数据，作为测试数据对大数据平台进行测试。
[0003]在获取到的半结构化数据较少的情况下，一般采用人工构造方式生成大量的测试半结构化数据。但是，专利技术人经过研究发现，半结构化数据具有丰富信息量的特性，上述人工构造方式，不仅需要耗费大量的时间和精力等，而且所生成的测试半结构化数据的质量较低。

技术实现思路

[0004]有鉴于此，本申请实施例提供一种数据生成的方法和相关装置，不仅可以节省大量的时间和精力，而且可以提高所生成的测试半结构化数据的质量。
[0005]第一方面，本申请实施例提供了一种数据生成的方法，所述方法包括：
[0006]确定待生成测试半结构化数据的预设数据模板，所述预设数据模板是数据分析待生成测试半结构化数据对应的目标半结构化数据构建的；
[0007]获取待生成测试半结构化数据的预设数据格式和预设数据量，所述预设数据格式和所述预设数据量是根据半结构化数据测试需求确定的；
[0008]根据所述预设数据格式、所述预设数据量和所述预设数据模板，生成测试半结构化数据。
[0009]可选的，所述预设数据模板包括所述目标半结构化数据的数据结构和字段约束。
[0010]可选的，所述预设数据模板的构建步骤包括：
[0011]从上游接口获取所述目标半结构化数据；
[0012]对所述目标半结构化数据的数据结构和字段约束进行数据分析，获得所述预设数据模板。
[0013]可选的，所述根据所述预设数据格式、所述预设数据量和所述预设数据模板，生成测试半结构化数据，包括：
[0014]按照所述预设数据格式和所述预设数据模板，开始生成所述测试半结构化数据；
[0015]统计所述测试半结构化数据的生成数据量；
[0016]若所述生成数据量达到所述预设数据量，结束生成所述测试半结构化数据。
[0017]可选的，所述预设数据格式包括XML格式和JSON格式中的一种或多种；所述预设数据量包括所述测试半结构化数据的预设数据大小和所述测试半结构化数据的预设数据数量中的一种或多种。
[0018]可选的，所述方法还包括：
[0019]存储所述测试半结构化数据；
[0020]利用所述测试半结构化数据对大数据平台进行半结构化数据测试。
[0021]第二方面，本申请实施例提供了一种数据生成的装置，所述装置包括：确定单元、获取单元和生成单元；
[0022]所述确定单元，用于确定待生成测试半结构化数据的预设数据模板，所述预设数据模板是数据分析待生成测试半结构化数据对应的目标半结构化数据构建的；
[0023]所述获取单元，用于获取待生成测试半结构化数据的预设数据格式和预设数据量，所述预设数据格式和所述预设数据量是根据半结构化数据测试需求确定的；
[0024]所述生成单元，用于根据所述预设数据格式、所述预设数据量和所述预设数据模板，生成测试半结构化数据。
[0025]第三方面，本申请实施例提供了一种终端设备，所述终端设备包括处理器以及存储器：
[0026]所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
[0027]所述处理器用于根据所述程序代码中的指令执行上述第一方面所述的数据生成的方法。
[0028]第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行上述第一方面所述的数据生成的方法。
[0029]第五方面，本申请实施例提供了、一种计算机程序产品，包括计算机程序或指令；当所述计算机程序或指令被处理器执行时，执行上述第一方面所述的数据生成方法。
[0030]与现有技术相比，本申请至少具有以下优点：
[0031]采用本申请实施例的技术方案，首先，确定待生成测试半结构化数据的预设数据模板，该预设数据模板是预先数据分析待生成测试半结构化数据对应的目标半结构化数据所得到的；然后，获取待生成测试半结构化数据的预设数据格式和预设数据量，该预设数据格式和该预设数据量是根据半结构化数据测试需求所确定的；最后，根据预设数据格式、预设数据量和预设数据模板，生成测试半结构化数据。由此可见，通过预先数据分析待生成测试半结构化数据对应的目标半结构化数据得到预设数据模板，能够分析目标半结构化数据的数据特性；以此结合半结构化数据测试需求所确定的预设数据格式和预设数据量，能够代替人工构造方式，自动化生成测试半结构化数据。基于此，该测试半结构化数据的自动化生成方式，不仅可以节省大量的时间和精力，而且可以提高所生成的测试半结构化数据的质量。
附图说明
[0032]为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0033]图1为本申请实施例中一种应用场景所涉及的系统框架示意图；
[0034]图2为本申请实施例提供的一种数据生成的方法的流程示意图；
[0035]图3为本申请实施例提供的一种半结构化数据测试的方法的流程示意图；
[0036]图4为本申请实施例提供的一种数据生成的装置的结构示意图。
具体实施方式
[0037]为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0038]在大数据平台的建设过程中，需要准备大量的结构化数据、半结构化数据和非结构化数据，作为测试数据对大数据平台进行测试。在获取到的半结构化数据较少的情况下，一般采用人工构造方式生成大量的测试半结构化数据。但是，专利技术人经过研究发现，半结构化数据具有丰富信息量的特性，上述人工构造方式，不仅需要耗费大量的时间和精力等，而且所生成的测试半结构化数据的质量较低。
[0039]为了解决这一问题，在本申请实施例中，确定待生成测试半结构化数据的预设数据模板，该预设数据模板是预先数据分析待生成测试半结构化数据对应的目标半结构化数据所得到的；获取待生成测试半结构化数据的预设数据格式和预设数据量，该预设数据格式和该预设数据量是根据半结构化数据测试需求所确定的；根据预设数据格式、预设数据量和预设数据模板，生成测试半结构化数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据生成的方法，其特征在于，包括：确定待生成测试半结构化数据的预设数据模板，所述预设数据模板是数据分析待生成测试半结构化数据对应的目标半结构化数据构建的；获取待生成测试半结构化数据的预设数据格式和预设数据量，所述预设数据格式和所述预设数据量是根据半结构化数据测试需求确定的；根据所述预设数据格式、所述预设数据量和所述预设数据模板，生成测试半结构化数据。2.根据权利要求1所述的方法，其特征在于，所述预设数据模板包括所述目标半结构化数据的数据结构和字段约束。3.根据权利要求2所述的方法，其特征在于，所述预设数据模板的构建步骤包括：从上游接口获取所述目标半结构化数据；对所述目标半结构化数据的数据结构和字段约束进行数据分析，获得所述预设数据模板。4.根据权利要求1所述的方法，其特征在于，所述根据所述预设数据格式、所述预设数据量和所述预设数据模板，生成测试半结构化数据，包括：按照所述预设数据格式和所述预设数据模板，开始生成所述测试半结构化数据；统计所述测试半结构化数据的生成数据量；若所述生成数据量达到所述预设数据量，结束生成所述测试半结构化数据。5.根据权利要求1
‑
4任意一项所述的方法，其特征在于，所述预设数据格式包括XML格式和JSON格式中的一种或多种；所述预设数据量包括所述测试半结构化数据的预设数据大小和所述测试半结构化数据的预设数据数量中的一...

【专利技术属性】
技术研发人员：程慧，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：