非结构化大数据生成方法、系统、存储介质及电子设备技术方案

本发明专利技术公开了一种非结构化大数据生成方法、系统、存储介质及电子设备，属于计算机大数据测试领域，本发明专利技术要解决的技术问题为如何能够快速完成数据准备工作，且能够从数据类型、数据数量、数据大小三个维度满足大数据平台的测试需求，采用的技术方案为：该方法是BigDataInitTool从配置文件中读取文件模板、生成的文件类型、数量、每种类型的大小的配置信息，根据不同配置信息调用不同的数据生成模块进行对应的文档文件、图像文件、音频文件、文本文件和视频文件生成。该系统包括BigDataInitTool数据生成控制模块、数据生成模块、配置文件模块和模板库。

【技术实现步骤摘要】
非结构化大数据生成方法、系统、存储介质及电子设备
本专利技术涉及计算机大数据测试领域，具体地说是一种非结构化大数据生成方法、系统、存储介质及电子设备。
技术介绍
相较于记录了生产、业务、交易和客户信息等的结构化数据，非结构化的信息涵盖了更为广泛的内容，包括了如合约、发票、书信与采购记录等营运内容；如文书处理、电子表格、简报档案与电子邮件等部门内容；如HTML与XML等格式信息的Web内容；以及如声音、影片、图形等媒体内容。目前，非结构化数据的内容占据了当前数据海洋的80％。随着互联网+时代的到来，各行各业的数据都产生了爆炸式的增长，不仅体现在数据量上，同时也体现在数据类型上，各行业的核心数据资产除包含结构化数据外，还包含大量的非结构化数据，如图片、视频、音频、文档。如果让这些海量数据相互作用形成有价值的信息，是每个行业非常关心的话题。企业在对大数据平台进行测试时，通常需要一定量的基础数据来进行验证，目前在大数据平台测试验证环节，有时为了准备大量的数据而耗费数天、数周的时间，但是在数据量、数据类型、数据文件分布上存在数据量少、数据本文档来自技高网...

【技术保护点】
1.一种非结构化大数据生成方法，其特征在于，该方法是BigDataInitTool从配置文件中读取文件模板、生成的文件类型、数量、每种类型的大小的配置信息，根据不同配置信息调用不同的数据生成模块进行对应的文档文件、图像文件、音频文件、文本文件和视频文件生成。/n

【技术特征摘要】
1.一种非结构化大数据生成方法，其特征在于，该方法是BigDataInitTool从配置文件中读取文件模板、生成的文件类型、数量、每种类型的大小的配置信息，根据不同配置信息调用不同的数据生成模块进行对应的文档文件、图像文件、音频文件、文本文件和视频文件生成。


2.根据权利要求1所述的非结构化大数据生成方法，其特征在于，该方法具体如下：
BigDataInitTool读取配置文件并对数据生成模块进行初始化处理；
在读取并解析配置文件后，根据配置文件中的参数调用数据生成模块进行实体文件生成；同时计算出文件的生产总数和对应大小范围内的文件需要生成的数量；
BigDataInitTool进行文件数据多线程生成；
每个数据生成模块自动统计生成的对应类型文件个数；
当数据生成模块对应类型的文件个数达到设置值时，数据生成模块通知BigDataInitTool；
当所有类型文件生成完毕时，本次大数据生成任务结束。


3.根据权利要求2所述的非结构化大数据生成方法，其特征在于，所述参数包括总数量、类型占比、模板、步长、文件大小和文件大小占比。


4.根据权利要求3所述的非结构化大数据生成方法，其特征在于，所述文件的生产总数等于总数量*类型占比；
对应大小范围内的文件需要生成的数量等于类型文件的总数*文件大小占比。


5.根据权利要求1或2所述的非结构化大数据生成方法，其特征在于，所述数据生成模块包括，
FileProcess模块，用于读取配置文件中的文件个数、类型及文件大小，通过库动态生成Word、Pdf、xls类型的文本文件，通过代码写入文本及表格混排的内容，生成文件后并统计其文件大小；
ImageProcess模块，用于读取配置文件中的图片模板、文件个数、类型和文件大小，复制模板中的像素，根据像素区域计算出生成的图片大小，并生成图片文件；
SoundProcess模块，用于读取配置文件中的音频模板、文件个数、类型和文件大小，生成音频文件；
TxtProcess模块，用于读取配置文件中的文件个数及大小，根据配置文件设置生成指定大小的纯文本文件，根据文本字节计算出该文件在实际大小；
VedioProcess模块，用于读取...

【专利技术属性】
技术研发人员：刘祥，
申请(专利权)人：浪潮软件集团有限公司，
类型：发明
国别省市：山东;37