一种智慧园区大数据快速导入方法技术

本发明专利技术公开一种智慧园区大数据快速导入方法，采用预解析模板来简化数据导入过程中扫描和判断数据类型的过程，本发明专利技术中的预解析模板是利用基于FE开发平台的FE‑TPL模板技术制作的，FE‑TPL模板技术实现了采用拖拽或一键生成的配置方式，配置组成模板的字段的字段属性和模板之间的关联性，实现模板和字段之间的多对多关系，使得不同的模板能够通过相同的字段高度聚合起来；FE‑POI模板引擎根据系统选择的预解析模板中配置的字段扫描原始表单对应的表单元素，不需要再对整个表格列进行扫描，根据字段属性直接进行数据处理，不需要再对表单元素的类型进行判断后在处理，节省了两个操作步骤，能够减小数据处理过程中对内存的占用，提升数据处理效率。

A fast import method of big data in smart Park

【技术实现步骤摘要】
一种智慧园区大数据快速导入方法
本专利技术涉及大数据处理领域，具体涉及一种智慧园区大数据快速导入方法。
技术介绍
智慧园区大数据管理平台对于各种园区的管理效率提高有着极大的作用，但是由于其数据处理量十分巨大，数据占用磁盘空间一般在500G以上，规模更大的甚至达到T级别。而在进行数据分析处理时，需要将大数据管理平台中数据量较大的数据导入到关系型数据库中，现有的导入方法通常采用基于数据库引擎创建的数据语言语法导入或者基于数据库前端可视化工具结合同用POI工具进行简单的数据导入，由于大数据管理平台上的数据存储和关系型数据库的存储方法不同，在导入过程中还需要进行数据转换，需要大量时间并占用大量的内存，导入效率低下。
技术实现思路
针对上述提到的现有技术中的智慧园区大数据导入技术导入效率低下的问题，提供一种智慧园区大数据快速导入方法，通过设置预解析模板，使系统直接按照预解析模板对批量数据中的原始表单的表单元素进行加工，避免一系列的扫描和判断过程，能够有效提高数据导入效率，降低系统内存的占用。本专利技术解决其技术问题采用的技术方案是：一种智慧园区大数据快速导入方法，其特征在于，包括：S10，利用FE-TPL技术制作模板库，所述模板库中包括多个字段，并规定了所述字段的动态属性和字段属性的参照属性值，通过对不同字段的动态属性进行配置形成了多个预解析模板；S20，系统从大数据管理平台上获取批量数据，所述批量数据中包含一个以上的原始表单，所述原始表单中包括多个表单元素；S30，系统根据原始表单中的表单元素从所述模板库中检索出对应的预解析模板，并根据所述预解析模板构建对应的FE-POI模板引擎和FE-DPC数据转换引擎，以及中间数据表；S40，读取批量数据中的原始表单；S50，所述FE-POI模板引擎读取原始表单的数据，根据预解析模板中配置的字段读取原始表单中的对应表单元素，然后根据预解析模板中字段的动态属性直接对所述表单元素直接进行转换，存储到中间数据表中；S60，利用所述FE-DPC数据转换引擎按照预设的业务规则对存储在中间数据表中的数据进行业务处理，将处理结果写入到目标数据库；S70，将处理结果返回给用户，同时将读取失败的原始表单以及失败原因返回给用户。本专利技术解决其技术问题采用的技术方案进一步还包括：进一步的，所述字段属性包括字段名、描述、状态、长度、参照、高级参照、组织机构、子表。进一步的，读取批量数据中的原始表单的步骤包括：建立表单列表，读取原始表单的表单ID，将所述表单ID记录到表单列表中，将表单ID为空的原始表单返回给系统；对成功读取表单ID的原始表单进行初始化，初始化失败的原始表单在表单列表中记录，并返回给系统；读取初始化成功的原始表单，存储在缓存中等待的FE-POI模板引擎处理。进一步的，所述预解析模板还包括文本、文本域、日期、组织机构、图片、附件、高级参照、普通参照以及子表组件。本专利技术的有益效果是：本专利技术的智慧园区大数据快速导入方法中采用预解析模板来简化数据导入过程中扫描和判断数据类型的过程，本专利技术中的预解析模板是利用基于FE开发平台的FE-TPL模板技术制作的，FE-TPL模板技术实现了采用拖拽或一键生成的配置方式，配置组成模板的字段的字段属性和模板之间的关联性，实现模板和字段之间的多对多关系，使得不同的模板能够通过相同的字段高度聚合起来；FE-POI模板引擎根据系统选择的预解析模板中配置的字段扫描原始表单对应的表单元素，不需要再对整个表格列进行扫描，根据字段属性直接进行数据处理，不需要再对表单元素的类型进行判断后在处理，节省了两个操作步骤，能够减小数据处理过程中对内存的占用，提升数据处理效率。具体实施方式本实施例为本专利技术优选实施方式，其他凡其原理和基本结构与本实施例相同或近似的，均在本专利技术保护范围之内。本专利技术的智慧园区大数据快速导入方法实施例包括以下步骤：S10，利用FE-TPL技术制作模板库，所述模板库中包括多个字段，并规定了所述字段的动态属性和字段属性的参照属性值，通过对不同字段的动态属性进行配置形成了多个预解析模板。FE-TPL技术是基于FE开发的C/S架构模板设计器，具有专门的动态属性界面，使用者在界面中挑选需要的动态参数，就能够通过拖拽或一键生成的方式配置出需要的预解析模板。组成预解析模板的除了字段外，还有文本、文本域、日期、组织机构、图片、附件、高级参照、普通参照以及子表组件的组件，字段又具有字段名、描述、状态、长度、参照、高级参照、组织机构、子表等字段属性。通过对字段属性和预解析模板之间的关联性进行配置，能够实现预解析模板和字段之间的多对多的关系，实现模板库中的预解析模板之间的高度聚合。S20，系统从大数据管理平台上获取批量数据，所述批量数据中包含一个以上的原始表单，所述原始表单中包括多个表单元素。批量数据是指大数据管理平台预先存储但未上传给关系型数据库的数据量较大的数据。具体地，该批量数据具体可以是智慧园区各个不同的业务系统(如智慧园区的不动产业务系统或企业管理系统等)发送给智慧园区的大数据管理平台的业务数据。该业务数据包括但不限于本实施例提及的不动产业务系统提供的开户信息数据和企业管理系统的用户注册信息数据。这些业务数据一般是批处理的业务数据，数据量比较大，每个业务系统发来的业务数据可以看做是一个批量数据，智慧园区的大数据管理平台存储这些批量数据，并定期或者按照使用者需要将这些批量数据作为一个整体导入到处理数据的关系型数据库中。批量数据中会根据时间或者其他使用者设置的因素分成了多个原始表单，每个表单中又有多个不同的表单元素，具体如企业名称、企业性质、入驻园区、入职时间等。S30，系统根据原始表单中的表单元素从所述模板库中检索出对应的预解析模板，并根据所述预解析模板构建对应的FE-POI模板引擎和FE-DPC数据转换引擎，以及中间数据表。原始表单中的表单元素和预解析模板中的字段对应，因此，系统通过对表单元素的分析，能够从模板库中找到具有对应字段的预解析模板，然后根据预解析模板构建对应的FE-POI模板引擎和FE-DPC数据转换引擎，为对原始表单的进一步分析做准备，同时也建立临时储存数据的中间数据表。S40，读取批量数据中的原始表单。具体的读取步骤包括：建立表单列表，读取原始表单的表单ID，将所述表单ID记录到表单列表中，将表单ID为空的原始表单返回给系统；对成功读取表单ID的原始表单进行初始化，初始化失败的原始表单在表单列表中记录，并返回给系统；读取初始化成功的原始表单，存储在缓存中等待的FE-POI模板引擎处理。为了方便处理，每个原始表单应该有对应的表单ID，部分原始表单由于业务系统的错误，表单ID可能为空，没有表单ID会给原始表单的读取带来不便，因此在开始读取之前，首先要将表单ID可能为空的原始表单排除，将具有的表单ID记录到专门的表单列表中。然后对具有表单ID的原始表单进行初始本文档来自技高网...

【技术保护点】
1.一种智慧园区大数据快速导入方法，其特征在于，包括：/nS10，利用FE-TPL技术制作模板库，所述模板库中包括多个字段，并规定了所述字段的动态属性和字段属性的参照属性值，通过对不同字段的动态属性进行配置形成了多个预解析模板；/nS20，系统从大数据管理平台上获取批量数据，所述批量数据中包含一个以上的原始表单，所述原始表单中包括多个表单元素；/nS30，系统根据原始表单中的表单元素从所述模板库中检索出对应的预解析模板，并根据所述预解析模板构建对应的FE-POI模板引擎和FE-DPC数据转换引擎，以及中间数据表；/nS40，读取批量数据中的原始表单；/nS50，所述FE-POI模板引擎读取原始表单的数据，根据预解析模板中配置的字段读取原始表单中的对应表单元素，然后根据预解析模板中字段的动态属性直接对所述表单元素直接进行转换，存储到中间数据表中；/nS60，利用所述FE-DPC数据转换引擎按照预设的业务规则对存储在中间数据表中的数据进行业务处理，将处理结果写入到目标数据库；/nS70，将处理结果返回给管理员，同时将读取失败的原始表单以及失败原因返回给用户。/n

【技术特征摘要】
1.一种智慧园区大数据快速导入方法，其特征在于，包括：
S10，利用FE-TPL技术制作模板库，所述模板库中包括多个字段，并规定了所述字段的动态属性和字段属性的参照属性值，通过对不同字段的动态属性进行配置形成了多个预解析模板；
S20，系统从大数据管理平台上获取批量数据，所述批量数据中包含一个以上的原始表单，所述原始表单中包括多个表单元素；
S30，系统根据原始表单中的表单元素从所述模板库中检索出对应的预解析模板，并根据所述预解析模板构建对应的FE-POI模板引擎和FE-DPC数据转换引擎，以及中间数据表；
S40，读取批量数据中的原始表单；
S50，所述FE-POI模板引擎读取原始表单的数据，根据预解析模板中配置的字段读取原始表单中的对应表单元素，然后根据预解析模板中字段的动态属性直接对所述表单元素直接进行转换，存储到中间数据表中；
S60，利用所述FE-DPC数据转换引擎按照预设的业务规则对存储在中间数据表中的数据进行业务...

【专利技术属性】
技术研发人员：梁健基，魏杨城，陈胜，史玉洁，袁志远，吴恺，张大志，欧阳少海，喻勋勋，
申请(专利权)人：广东飞企互联科技股份有限公司，
类型：发明
国别省市：广东;44