一种智慧园区大数据快速导入方法技术

本发明专利技术公开一种智慧园区大数据快速导入方法，采用预解析模板来简化数据导入过程中扫描和判断数据类型的过程，本发明专利技术中的预解析模板是利用基于FE开发平台的FE‑TPL模板技术制作的，FE‑TPL模板技术实现了采用拖拽或一键生成的配置方式，配置组成模板的字段的字段属性和模板之间的关联性，实现模板和字段之间的多对多关系，使得不同的模板能够通过相同的字段高度聚合起来；FE‑POI模板引擎根据系统选择的预解析模板中配置的字段扫描原始表单对应的表单元素，不需要再对整个表格列进行扫描，根据字段属性直接进行数据处理，不需要再对表单元素的类型进行判断后在处理，节省了两个操作步骤，能够减小数据处理过程中对内存的占用，提升数据处理效率。

A fast import method of big data in smart Park

【技术实现步骤摘要】
一种智慧园区大数据快速导入方法
本专利技术涉及大数据处理领域，具体涉及一种智慧园区大数据快速导入方法。
技术介绍
智慧园区大数据管理平台对于各种园区的管理效率提高有着极大的作用，但是由于其数据处理量十分巨大，数据占用磁盘空间一般在500G以上，规模更大的甚至达到T级别。而在进行数据分析处理时，需要将大数据管理平台中数据量较大的数据导入到关系型数据库中，现有的导入方法通常采用基于数据库引擎创建的数据语言语法导入或者基于数据库前端可视化工具结合同用POI工具进行简单的数据导入，由于大数据管理平台上的数据存储和关系型数据库的存储方法不同，在导入过程中还需要进行数据转换，需要大量时间并占用大量的内存，导入效率低下。
技术实现思路
针对上述提到的现有技术中的智慧园区大数据导入技术导入效率低下的问题，提供一种智慧园区大数据快速导入方法，通过设置预解析模板，使系统直接按照预解析模板对批量数据中的原始表单的表单元素进行加工，避免一系列的扫描和判断过程，能够有效提高数据导入效率，降低系统内存的占用。本专利技术解决其技术问题采用的技术方本文档来自技高网...

【技术保护点】
1.一种智慧园区大数据快速导入方法，其特征在于，包括：/nS10，利用FE-TPL技术制作模板库，所述模板库中包括多个字段，并规定了所述字段的动态属性和字段属性的参照属性值，通过对不同字段的动态属性进行配置形成了多个预解析模板；/nS20，系统从大数据管理平台上获取批量数据，所述批量数据中包含一个以上的原始表单，所述原始表单中包括多个表单元素；/nS30，系统根据原始表单中的表单元素从所述模板库中检索出对应的预解析模板，并根据所述预解析模板构建对应的FE-POI模板引擎和FE-DPC数据转换引擎，以及中间数据表；/nS40，读取批量数据中的原始表单；/nS50，所述FE-POI模板引擎读取原始...

【技术特征摘要】
1.一种智慧园区大数据快速导入方法，其特征在于，包括：
S10，利用FE-TPL技术制作模板库，所述模板库中包括多个字段，并规定了所述字段的动态属性和字段属性的参照属性值，通过对不同字段的动态属性进行配置形成了多个预解析模板；
S20，系统从大数据管理平台上获取批量数据，所述批量数据中包含一个以上的原始表单，所述原始表单中包括多个表单元素；
S30，系统根据原始表单中的表单元素从所述模板库中检索出对应的预解析模板，并根据所述预解析模板构建对应的FE-POI模板引擎和FE-DPC数据转换引擎，以及中间数据表；
S40，读取批量数据中的原始表单；
S50，所述FE-POI模板引擎读取原始表单的数据，根据预解析模板中配置的字段读取原始表单中的对应表单元素，然后根据预解析模板中字段的动态属性直接对所述表单元素直接进行转换，存储到中间数据表中；
S60，利用所述FE-DPC数据转换引擎按照预设的业务规则对存储在中间数据表中的数据进行业务...

【专利技术属性】
技术研发人员：梁健基，魏杨城，陈胜，史玉洁，袁志远，吴恺，张大志，欧阳少海，喻勋勋，
申请(专利权)人：广东飞企互联科技股份有限公司，
类型：发明
国别省市：广东;44