一种基于数据源格式不定的数据解析和处理操作方法技术

本发明专利技术涉及数据处理技术领域，具体涉及一种基于数据源格式不定的数据解析和处理操作方法，针对数据字段格式、内容、顺序不固定的数据源，可以实现数据采集、解析、存储和使用的方法。本发明专利技术根据数据源数据字段的数量、格式、种类设计数据存储表和数据映射表，根据对数据源中数据字段的内容及关系进行解析并存储完成数据收集；当使用数据时，根据输入数据的标识信息，在数据映射表中检索与标识信息对应的数据字段格式项和唯一标识符，通过比对数据存储表中的数据字段格式项和唯一标识符获得目标数据完成数据使用。本发明专利技术解决了数据存取效率低下的技术问题，提高了数据存取效率，可应用于数据源格式可变的数据解析处理、存储和使用。用。用。

【技术实现步骤摘要】
一种基于数据源格式不定的数据解析和处理操作方法


[0001]本专利技术涉及数据处理
，具体涉及一种基于数据源格式不定的数据解析和处理操作方法。

技术介绍

[0002]传统数据源处理方法多为固定格式，通过数据源字段名称、数量和顺序获得映射关系存储至数据库。但许多项目多要求数据源为可变格式，因为试验格式和试验类别往往不唯一，将所有试验格式和试验类别映射关系存储至数据库，往往消耗大量时间和精力，从而导致数据存取效率低下，进而往往导致项目难以在预期时间内完成，因此，传统数据源处理方法往往不适用于可变数据源格式。
[0003]因此目前需要一种基于数据源格式不定的数据解析和处理操作方法。

技术实现思路

[0004]本专利技术的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本专利技术的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
[0005]为了解决数据存取效率低下的技术问题，本专利技术提出了一种基于数据源格式不定的数据解析和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数据源格式不定的数据解析和处理操作方法，其特征在于，包括以下步骤：获取试验模板文件，根据试验模板文件，确定试验模板文件包括的试验数据的数据字段名称及数据字段格式，解析数据字段名称和数据字段格式，得到数据格式和数据映射关系，将数据格式及数据映射关系存储至数据映射表；获取试验文件，根据试验文件，获取试验文件类别标识符和数据字段格式，通过试验文件类别标识符和数据字段格式比对数据映射表，根据数据映射表数据映射关系，将试验文件内容存储至数据存储表；获取试验标识符和试验文件类别标识符，通过试验标识符和试验文件类别标识符比对数据存储表，从数据存储表中获得目标数据。2.根据权利要求1所述的一种基于数据源格式不定的数据解析和处理操作方法，其特征在于，所述获取试验模板文件，根据试验模板文件，确定试验模板文件包括的试验数据的数据字段名称及数据字段格式，解析数据字段名称和数据字段格式，得到数据格式和数据映射关系，将数据格式及数据映射关系存储至数据映射表，包括：从模板上传接口获取试验模板文件；遍历试验模板文件，获取试验数据的数据字段名称及数据字段格式；解析试验数据的数据字段名称及数据字段格式，取得数据格式和数据映射关系；获取数据库字段格式，与取得的数据格式和数据映射关系进行匹配，并保存匹配结果；通过匹配结果，将数据格式及数据映射关系存储至数据映射表。3.根据权利要求1所述的一种基于数据源格式不定的数据解析和处理操作方法，其特征在于，所述获取试验文件，根据试验文件，获取试验文件类别标识符和数据字段格式，通过试验文件类别标识符和数据字段格式比对数据映射表，根据数据映射表数据映射关系，将试验文件内容存储至数据存储表，包括：从试验上传接口获取试验文件和试验文件类别标识符；若试验文件为单个试验文件，遍历试验文件，获取试验文件对应的数据字段格式，比对数据映射表，获取试验文件对应的映射关系，通过试验文件对应的映射关系，将试验文件包括的试验数据存储至数据存储表；若试验文件为至少两个试验文件，遍历至少两个试验文件，获取试验文件对应的数据字段格式，比对数据映射表，获取试验文件对应的映射关系，通过试验文件对应的映射关系，将试验文件包括的试验数据存储至数据存储表；若试验文件为待上传试验数据文件，获取试验唯一标识符和试验数据文件类别名称，比对数...

【专利技术属性】
技术研发人员：胡振涛，陈震，杨浩然，程聪聪，
申请(专利权)人：河南大学，
类型：发明
国别省市：