一种数据格式转换方法及系统技术方案

本发明专利技术公开了一种数据格式转换方法及装置。所述方法包括：数据格式转换系统调用本地数据库，初始化所述本地数据库中的静态资源，并获取源目录、目标目录、格式转换模板文件以及筛选条件；所述数据格式转换系统获取所述源目录中的设定类型的至少一个源文件；所述数据格式转换系统读取所述至少一个源文件中的源数据并筛选出所述源数据中满足所述筛选条件的源数据；所述数据格式转换系统调用所述格式转换模板文件，对筛选后的源数据进行数据格式转换，生成目标数据并保存至所述目标目录中。本发明专利技术实施例可以实现针对不同系统以及用户需求转换空间数据格式。

A data format conversion method and system

The invention discloses a data format conversion method and device. The methods described include: the data format conversion system calls the local database, initializes the static resources in the local database, and obtains the source directory, the target directory, the format conversion template file, and the screening conditions; the data format conversion system obtains at least one source file of the set type in the source directory. The data format conversion system reads source data from the at least one source file and filters out source data in the source data to satisfy the screening conditions; the data format conversion system calls the format conversion template file to convert the filtered source data into a data lattice, generates the target data and saves it to the source data. In the target directory. The embodiment of the invention can realize the conversion of spatial data formats for different systems and user needs.

【技术实现步骤摘要】
一种数据格式转换方法及系统
本专利技术实施例涉及数据格式转换技术，尤其涉及一种数据格式转换方法及系统。
技术介绍
在信息社会中，每时每刻都有大量来源不同的数据产生，分地存贮。在网络环境下，信息要在不同软件中分布地处理，并且能够在网络中实时发布。不同的地理信息系统(GeographicInformationSystem或Geo-Informationsystem,GIS)系统对各种时空现象的理解、描述方式、概念模型、数据结构、实现手段等互不相同,各有优势和局限。实现新的应用功能时,首先考虑能否利用已有的数据,这就涉及到数据的转换问题。一些商用GIS软件厂商根据自己对GIS的理解,为特定的用户群和应用目的设计了各自的数据结构和数据模型,不同厂商的软件自成体系,造成局部有序和GIS世界整体的无序。需要运用多个软件时也要涉及数据交换。因此，如何使这些集成数据能在不同的系统下相互可操作以及在异构分布数据中获取所需的数据信息，即实现数据集成与数据共享就变得非常关键。目前,地理信息系统数据交换和共享技术还处于发展阶段,还没有一种被广泛使用的成熟方法,实现多源数据集成的方式大致有3种,即:数据格式转换模式、数据互操作模式、直接数据访问模式。数据互操作模式是一种多格式数据共享的方式，该模式是开放地理空间信息联盟(OpenGeospatialConsortium，OGC)制定的规范。GIS互操作是指在异构数据库和分布计算的情况下，GIS用户在相互理解的基础上，能透明地获取所需的信息。OGC为数据互操作制定了统一的规范，为实现不同平台间服务器和客户端之间数据请求和服务提供了统一的协议，从而使得一个系统同时支持不同的空间数据格式成为可能。但从目前来看，非开放的地理数据互操作规范(OpenGeodataInteroperationSpecification,OpenGIS)标准的空间数据格式仍然占据已有数据的主体。数据互操作规范为多源数据集成带来了新的模式，但这一模式在应用中存在一定局限性：首先，为真正实现各种格式数据之间的互操作，需要每个每种格式的宿主软件都按照统一的规范实现数据访问接口，在一定时期内还不现实；二是一个软件访问其他软件的数据格式时是通过数据服务器实现的，这个数据服务器实际上就是被访问数据格式的宿主软件，也就是说，用户必须同时拥有这两个GIS软件，并且同时运行，才能完成数据互操作过程。三是OGC标准更多地考虑到采用OpenGIS协议的空间数据服务软件和空间数据客户软件，对于那些历史存在的大量的非OpenGIS标准的空间数据格式的处理方法还缺乏标准的规范。
技术实现思路
本专利技术提供一种数据格式转换方法及系统，以实现针对不同系统以及用户需求转换空间数据格式。第一方面，本专利技术实施例提供了一种数据格式转换方法，包括：数据格式转换系统调用本地数据库，初始化所述本地数据库中的静态资源，并获取源目录、目标目录、格式转换模板文件以及筛选条件；所述数据格式转换系统获取所述源目录中的设定类型的至少一个源文件；所述数据格式转换系统读取所述至少一个源文件中的源数据并筛选出所述源数据中满足所述筛选条件的源数据；所述数据格式转换系统调用所述格式转换模板文件，对筛选后的源数据进行数据格式转换，生成目标数据并保存至所述目标目录中。第二方面，本专利技术实施例提供了一种数据格式转换装置，配置于数据格式转换系统中，包括：静态资源初始化模块，用于调用本地数据库，初始化所述本地数据库中的静态资源，并获取源目录、目标目录、格式转换模板文件以及筛选条件；源文件获取模块，用于获取所述源目录中的设定类型的至少一个源文件；源数据筛选模块，用于读取所述至少一个源文件中的源数据并筛选出所述源数据中满足所述筛选条件的源数据；数据格式转换模块，用于调用所述格式转换模板文件，对筛选后的源数据进行数据格式转换，生成目标数据并保存至所述目标目录中。本专利技术通过提供一个独立安装于操作系统中的插件或者服务器，实现不同平台间服务器和客户端之间数据格式转换，并针对不同系统或针对不同用户需求转换空间数据格式，还可以实现一个软件能够同时访问其他多个软件的数据格式。附图说明图1a是本专利技术实施例提供的一种数据格式转换方法的流程图；图1b是数据格式转换系统的网络拓扑图；图1c是空间数据转换的示意图；图2是本专利技术实施例提供的一种数据格式转换方法的流程图；图3是本专利技术实施例提供的一种数据格式转换方法的流程图；图4是本专利技术实施例提供的一种数据格式转换装置的示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。实施例一图1a为本专利技术实施例一提供的数据格式转换的流程图，该方法可以由数据格式转换系统来执行，具体包括如下步骤：S110，数据格式转换系统调用本地数据库，初始化所述本地数据库中的静态资源，并获取源目录、目标目录、格式转换模板文件以及筛选条件。其中，优选的，数据格式转换系统的转换的数据为空间数据。具体的，静态资源是数据格式转换系统中的配置文件的参数以及本地数据库资源，源数据是用户需要转换的初始数据，源目录是源数据存储在本地数据库中的目录，将源数据进行格式转换后的数据作为目标数据，目标目录是目标数据存储在本地数据中的目录。格式转换模板文件是由技术人员编写的格式转换的逻辑规则，数据格式转换系统可以根据源数据的数据格式和目标数据的数据格式，获取与源数据和目标数据相对应的格式转换模板文件，并调用该格式转换模板文件，将源数据转换为预定格式的目标数据。筛选条件是用户对源文件中存储的数据设定的筛选条件。可选的，筛选条件也可以写入格式转换模板文件，由数据格式转换系统调用格式转换模板文件实现数据筛选的功能。在本专利技术实施例中，所述数据格式转换系统为独立安装于操作系统中的插件或者服务器。具体的，数据格式转换系统可以以JAVA开发的插件方式来设计，以实现平台无关性，无论WINDOWS还是LINUX都能用此系统。数据格式转换系统通过数据格式转换装置将源数据转换为目标数据。其中，数据格式转换系统是以插件的形式，通过修改配置文件，集成到任何系统中。图1b是数据格式转换系统的网络拓扑图。参照图1b来说，数据格式转换系统安装于提供数据格式转换服务的服务器/服务器集群110，源数据数据库140通过交换机130将源数据发送至服务器/服务器集群110的本地数据库120中，当服务器/服务器集群110将源数据的数据格式转换完成，生成目标数据后，将目标数据通过交换机130发送至目标数据库150中。图1c是空间数据转换的示意图。参照图1c来说，格式转换模板文件包括数据格式规范E，数据格式转换系统基于数据格式规范E将空间数据A转换成空间数据B、空间数据C或空间数据D。S120，所述数据格式转换系统获取所述源目录中的设定类型的至少一个源文件。其中，优选的，设定类型为文本类型，如txt、excel和doc等类型。S130，所述数据格式转换系统读取所述至少一个源文件中的源数据并筛选出所述源数据中满足所述筛选条件的源数据。具体的，筛选条件为源数据中的属性信息、范围信息或类别信息等，例如可本文档来自技高网...

【技术保护点】
一种数据格式转换方法，其特征在于，包括：数据格式转换系统调用本地数据库，初始化所述本地数据库中的静态资源，并获取源目录、目标目录、格式转换模板文件以及筛选条件；所述数据格式转换系统获取所述源目录中的设定类型的至少一个源文件；所述数据格式转换系统读取所述至少一个源文件中的源数据并筛选出所述源数据中满足所述筛选条件的源数据；所述数据格式转换系统调用所述格式转换模板文件，对筛选后的源数据进行数据格式转换，生成目标数据并保存至所述目标目录中。

【技术特征摘要】
1.一种数据格式转换方法，其特征在于，包括：数据格式转换系统调用本地数据库，初始化所述本地数据库中的静态资源，并获取源目录、目标目录、格式转换模板文件以及筛选条件；所述数据格式转换系统获取所述源目录中的设定类型的至少一个源文件；所述数据格式转换系统读取所述至少一个源文件中的源数据并筛选出所述源数据中满足所述筛选条件的源数据；所述数据格式转换系统调用所述格式转换模板文件，对筛选后的源数据进行数据格式转换，生成目标数据并保存至所述目标目录中。2.根据权利要求1所述的方法，其特征在于，所述数据格式转换系统为独立安装于操作系统中的插件或者服务器。3.根据权利要求1或2所述的数据格式转换方法，其特征在于，在数据格式转换系统获取所述源目录中的设定类型的至少一个源文件之后，还包括：所述数据格式转换系统如果确定获取的所述源文件的数量超过设定阈值，则采用线程池或多线程的方式，对所述多个源文件的源数据进行筛选并转换成所述目标数据，并保存至所述目标目录中。4.根据权利要求1或2所述的方法，其特征在于，在数据格式转换系统读取所述至少一个源文件中的源数据之后，还包括：所述数据格式转换系统将读取的所述源数据存入内存中；当确定内存中数据量超过预设阈值时，所述数据格式转换系统将内存中的全部数据按照数据类型储存在硬盘的对应目录中，并删除所述内存中存储的数据。5.根据权利要求1或2所述的数据格式转换方法，其特征在于，在筛选出所述源数据中满足所述筛选条件的源数据时，所述方法还包括：所述数据格式转换系统将筛选后去除的数据存入内存中；当确定内存中数据量超过预设阈值时，所述数据格式转换系统将内存中的全部数据按照数据类型储存在硬盘的对应目录中，并删除所述内存...

【专利技术属性】
技术研发人员：谢永恒，高堆峰，火一莽，万月亮，
申请(专利权)人：北京锐安科技有限公司，
类型：发明
国别省市：北京,11