一种抽取和集成数据的方法、系统及设备技术方案

本发明专利技术提出的一种抽取和集成数据的方法、系统及设备，包括：将预设接口程序部署至服务器IIS上；通过配置相关的IP和端口，访问预设接口程序；在存储服务器上读取并执行预设的抽取程序；抽取数据服务器上的数据并传输到存储服务器端。本发明专利技术通过接口部署抽取集成数据的方法，保证了数据抽取的完整性，降低了系统维护难度，并提高了数据管理的能力。

A method, system and equipment for data extraction and integration

【技术实现步骤摘要】
一种抽取和集成数据的方法、系统及设备
本专利技术涉及计算机
，更具体的说是涉及一种抽取和集成数据的方法、系统及设备。
技术介绍
计算机软件数据抽取集成，包括数据集成和数据抽取；数据集成是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中。数据集成通过应用间的数据交换从而达到集成，主要解决数据的分布性和异构性的问题，其前提是被集成应用必须公开数据结构，即必须公开表结构，表间关系，编码的含义等,数据抽取是从数据源中抽取数据的过程，在实际应用中，数据源较多采用的是关系数据库。数据抽取是计算机软件领域最常见的，当一个服务器端同时抽取N个数据服务端，将数据统一抽取到存储服务器端的时候，且各个数据服务端数据量极大,这时如果服务器配置差的话一定会避免不了数据丢失，这会带来极大的不便。
技术实现思路
针对以上问题，本专利技术的目的在于提供一种抽取和集成数据的方法、系统及设备，能够通过接口部署抽取集成数据的方法，保证了数据抽取的完整性，降低了系统维护难度，并提高了数据管理的能力。本专利技术为实现上述目的，通过以下技术方案实现：一种抽取和集成数据的方法，包括如下步骤：步骤1：将预设接口程序部署至服务器IIS上；步骤2：通过配置相关的IP和端口，访问预设接口程序；步骤3：在存储服务器上读取并执行预设的抽取程序；步骤4：抽取数据服务器上的数据并传输到存储服务器端。进一步，在所述步骤1中，预设接口程序采用了Nancy框架+IIS服务器。进一步，所述步骤2还包括：通过访问预设接口程序，使用通用接口系统实现客户端通过接口操作数据的功能；所述通用接口系统包括用于汇聚库抽取的主服务器和用于接口部署的子服务器；所述主服务器中安装有数据平台数据抽取程序，所述子服务器中配置有大数据平台通用接口程序。进一步，在所述步骤3中，预设的抽取程序采用了Winform+NHibernate框架。进一步，在所述步骤3中，数据以Json格式传输，并以流的方式读取。进一步，在所述步骤4还包括：存储服务器端通过多线程方式，分别调用数据服务器上的数据。相应的，本专利技术还公开了一种抽取和集成数据的系统，包括：部署单元，用于将预设接口程序部署至服务器IIS上；访问单元，用于通过配置相关的IP和端口，访问预设接口程序；执行单元，用于在存储服务器上读取并执行预设的抽取程序；抽取单元，用于抽取数据服务器上的数据并传输到存储服务器端。相应的，本专利技术还公开了一种抽取和集成数据的设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如上文任一项所述抽取和集成数据的方法步骤。对比现有技术，本专利技术有益效果在于：本专利技术提供了一种抽取和集成数据的方法、系统及设备，通过接口部署抽取集成数据的方法，降低了耦合性，可以让某一个模块或者功能能够重复使用，提高工作效率，实现了数据抽取完整性，极大地降低了系统维护难度，并提高了数据管理的能力。由此可见，本专利技术与现有技术相比，具有突出的实质性特点和显著的进步，其实施的有益效果也是显而易见的。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。附图1是本专利技术的方法流程图。附图2是本专利技术的系统结构图。具体实施方式下面结合附图对本专利技术的具体实施方式做出说明。如图1所示的一种抽取和集成数据的方法，包括如下步骤：步骤1：将预设接口程序部署至服务器IIS上。所述预设接口程序为自主研发，采用了Mvc轻量级Nancy框架+IIS服务器，基于自主研发的接口规范，利用开发语言支持能力，实现了松耦合，以及同时抽取数据端数据系统能够保持稳定。通过部署接口也可以为其他开发者提供用途，方便其他开发者通过接口查询相关数据。通过部署的各个数据服务器端的接口程序来调用。例如：步骤2：通过配置相关的IP和端口，访问预设接口程序。在步骤2中通过相关IP和端口的设置，就能正常访问预设接口程序，通用接口系统实现了客户端通过接口操作数据的功能，系统由汇聚库抽取主服务器、接口部署子服务器组成。通过在主服务中安装:数据平台数据抽取程序，在子服务器中配置大数据平台通用接口程序，来实现数据从各个子服务器抽取到主服务器的过程。步骤3：在存储服务器上读取并执行预设的抽取程序。在步骤3中，所述预设的抽取程序为自主研发，采用了Winform+轻量级ORM框架NHibernate，打开所述数据抽取程序，就能通过按钮点击的方式将配置好的接口地址服务器的数据完整的抽取并传输到存储服务器中。在步骤3中，数据以Json格式传输，并以流的方式读取。例如：步骤4：抽取数据服务器上的数据并传输到存储服务器端。在步骤4中，存储服务器端通过多线程方式，分别调用数据服务器的数据，保证存储服务器抽取系统不会出现进程阻塞出现假死的情况。例如：相应的，如图2所示，本专利技术还公开了一种抽取和集成数据的系统，包括：部署单元，用于将预设接口程序部署至服务器IIS上；访问单元，用于通过配置相关的IP和端口，访问预设接口程序；执行单元，用于在存储服务器上读取并执行预设的抽取程序；抽取单元，用于抽取数据服务器上的数据并传输到存储服务器端。相应的，本专利技术还公开了一种抽取和集成数据的设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如上文任一项所述抽取和集成数据的方法步骤。本领域的技术人员可以清楚地了解到本专利技术实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本专利技术实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中如U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质，包括若干指令用以使得一台计算机终端(可以是个人计算机，服务器，或者第二终端、网络终端等)执行本专利技术各个实施例所述方法的全部或部分步骤。本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于终端实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。在本专利技术所提供的几个实施例中，应该理解到，所揭露的系统、系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，本文档来自技高网...

【技术保护点】
1.一种抽取和集成数据的方法，其特征在于，包括如下步骤：/n步骤1：将预设接口程序部署至服务器IIS上；/n步骤2：通过配置相关的IP和端口，访问预设接口程序；/n步骤3：在存储服务器上读取并执行预设的抽取程序；/n步骤4：抽取数据服务器上的数据并传输到存储服务器端。/n

【技术特征摘要】
1.一种抽取和集成数据的方法，其特征在于，包括如下步骤：
步骤1：将预设接口程序部署至服务器IIS上；
步骤2：通过配置相关的IP和端口，访问预设接口程序；
步骤3：在存储服务器上读取并执行预设的抽取程序；
步骤4：抽取数据服务器上的数据并传输到存储服务器端。


2.根据权利要求1所述的抽取和集成数据的方法，其特征在于，在所述步骤1中，预设接口程序采用了Nancy框架+IIS服务器。


3.根据权利要求1所述的抽取和集成数据的方法，其特征在于，所述步骤2还包括：
通过访问预设接口程序，使用通用接口系统实现客户端通过接口操作数据的功能；所述通用接口系统包括用于汇聚库抽取的主服务器和用于接口部署的子服务器；所述主服务器中安装有数据平台数据抽取程序，所述子服务器中配置有大数据平台通用接口程序。


4.根据权利要求1所述的抽取和集成数据的方法，其特征在于，在所述步骤3中，预设的抽取程...

【专利技术属性】
技术研发人员：贾伟光，牟骏，李咸明，王兴，孟佳琪，
申请(专利权)人：山东中磁视讯股份有限公司，
类型：发明
国别省市：山东;37