一种数据定向传送系统技术方案

本发明专利技术提供一种数据定向传送系统，用于在第一网段和第二网段中定向传送数据，数据定向传送系统包括数据库服务器、过渡服务器、防火墙、web服务器和中间池数据服务器，其中，数据库服务器和过渡服务器位于第一网段，web服务器和中间池数据服务器位于第二网段，当第一网段和第二网段属于不同网段时，第二网段通过过渡服务器获取数据库服务器中的数据，获取的数据通过TCP协议实现传输，并基于组件对象模型写入中间池数据服务器中，当第一网段和第二网段属于相同网段时，第二网段直接通过数据库服务器获取数据。本发明专利技术的数据定向传送系统能够实现大数据的高效稳定传送。

Data oriented delivery system

The invention provides a data transmission system for directional, directional transmission of data in the first segment and the second segment, data oriented transmission system includes database server, server, firewall, web transition and intermediate server pool data server, the database server and the server is located in the first transition network, web server and data server is located in the middle tank second when the first segment, the segment and the second segment belong to different segments, second segments to obtain the data in the database server through the transition server, data obtained by the TCP protocol to transmit, and based on the component object model into the intermediate pool data server, when the first segment and the second segment belongs to the same network, second network access data directly through the the database server. The data directed delivery system of the present invention enables efficient and stable transmission of large data.

【技术实现步骤摘要】
一种数据定向传送系统
本专利技术涉及一种数据传送系统，尤其涉及一种数据定向传送系统。
技术介绍
随着网络技术的极速发展，通过网络获取数据已成为人们常用的获取途径，目前社会已基本上进入信息化时代。数据传送的质量主要依赖于传输的通道和技术，由于各种繁冗复杂、海量多样的数据，以及海量的用户同时在线进行访问，经常发生网络拥堵或堵塞甚至瘫痪现象，这非常不利于数据的传送，影响数据获取的及时性和便捷性。因此，亟待出现一种能够快速高效传送数据的数据传送系统。
技术实现思路
针对上述技术问题，本专利技术提供一种能够高效传送数据的数据定向传送系统。本专利技术采用的技术方案为：本专利技术的实施例提供一种数据定向传送系统，用于在第一网段和第二网段中定向传送数据，所述数据定向传送系统包括数据库服务器、过渡服务器、防火墙、web服务器和中间池数据服务器，其中，所述数据库服务器和所述过渡服务器位于所述第一网段，所述web服务器和所述中间池数据服务器位于所述第二网段，当所述第一网段和所述第二网段属于不同网段时，所述第二网段通过所述过渡服务器获取所述数据库服务器中的数据，获取的数据通过TCP协议实现传输，并基于组件对象模型写入所述中间池数据服务器中，当所述第一网段和所述第二网段属于相同网段时，所述第二网段直接通过所述数据库服务器获取数据。可选地，所述数据库服务器包括定向传送配置服务模块和数据定向传送服务模块，所述中间池数据服务器包括任务管理服务模块，其中，所述定向传送配置服务模块用于对数据定向传送的数据环境进行配置；所述数据定向传送服务模块用于对定向传送配置服务模块配置的数据环境进行检测，并将经检测后的数据传送给任务管理服务模块；所述任务管理服务模块用于对定向传送的数据进行监控管理。可选地，所述数据库服务器、所述web服务器和所述中间池数据服务器中均配置有传送日志服务模块，所述传送日志服务模块用于对定向传送的数据的日志信息进行记录和检索。可选地，所述定向传送服务配置模块包括定向传送服务配置单元、数据库表配置单元、矢量数据SDE配置单元，元数据库配置单元和文件数据FTP配置单元；其中，所述定向传送服务配置单元用于实现通信目标配置，配置信息包括定向传送服务端部署服务器的IP和通信端口，配置完成后可测试连接并保存配置信息到XML文件；所述数据库表配置单元用于配置oracle数据库信息，配置内容包括数据库服务器IP、端口、数据库实例名称、用户名和密码，配置完成后可进行数据库连接测试并保存配置信息到XML文件；所述矢量数据SDE配置单元用于配置SDE连接参数，包括SDE服务器名称、SDE数据库版本、SDE数据库端口、SDE用户名和密码，配置完成后可测试SDE连接情况并保存配置信息到XML文件；所述元数据库配置单元用于配置元数据库地址、端口、用户名和密码，配置完成后可测试元数据库的连接状态并保存配置信息到XML文件；所述文件数据FTP配置单元用于配置FTP地址、端口、用户名、密码，配置完成后保存配置信息到XML文件。可选地，所述数据定向传送服务模块包括在线数据定向传送单元，离线数据定向传送单元，矢量数据定向传送单元，文件数据定向传送单元，数据库表定向传送单元和元数据定向传送单元；其中，所述在线数据定向传送单元用于自动检查数据有效性，包括数据属性及文件路径，确认正确性后开始定向传送，若检查有误，则提示错误；所述离线数据定向传送单元用于将要传送的所有数据、文件打包成zip文件，进行离线传送到数据中心，定向传送服务端再将其解析成原始数据、文件；所述矢量数据定向传送单元用于检查空间数据引擎定向传送参数，进入数据环境连接测试，数据环境连接成功后，开始空间数据引擎数据定向传送过程，若检查有误，则提示错误；所述文件数据定向传送单元用于检查影像数据定向传送配置参数，进入数据环境连接测试，数据环境连接成功后，开始文件数据定向传送过程，若检查有误，则提示错误；所述数据库表定向传送单元用于检查二维表定向传送参数，数据环境连接成功后，开始数据库表数据定向传送过程，若检查有误，则提示错误；所述元数据定向传送单元用于检查元数据定向传送参数，数据环境连接成功后，开始元数据数据定向传送，若检查有误，则提示错误。可选地，所述任务管理服务模块包括任务执行状态信息获取单元，并行传送任务管理控制单元、中间池数据管理单元和中间池监控信息获取单元；其中，所述任务执行状态信息获取单元用于在传送任务开始后，记录任务执行状态，包括启动时间、传输进度等，以XML形式存储；所述并行传送任务管理控制单元用于在并行传送任务开始后，根据定向传送配置参数管理定向传送并行任务；所述中间池数据管理单元用于根据震级大小来配置保留时长，按保留时长删除中间池数据；所述中间池监控信息获取单元用于将数据中间池存储空间信息、中间数据目录信息以XML形式记录。可选地，所述所述传送日志服务模块包括定向传送日志记录单元和历史日志浏览检索单元，其中，所述定向传送日志记录单元用于记录本次传送过程的日志，包括数据类型、任务编号、开始时间、结束时间、数据说明等信息，以XML文件形式存储；所述历史日志浏览检索单元用于检索历史传送过程的日志信息，包括任务日期、数据类型、任务编号、开始时间、结束时间、数据说明等信息。本专利技术提供的数据定向传送系统能够实现不同网段的数据定向传送和同一网段的数据定向传送，将需要传送的数据进行分类配置后，以多种定向传送方式进行传送，并对传送日志和任务进行管理，实现了数据的定向传送，提高了数据传送的效率和安全性。附图说明图1为本专利技术的数据定向传送系统的技术架构图。图2和图3分别是本专利技术的数据定向传送系统的不同网段的数据定向传送和同一网段的数据定向传送示意图。图4为本专利技术的数据定向传送系统的结构框图。具体实施方式以下，参考附图对本专利技术的数据定向传送系统进行介绍。图1为本专利技术的数据定向传送系统的技术架构图。图2和图3分别是本专利技术的数据定向传送系统的不同网段的数据定向传送和同一网段的数据定向传送示意图。图4为本专利技术的数据定向传送系统的结构框图。本专利技术的实施例提供一种数据定向传送系统，用于同一网段的数据定向传送和不同网段的数据定向传送(随后介绍)，从技术层面来划分，可分为应用层、平台层、数据层和用户层，如图1所示。其中，应用层主要用于日志记录、检索，数据定向传送和任务管理等，其基于.NETFramework3.5开发定向传送系统，通过ArcEngine从空间数据引擎(ArcSDE)数据库中提取空间数据，转换成MDB文件，基于传输控制协议(TCP)传送技术实现MDB文件的定向传送，以WebService技术封装定向传送服务，通过定向传送服务与数据定向传送系统服务端、客户端的程序交互，实现其他系统(位于用户层)对数据定向传送系统的调用，其中，数据定向传送系统客户端和服务端采用C#语言开发，客户端利用ArcGISEnginefor.NETAPI开发ArcSDE数据读取、写入和数据库转换等部分功能。所述平台层主要用于传送配置服务和定向传送服务，利用元数据服务器、元数据网关平台，调用其提供的元数据查询服务接口，实现元数据的定向传送；所述数据层为数据定向传送系统的数据资源层，为数据定向传送提供数据资源，包括业务数据和元数据两部分，其中的空间数据本文档来自技高网...

【技术保护点】
一种数据定向传送系统，其特征在于，用于在第一网段和第二网段中定向传送数据，所述数据定向传送系统包括数据库服务器、过渡服务器、防火墙、web服务器和中间池数据服务器，其中，所述数据库服务器和所述过渡服务器位于所述第一网段，所述web服务器和所述中间池数据服务器位于所述第二网段，当所述第一网段和所述第二网段属于不同网段时，所述第二网段通过所述过渡服务器获取所述数据库服务器中的数据，获取的数据通过TCP协议实现传输，并基于组件对象模型写入所述中间池数据服务器中，当所述第一网段和所述第二网段属于相同网段时，所述第二网段直接通过所述数据库服务器获取数据。

【技术特征摘要】
1.一种数据定向传送系统，其特征在于，用于在第一网段和第二网段中定向传送数据，所述数据定向传送系统包括数据库服务器、过渡服务器、防火墙、web服务器和中间池数据服务器，其中，所述数据库服务器和所述过渡服务器位于所述第一网段，所述web服务器和所述中间池数据服务器位于所述第二网段，当所述第一网段和所述第二网段属于不同网段时，所述第二网段通过所述过渡服务器获取所述数据库服务器中的数据，获取的数据通过TCP协议实现传输，并基于组件对象模型写入所述中间池数据服务器中，当所述第一网段和所述第二网段属于相同网段时，所述第二网段直接通过所述数据库服务器获取数据。2.根据权利要求1所述的数据定向传送系统，其特征在于，所述数据库服务器包括定向传送配置服务模块和数据定向传送服务模块，所述中间池数据服务器包括任务管理服务模块，其中，所述定向传送配置服务模块用于对数据定向传送的数据环境进行配置；所述数据定向传送服务模块用于对定向传送配置服务模块配置的数据环境进行检测，并将经检测后的数据传送给任务管理服务模块；所述任务管理服务模块用于对定向传送的数据进行监控管理。3.根据权利要求2所述的数据定向传送系统，其特征在于，所述数据库服务器、所述web服务器和所述中间池数据服务器中均配置有传送日志服务模块，所述传送日志服务模块用于对定向传送的数据的日志信息进行记录和检索。4.根据权利要求2所述的数据定向传送系统，其特征在于，所述定向传送服务配置模块包括定向传送服务配置单元、数据库表配置单元、矢量数据SDE配置单元，元数据库配置单元和文件数据FTP配置单元；其中，所述定向传送服务配置单元用于实现通信目标配置，配置信息包括定向传送服务端部署服务器的IP和通信端口，配置完成后可测试连接并保存配置信息到XML文件；所述数据库表配置单元用于配置oracle数据库信息，配置内容包括数据库服务器IP、端口、数据库实例名称、用户名和密码，配置完成后可进行数据库连接测试并保存配置信息到XML文件；所述矢量数据SDE配置单元用于配置SDE连接参数，包括SDE服务器名称、SDE数据库版本、SDE数据库端口、SDE用户名和密码，配置完成后可测试SDE连接情况并保存配置信息到XML文件；所述元数据库配置单元用于配置元数据库地址、端口、用户名和密码，配置完成后可测试元数据库的连接状态并保存配置信息到XML文件；所述文件数据FTP配置单元用于配置FTP地址、端...

【专利技术属性】
技术研发人员：陈进宝，刘希，刘海燕，
申请(专利权)人：国信优易数据有限公司，
类型：发明
国别省市：北京,11