面向多源异构地理信息资源的集成框架及集成方法技术

面向多源异构地理信息资源的集成框架及集成方法，包括服务集成模块、消息管理模块、结构化数据同步模块、非结构化数据传输模块、以及将四个模块进行整合的轻量级J2EE框架。本发明专利技术主要面向海量的多源异构地理空间数据和地理信息服务，提供一种模块化的分布式信息资源共享技术解决方案。基于现有地理信息领域中资源的获取手段、分布位置、结构特性等因素，从跨域数据实体传输、分布式地理信息同步、远程服务调用、多维平台消息管理等方面设计并实现相应方案模块，进而实现了一套完整的地理信息异构资源集成框架，解决了服务、消息、结构化数据和非结构化数据在不同平台间的调用、传输和同步等问题，提高网络化资源利用效率，降低资源共享成本。

【技术实现步骤摘要】
面向多源异构地理信息资源的集成框架及集成方法
本专利技术涉及地理信息
，特别是一种面向多源异构地理信息资源的集成框架及集成方法。
技术介绍
近年来，随着生产生活高度信息化，地理信息服务在公共交通、社交平台、购物娱乐以及智慧城市、政府决策等领域逐渐成为各类服务所依托的基础模块。各行业、部门积累了大量的地理信息相关资源和服务应用，但由于缺乏有效的资源整合方法，导致形成了为数众多的“资源孤岛”，造成资源浪费和不必要的重复建设。为提高地理信息资源利用效率，降低生产管理成本，通过资源整合方案为用户提供一种面向多维数据的共享服务方式成为新的趋势，具备高度整合能力的资源共享平台应运而生。然而由于地理空间数据规模的不断扩大、地理信息服务架构的日趋复杂、同时企业因业务需求的不同导致平台语言版本的各异等情况，给不同平台间资源共享的过程带来诸多问题。构建互通互联的资源共享服务需要集成远程方法调用、数据传输、数据同步、消息分发等多种关键技术，建立完整的框架技术体系。早先的资源集成框架大多采用面向服务的体系架构(serviceorientedarchitecture，SOA)思想，具体实现有WebService，CORBA、DCOM和RMI等方式。但随着服务规模的不断扩大、性能指标的不断提升，上述实现方式均或多或少地存在着问题，具体分析如下：1.WebService的性能、功能单一等缺陷逐渐显露。无论是在网络带宽还是CPU开销方面，都会给应用造成严重的性能问题，以至于该技术无法适用于许多对高性能以及互操作要求极为频繁的系统。2.CORBA和DCOM因其庞杂的技术标准以及平台兼容性方面的缺点而难以广泛推广。3.RMI是Java语言的远程调用，两端的程序语言必须是Java实现，无法支持不同语言之间相互通信。在数据集成方面，早先的集成框架尝试将数据资源转化为标准的方式（XML）进行访问，但依然面临着效率低下的问题。在数据同步方面，主流的数据同步解决方案有数据库厂商提供的数据同步技术和基于捕获变化技术自行定制开发的数据同步技术。然而，也存在着如下问题：1.厂商提供的同步技术往往都不支持异构数据库的同步，难以满足要求。2.很多学者都提出了基于捕获技术的数据库同步技术，如沈敏利用触发器与存储过程结合从源数据库子系统中获取变化数据，刘永毅提出了一个改进的主文本更新法与时间戳相结合的策略。但这些方法没有统一的技术标准，存在各种限制条件，不适用于大型系统。另外，以往的资源集成框架主要关注于服务资源和数据库资源的集成，对于消息资源和非结构化数据资源的传输没有给出严谨、可用的实现方案。综上所述，在异构环境间的服务调用、消息通信、数据同步和数据传输方面，目前的地理信息资源共享平台并没有一套完善的解决方案和框架体系。
技术实现思路
本专利技术要解决的技术问题是针对上述现有技术的不足，而提供一种面向多源异构地理信息资源的集成框架，该面向多源异构地理信息资源的集成框架针对当前信息集成技术存在的不足以及资源整合对开发复杂度和性能等方面的要求，提供一种模块化的分布式信息资源共享技术解决方案，用于解决各类地理信息资源在服务调用、消息通信、信息同步、数据传输等过程中出现的问题，提高网络化资源利用效率，降低资源共享成本。为解决上述技术问题，本专利技术采用的技术方案是：面向多源异构地理信息资源的集成框架，包括四个模块和将四个模块进行整合的轻量级J2EE框架。四个模块分别为服务集成模块、消息管理模块、结构化数据同步模块和非结构化数据传输模块。服务集成模块利用ICE中间件技术进行分布式应用程序的开发和部署；服务集成模块包括UI界面、注册中心和服务部署工具；其中，注册中心通过部署在服务端的IceNode获取宿主机以及服务信息；UI界面用于展示注册中心所获取的信息，并能对服务进行启动或停止操作；服务部署工具能快速部署新的IceNode节点服务，并对原有IceNode节点服务进行升级或回滚操作。消息管理模块为由一系列消息队列组成的消息队列集群，地理信息系统通过消息队列集群进行消息通信，从而为各个业务模块之间的消息驱动提供基础支持；消息队列中的消息内容来源于各个业务模块，各个业务模块将消息发送到消息管理模块的指定通道上，调用相应消息中间件完成消息通信。结构化数据同步模块包括日志收集解析工具CANAL和若干个Node节点；日志收集解析工具CANAL部署在数据同步发起端；每个Node节点均包括数据接入、数据提取、数据转换和数据载入四个阶段；结构化数据同步模块采用增量日志的方式获取各类数据库的数据变化，通过模拟SETL数据仓储过程实现各类数据源中的数据同步；同时，文件作为数据库中某条数据记录的附件，在数据表发生变化时随数据一起同步。非结构化数据传输模块包括部署在服务端的CTRANS传输服务和第三方存储模块；利用CTRANS传输服务基于UDP协议实现多品类影像资源在不同平台间的的高效传输、批量传输和断点续传服务。服务集成模块还能提供按需启动服务器、代理分发、异步事件分发、应用配置和应用补丁升级的服务。业务模块包括订单状态变更、作业状态变更、计划下达或异常报警。结构化数据同步模块中所涉及的各类数据源包括mysql、oracle、media以及Hbase。一种面向多源异构地理信息资源的集成方法，地理信息系统通过上述集成框架实现对各类地理信息资源的集成；客户端能够通过相应接口调用集成后的各类资源；地理信息资源的集成方法为服务集成模块集成、消息管理模块集成、结构化数据同步模块集成和非结构化数据传输模块集成中一种或多种的组合。采用服务集成模块进行地理信息资源集成的方法，包括如下步骤。步骤F1：服务端定义Slice接口描述文件并编译生成对应语言的接口文件，服务端相应服务继承接口实现功能。步骤F2：客户端使用与步骤F1中服务端相同的Slice接口描述文件并编译生成对应语言的接口文件，客户端继承调用接口实现服务对象调用。步骤F3：服务定义ICE对象适配器，将步骤F2调用的服务对象与对象适配器进行绑定，完成服务发布。步骤F4：利用服务部署工具将步骤F3发布的服务和IceNode部署到各个服务器中。步骤F5：配置并启动注册中心。步骤F6：进行服务注册，根据服务实现方式配置application.xml并加载到注册中心。步骤F7：通过UI界面查看宿主机和服务信息，并对服务进行启动、停止操作。步骤F8：客户端配置注册中心地址。步骤F9：客户端调用服务时，向注册中心发送请求查询服务端点信息。步骤F10：客户端利用端点信息与服务端所在IceNode建立连接。步骤F11：IceNode将服务调用请求发送给相应服务。步骤F12：服务完成响应后通过IceNode将结果返回给客户端。所述步骤F6中，服务实现方式为采用JBOSS作为服务容器。采用消息管理模块进行地理信息资源集成的方法，包括如下步骤。步骤X1：在服务端配置各类消息队列。步骤X2：业务模块创建链接工厂。步骤X3：业务模块采用点对点或发布/订阅模式创建连接及会话。步骤X4：创建消息，将消息发送到消息服务器的目的地。步骤X5：消息服务器把消息转发给消息接收者或消息订阅者。步骤X6：关闭连接。采用结构化数据同步模块进行地理信息资源集成的方法，包括如下步骤。步骤T1本文档来自技高网...

【技术保护点】
一种面向多源异构地理信息资源的集成框架，其特征在于：包括四个模块和将四个模块进行整合的轻量级J2EE框架；四个模块分别为服务集成模块、消息管理模块、结构化数据同步模块和非结构化数据传输模块；服务集成模块利用ICE中间件技术进行分布式应用程序的开发和部署；服务集成模块包括UI界面、注册中心和服务部署工具；其中，注册中心通过部署在服务端的IceNode获取宿主机以及服务信息；UI界面用于展示注册中心所获取的信息，并能对服务进行启动或停止操作；服务部署工具能快速部署新的IceNode节点服务，并对原有IceNode节点服务进行升级或回滚操作；消息管理模块为由一系列消息队列组成的消息队列集群，地理信息系统通过消息队列集群进行消息通信，从而为各个业务模块之间的消息驱动提供基础支持；消息队列中的消息内容来源于各个业务模块，各个业务模块将消息发送到消息管理模块的指定通道上，调用相应消息中间件完成消息通信；结构化数据同步模块包括日志收集解析工具CANAL和若干个Node节点；日志收集解析工具CANAL部署在数据同步发起端；每个Node节点均包括数据接入、数据提取、数据转换和数据载入四个阶段；结构化数据同步模块采用增量日志的方式获取各类数据库的数据变化，通过模拟SETL数据仓储过程实现各类数据源中的数据同步；同时，文件作为数据库中某条数据记录的附件，在数据表发生变化时随数据一起同步；非结构化数据传输模块包括部署在服务端的CTRANS传输服务和第三方存储模块；利用CTRANS传输服务基于UDP协议实现多品类影像资源在不同平台间的的高效传输、批量传输和断点续传服务。...

【技术特征摘要】
1.一种面向多源异构地理信息资源的集成框架，其特征在于：包括四个模块和将四个模块进行整合的轻量级J2EE框架；四个模块分别为服务集成模块、消息管理模块、结构化数据同步模块和非结构化数据传输模块；服务集成模块利用ICE中间件技术进行分布式应用程序的开发和部署；服务集成模块包括UI界面、注册中心和服务部署工具；其中，注册中心通过部署在服务端的IceNode获取宿主机以及服务信息；UI界面用于展示注册中心所获取的信息，并能对服务进行启动或停止操作；服务部署工具能快速部署新的IceNode节点服务，并对原有IceNode节点服务进行升级或回滚操作；消息管理模块为由一系列消息队列组成的消息队列集群，地理信息系统通过消息队列集群进行消息通信，从而为各个业务模块之间的消息驱动提供基础支持；消息队列中的消息内容来源于各个业务模块，各个业务模块将消息发送到消息管理模块的指定通道上，调用相应消息中间件完成消息通信；结构化数据同步模块包括日志收集解析工具CANAL和若干个Node节点；日志收集解析工具CANAL部署在数据同步发起端；每个Node节点均包括数据接入、数据提取、数据转换和数据载入四个阶段；结构化数据同步模块采用增量日志的方式获取各类数据库的数据变化，通过模拟SETL数据仓储过程实现各类数据源中的数据同步；同时，文件作为数据库中某条数据记录的附件，在数据表发生变化时随数据一起同步；非结构化数据传输模块包括部署在服务端的CTRANS传输服务和第三方存储模块；利用CTRANS传输服务基于UDP协议实现多品类影像资源在不同平台间的的高效传输、批量传输和断点续传服务。2.根据权利要求1所述的面向多源异构地理信息资源的集成框架，其特征在于：服务集成模块还能提供按需启动服务器、代理分发、异步事件分发、应用配置和应用补丁升级的服务。3.根据权利要求1所述的面向多源异构地理信息资源的集成框架，其特征在于：业务模块包括订单状态变更、作业状态变更、计划下达或异常报警。4.根据权利要求1所述的面向多源异构地理信息资源的集成框架，其特征在于：结构化数据同步模块中所涉及的各类数据源包括mysql、oracle、media以及Hbase。5.一种面向多源异构地理信息资源的集成方法，其特征在于：地理信息系统通过权利要求1所述集成框架实现对各类地理信息资源的集成；客户端能够通过相应接口调用集成后的各类资源；地理信息资源的集成方法为服务集成模块集成、消息管理模块集成、结构化数据同步模块集成和非结构化数据传输模块集成中一种或多种的组合。6.根据权利要求5所述的面向多源异构地理信息资源的集成方法，其特征在于：采用服务集成模块进行地理信息资源集成的方法，包括如下步骤：步骤F1：服务端定义Slice接口描述文件并编译生成对应语言的接口文件，服务端相应服务继承接口实现功能；步骤F2：客户端使用与步骤F1中服务端相同的Slice接口描述文件并编译生成对应语言的接口文件，客户端继承调用接口实现服务对象调用；步骤F3：服务定义ICE对象适配器，将步骤F2调用的服务对象与对象适配器进行绑定，完成服务发布；步骤F4：利用服务部署工具将步骤F3发布的服务和IceNode部署到各个服务器中；步骤F5：配置并启动注册中心；步骤F6：进行服务注册，...

【专利技术属性】
技术研发人员：丁赤飚，付琨，胡岩峰，朱利鲁，丁士伟，张伟，刘振，吴亚军，
申请(专利权)人：中国科学院电子学研究所苏州研究院，
类型：发明
国别省市：江苏,32