一种大数据量的数据交换方法技术

本发明专利技术提供一种大数据量的数据交换方法，其具体实现过程为：搭建数据交换平台，该平台采用EJB3.0分布式架构，架构由配置管理模块、数据交换模块、监控管理模块和数据资源模块构成，然后由数据交换模块完成数据交换过程。该一种大数据量的数据交换方法和现有技术相比，数据交换平台实现了逻辑上的总线功能，连接了各个不同应用系统，负责不同应用系统的数据源间的数据交换与共享，实现不同系统之间的任意的数据交换与共享。

【技术实现步骤摘要】

本专利技术涉及信息处理
，具体的说是一种采用集群方式、提高系统可靠性的大数据量的数据交换方法。
技术介绍
在当前的社会情况下，各行业、部门在开发自己系统时都很少考虑到整体规划问题，由此产生了各系统间缺乏统一的数据标准。在局域网、内部网的应用系统间的数据交换与共享，大多采用开发独立的数据交换程序来完成所需，过多的点对点连接增加系统的复杂性和不稳定性，造成数据交换困难，“信息孤岛”问题愈发突出。随着信息共享需求的不断增加，原有各系统间的交互性就越来越必要，为了使各系统能够更顺利的实现信息共享，实现信息的一致性的要求越来越迫切。一般系统间实现信息共享有两种方式:一是针对需求开发单独数据交换程序，使各应用系统兼容。但是这种方法耗时耗力，而且存在系统耦合度高，显然这种方案是一般人无法接受的。二就是构建一个能够兼容各行业、部门的数据交换平台，平台内部制定数据交换标准。基于此，本专利技术提供一种基于大数据量的数据交换方法，该方法采用的数据交换平台应用第二种实现方式构建。
技术实现思路
本专利技术的技术任务是解决现有技术的不足，提供。本专利技术的技术方案是按以下方式实现的，该，其具体实现过程为: 一、搭建数据交换平台，该平台采用EJB3.0分布式架构，架构由配置管理模块、数据交换模块、监控管理模块和数据资源模块构成: 配置管理模块提供统一的配置维护界面，允许编辑、保存，以实现动态管理，为各类配置设计统一的服务，统一配置数据交换方式； 数据交换模块由报文接入、报文处理、服务路由、报文传输四部分组成:其中报文接入提供渠道认证机制，对进行交互的外部门系统进行身份确认，保证信息交换过程的安全性；报文处理根据交换报文的控制信息完成报文的压缩或解压缩、编码或解码、加签或验签、力口密或解密和报文拆分；服务路由支持自定义路由参数和规则的路由机制，实现基于内容和规则的各类复杂路由场景，这里的路由参数包括地域、渠道系统、交易服务以及各类自定义业务参数；报文传输是进行数据传输的技术通道，支持同外部和内部各类应用系统的物理层衔接，将自身的资源以标准的技术协议发布给外部系统使用； 监控管理模块对外部信息交互的业务数据、交互过程进行监控，提供业务交换数据的交换状态监视、查询和统计分析功能； 数据资源模块提供数据需要的文件系统和数据库； 二、由数据交换模块完成数据交换过程: 1)数据交换任务根据执行策略从数据资源模块中调用报文接入； 2)报文处理完成报文处理及报文的加解密工作； 3)通过报文传输将报文发送到相应的外部系统。在上述技术方案中，数据交换平台实现了逻辑上的总线功能，连接了各个不同应用系统，负责不同应用系统的数据源间的数据交换与共享。数据交换平台可实现不同系统之间的任意的数据交换与共享。所述配置管理模块具体包括:任务管理、传送方式设置、加密解密设置、压缩解压设置、监控设置、路由设置、目录管理和服务管理。所述监控管理模块具体包括:查询统计、日志监控、发送监控、接收监控、报文监控和队列监控。所述数据交换模块中的报文接入具体包括:协议适配、安全认证、逻辑检查和数据缓存；报文处理具体包括格式转换、报文拆分、压缩解压、加密解密；报文传输具体包括:报文发送、报文接收。所述报文传输对下列不同的应用进行技术协议适配:Web Service、FTP、MQ、JMS交换协议。所述步骤二的详细过程为: O定时任务根据执行策略调用业务处理服务； 2)业务处理服务获取需推送文件或数据； 3)业务处理程序将数据拼装成报文； 4)根据加密解密设置对报文进行加密解密； 5)根据压缩解压设置对报文进行压缩解压； 6)将加密后的二进制数据转换成字符串格式； 7)将大批量交换报文的拆分为多个小报文； 8)根据报文中的外部系统ID，将报文发送到相应的外部系统适配器； 9)适配器将报文发送给外部系统。本专利技术与现有技术相比所产生的有益效果是: 本专利技术的提供的数据交换平台采用基于EJB3.0分布式架构，使系统具备了高可扩展能力；采用B/S模式设计；实现了集中管理灵活配置，用户只需通过简单的操作，就可完成数据共享交换的配置；采用队列机制来进行压力缓冲和流量控制；支持同构、异构、批量、增量等多种数据复制机制，适应不同类型的数据同步复制场景；提供多种技术适配的绑定方式，包括WS、EJB、JMS、MQ、FTP等；支持自定义的数据格式转换，包括XML之间以及XML同其他结构化文本的相互转换；支持大批量交换报文的拆分或合并、压缩或解压缩、编码或解码、加签或验签、加密或解密；采用高可靠性的批量数据传输机制，支持多种模式的数据交换方式。传输过程因意外中断，当系统恢复时，数据会重新传输，实现断点续传；采用了 WS-Security安全标准。数据传输采用安全性较高的SSL协议；采用前置机模式，实现了对源业务系统的隔离，保证了不对业务系统造成破坏和压力的增加；提供监控管理服务，以便对共享交换过程的有关情况进行记录，包括发起方、接受方、采用的共享/交换规则，策略的运行情况等；统一的安全权限认证服务，对进行交互的外部门系统进行身份确认，保证信息交换过程的安全性，例如CA、用户名/密码、动态口令、IP等；采用集群的方式，提高系统的可靠性；实用性强，适用范围广泛，易于推广。【附图说明】附图1是本专利技术的数据交换平台示意框图。【具体实施方式】下面结合附图对本专利技术的作以下详细说明。本专利技术提供，的数据交换平台是用来数据同步和数据交换的工具。其他外部系统只要遵守了共同约定的数据规范(在该平台中使用的是XML报文方式进行数据传输)，就可以实现系统间的数据交换。系统分为配置管理、监控管理、接入控制、报文处理、服务路由和报文传输。数据交换平台采用异步发送方式和同步发送方式进行数据交换。异步发送方式支持JMS、MQ、FTP。同步发送方式支持WebSerVice、EJB。如附图1所示，其具体实现过程为: 一、搭建数据交换平台，该平台采用EJB3.0分布式架构，架构由配置管理模块、数据交换模块、监控管理模块和数据资源模块构成: 配置管理模块提供统一的配置维护界面，允许编辑、保存，以实现动态管理，为各类配置设计统一的服务，统一配置数据交换方式； 数据交换模块由报文接入、报文处理、服务路由、报文传输四部分组成:其中报文接入提供渠道认证机制，对进行交互的外部门系统进行身份确认，保证信息交换过程的安全性；报文处理根据交换报文的控制信息完成报文的压缩或解压缩、编码或解码、加签或验签、力口密或解密和报文拆分；服务路由支持自定义路由参数和规则的路由机制，实现基于内容和规则的各类复杂路由场景，这里的路由参数包括地域、渠道系统、交易服务以及各类自定义业务参数；报文传输是进行数据传输的技术通道，支持同外部和内部各类应用系统的物理层衔接，将自身的资源以标准的技术协议发布给外部系统使用； 监控管理模块对外部信息交互的业务数据、交互过程进行监控，提供业务交换数据的交换状态监视、查询和统计分析功能； 数据资源模块提供数据需要的文件系统和数据库； 二、由数据交换模块完成数据交换过程: 1)数据交换任务根据执行策略从数据资源模块中调用报文接入； 2)报文处理完成报文处理及报文的加解密工作； 3)本文档来自技高网...

【技术保护点】
一种大数据量的数据交换方法，其特征在于：其具体实现过程为:一、搭建数据交换平台，该平台采用EJB3.0分布式架构，架构由配置管理模块、数据交换模块、监控管理模块和数据资源模块构成：配置管理模块提供统一的配置维护界面，允许编辑、保存，以实现动态管理，为各类配置设计统一的服务，统一配置数据交换方式；数据交换模块由报文接入、报文处理、服务路由、报文传输四部分组成：其中报文接入提供渠道认证机制，对进行交互的外部门系统进行身份确认，保证信息交换过程的安全性；报文处理根据交换报文的控制信息完成报文的压缩或解压缩、编码或解码、加签或验签、加密或解密和报文拆分；服务路由支持自定义路由参数和规则的路由机制，实现基于内容和规则的各类复杂路由场景，这里的路由参数包括地域、渠道系统、交易服务以及各类自定义业务参数；报文传输是进行数据传输的技术通道，支持同外部和内部各类应用系统的物理层衔接，将自身的资源以标准的技术协议发布给外部系统使用；监控管理模块对外部信息交互的业务数据、交互过程进行监控，提供业务交换数据的交换状态监视、查询和统计分析功能；数据资源模块提供数据需要的文件系统和数据库；二、由数据交换模块完成数据交换过程：1）数据交换任务根据执行策略从数据资源模块中调用报文接入；2）报文处理完成报文处理及报文的加解密工作；3）通过报文传输将报文发送到相应的外部系统。...

【技术特征摘要】
1.一种大数据量的数据交换方法，其特征在于:其具体实现过程为: 一、搭建数据交换平台，该平台采用EJB3.0分布式架构，架构由配置管理模块、数据交换模块、监控管理模块和数据资源模块构成: 配置管理模块提供统一的配置维护界面，允许编辑、保存，以实现动态管理，为各类配置设计统一的服务，统一配置数据交换方式； 数据交换模块由报文接入、报文处理、服务路由、报文传输四部分组成:其中报文接入提供渠道认证机制，对进行交互的外部门系统进行身份确认，保证信息交换过程的安全性；报文处理根据交换报文的控制信息完成报文的压缩或解压缩、编码或解码、加签或验签、加密或解密和报文拆分；服务路由支持自定义路由参数和规则的路由机制，实现基于内容和规则的各类复杂路由场景，这里的路由参数包括地域、渠道系统、交易服务以及各类自定义业务参数；报文传输是进行数据传输的技术通道，支持同外部和内部各类应用系统的物理层衔接，将自身的资源以标准的技术协议发布给外部系统使用； 监控管理模块对外部信息交互的业务数据、交互过程进行监控，提供业务交换数据的交换状态监视、查询和统计分析功能； 数据资源模块提供数据需要的文件系统和数据库； 二、由数据交换模块完成数据交换过程: 1)数据交换任务根据执行策略从数据资源模块中调用报文接入； 2)报文处理完成报文处理及报文的加解密工作； 3)通过报文传输将报文发送到相应的外部系统。`2.根据权利要...

【专利技术属性】
技术研发人员：程林，杨培强，王永军，
申请(专利权)人：浪潮齐鲁软件产业有限公司，
类型：发明
国别省市：