本申请公开了一种数据处理系统，包括：通信交互模块，所述通信交互模块配置成与源接入端和目标接入端耦合，并从所述源接入端接收具有第一格式的第一数据；接收处理模块，所述接收处理模块配置成从所述通信交互模块接收具有所述第一格式的所述第一数据，对所述第一数据进行校验和解压还原从而得到源数据，并将校验通过并解压还原后的所述源数据根据其类型分数据段存储在数据缓存中；发送处理模块，所述发送处理模块将待发送数据转换为具有第二格式的第二数据，并经由所述通信交互模块发送给所述目标接入端；以及任务调度模块，所述任务调度模块设置在所述接收处理模块与所述发送处理模块之间，其配置成把待发送的数据按数据段调度给所述发送处理模块。本申请还公开了一种数据发布与抽取的方法。
【技术实现步骤摘要】
本申请涉及数据处理系统，以及在源接入端与目标接入端之间进行数据发布与抽取的方法。
技术介绍
当前在源数据库与目标数据库之间进行数据抽取方法基本上是基于关系数据库的功能，大致有以下几种：（1）直接查询源库上的数据并将查询的结果插入或更新到目标数据库；（2）通过数据库日志、镜像、归档等方法将源数据库上的变化同步到目标数据库；（3）通过ETL等专用工具实现。上述现有技术的方法不能满足当前的需要，特别是存在频繁数据抽取的情形下。现有技术的方法容易导致一份数据被多次从源数据库向目标数据库传输，需要多次访问源数据库。这尽管保证了数据的相对准确性，但需要以处理性能大打折扣为代价。另外，现有技术中还存在对数据库依赖大、抽取方法对源数据库影响大、部署分散和安全例外等问题。因此，需要一种改进的数据发布与抽取的方法。
技术实现思路
为了解决上述问题，本申请提出了一种数据发布与抽取的方法，将源接入端与目标接入端分离。具体来说，可将源接入端与目标接入端采用相同的通信协议接入数据处理系统，源接入端按照与数据处理系统约定的数据格式（例如，第一格式）与发布方式进行数据发布。目标接入端按照与数据处理系统约定的数据格式（例如，第二格式）与订阅方式进行数据抽取。源接入端与目标接入端由于不是直接耦合在一起，因而不会相互影响。另外，本申请的方法还支持多个源、多个目标同时接入，支持一份数据多次抽取，支持数据格式转换，能够在高交易量的情况下，实现数据的平稳发布与抽取。根据本申请的一个方面，提供了一种数据处理系统。该数据处理系统可包括：通信交互模块，配置成与源接入端和目标接入端耦合，并从所述源接入端接收具有第一格式的第一数据；接收处理模块，配置成从所述通信交互模块接收具有所述第一格式的所述第一数据，对所述第一数据进行校验和解压还原从而得到源数据，并将校验通过并解压还原后的所述源数据根据其类型分数据段存储在数据缓存中；发送处理模块，所述发送处理模块将待发送数据转换为具有第二格式的第二数据，并经由所述通信交互模块发送给所述目标接入端；以及任务调度模块，所述任务调度模块设置在所述接收处理模块与所述发送处理模块之间，其配置成把待发送的数据按数据段调度给所述发送处理模块。在上述数据处理系统中，在所述接收处理模块发现存储在数据缓存中的第一数据段已经写满时，所述接收处理模块配置成通知所述任务调度模块。在上述数据处理系统中，在接收到所述接收处理模块的通知后，所述任务调度模块配置成基于来自所述目标接入端的订阅任务信息将所述第一数据段调度给所述发送处理模块。在上述数据处理系统中，所述任务调度模块配置成定期轮询存储在所述数据缓存中的各数据段。在上述数据处理系统中，在确定第一数据段在超过规定时间仍未写满的情况下，所述任务调度模块配置成将该第一数据段调度给所述发送处理模块。在上述数据处理系统中，所述第一数据在头部存有校验值，以供所述接收处理模块校验所述第一数据的完整性与正确性。在上述数据处理系统中，所述第二数据在头部也存有校验值，以供所述目标接入端校验所述第二数据的完整性与正确性。根据本申请的另一个方面，提供了一种在源接入端与目标接入端之间进行数据发布与抽取的方法。该方法包括：从所述源接入端接收具有第一格式的第一数据（步骤A）；对所述第一数据进行校验和解压还原从而得到源数据（步骤B）；将校验通过并解压还原后的所述源数据根据其类型分数据段存储在数据缓存中（步骤C）；把待发送的数据按数据段进行调度（步骤D）；以及将所述待发送数据转换为具有第二格式的第二数据，并发送给所述目标接入端（步骤E）。在上述方法中，步骤D可包括：在确定存储在数据缓存中的第一数据段已经写满时，基于来自所述目标接入端的订阅任务信息对所述第一数据段进行调度。在上述方法中，步骤D还可包括：定期轮询存储在所述数据缓存中的各数据段。在确定第一数据段在超过规定时间仍未写满的情况下，对该第一数据段进行调度。在上述方法中，所述第一数据在头部存有校验值，以供所述接收处理模块校验所述第一数据的完整性与正确性。在上述方法中，所述第二数据在头部也存有校验值，以供所述目标接入端校验所述第二数据的完整性与正确性。相对于现有技术，本申请实现了源接入端与目标接入端解耦，使得两个接入端之间没有直接依赖关系。同时，源接入端、目标接入端可以是异构系统，所处理数据也可以是非关系数据库产生的数据，数据的类型更为多样。通过配置一对多的数据发布与抽取方法，可以减轻对源接入端的压力，节省大量的数据传输。附图说明在参照附图阅读了本申请的具体实施方式以后，本领域技术人员将会更清楚地了解本申请的各个方面。本领域技术人员应当理解的是：这些附图仅仅用于配合具体实施方式说明本申请的技术方案，而并非意在对本申请的保护范围构成限制。图1是根据本申请的实施例的数据发布与抽取的方法的流程示意图；图2是根据本申请的实施例的数据处理系统的结构示意图；以及图3是根据本申请的实施例的数据缓存示意图。具体实施方式下面介绍的是本申请的多个可能实施例中的一些，旨在提供对本申请的基本了解，并不旨在确认本申请的关键或决定性的要素或限定所要保护的范围。容易理解，根据本申请的技术方案，在不变更本申请的实质精神下，本领域的一般技术人员可以提出可相互替换的其它实现方式。因此，以下具体实施方式以及附图仅是对本申请的技术方案的示例性说明，而不应当视为本申请的全部或者视为对本申请技术方案的限定或限制。根据本申请的一个实施例，如图1所示，示出了一种数据发布与数据抽取方法。如图1所示，在步骤①，源接入端（简称源端）进行数据发布，按照与数据处理系统约定的数据格式与发布方式发送报文给数据处理系统。在步骤②，数据处理系统将处理的情况反馈给源端，源端则根据反馈的情况决定后续的数据处理。在步骤③，数据处理系统按照与目标接入端约定的数据格式与抽取方式，将目标接入端订阅的数据发送给目标接入端。在步骤④，目标接入端（简称目标端）将处理的情况反馈给数据处理系统，数据处理系统根据反馈的情况决定后续的数据处理。图2进一步示出了根据本申请的一个实施例的数据处理系统的结构示意图。如图2所示，数据处理系统包括通信交互模块、数据缓存模块、接收处理模块、任务调度模块以及发送处理模块。在下文中，将就各个模块分别进行介绍。1. 通信交互模块在图2中，通信交互模块是数据源端与目标端的中介。源接入端会将待发布数据发送给通信交互模块，而目标接入端也会从通信交互模块进行数据抽取。在一个实施例中，通信交互模块对外负责连接源端和目标端，对内负责调用后续模块，并将处理的情况发送给源端、目标端。在一个实施例中，所有的数据源端（系统）、数据目标端（系统）在与数据处理系统连接时，需要采用统一的接入标准。例如，数据处理系统支持采用TCP/IP、文件、IPC等方式与源数据端或目标数据端进行通信，但通信的内容必须遵循统一标准与格式。在一个实施例中，报文/文件的内容可包含两个组成部分，依次是：头部、数据域。其结构如下表所示：表1：报文/文件的内容结构图头部数据域头部是报文/文件的第一个数据元素，主要记录了数据类型、数据长度、数据条数、数据源端标识、数据目标端标识、校验码等基本信息。数据域里可以携带一条或多条数据记录。例如，源端（标识为PUB）与数据处理本文档来自技高网...
【技术保护点】
一种数据处理系统，包括：通信交互模块，所述通信交互模块配置成与源接入端和目标接入端耦合，并从所述源接入端接收具有第一格式的第一数据；接收处理模块，所述接收处理模块配置成从所述通信交互模块接收具有所述第一格式的所述第一数据，对所述第一数据进行校验和解压还原从而得到源数据，并将校验通过并解压还原后的所述源数据根据其类型分数据段存储在数据缓存中；发送处理模块，所述发送处理模块将待发送数据转换为具有第二格式的第二数据，并经由所述通信交互模块发送给所述目标接入端；以及任务调度模块，所述任务调度模块设置在所述接收处理模块与所述发送处理模块之间，其配置成把待发送的数据按数据段调度给所述发送处理模块。
【技术特征摘要】
1. 一种数据处理系统，包括：通信交互模块，所述通信交互模块配置成与源接入端和目标接入端耦合，并从所述源接入端接收具有第一格式的第一数据；接收处理模块，所述接收处理模块配置成从所述通信交互模块接收具有所述第一格式的所述第一数据，对所述第一数据进行校验和解压还原从而得到源数据，并将校验通过并解压还原后的所述源数据根据其类型分数据段存储在数据缓存中；发送处理模块，所述发送处理模块将待发送数据转换为具有第二格式的第二数据，并经由所述通信交互模块发送给所述目标接入端；以及任务调度模块，所述任务调度模块设置在所述接收处理模块与所述发送处理模块之间，其配置成把待发送的数据按数据段调度给所述发送处理模块。2. 如权利要求1所述的数据处理系统，其中，在所述接收处理模块发现存储在数据缓存中的第一数据段已经写满时，所述接收处理模块配置成通知所述任务调度模块。3. 如权利要求2所述的数据处理系统，其中，在接收到所述接收处理模块的通知后，所述任务调度模块配置成基于来自所述目标接入端的订阅任务信息将所述第一数据段调度给所述发送处理模块。4. 如权利要求1所述的数据处理系统，其中，所述任务调度模块配置成定期轮询存储在所述数据缓存中的各数据段。5. 如权利要求4所述的数据处理系统，其中，在确定第一数据段...
【专利技术属性】
技术研发人员：杨燕明，赵根苗，茅毓铭，徐湧，占卫平，
申请(专利权)人：中国银联股份有限公司，
类型：发明
国别省市：上海;31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。