一种数据同步方法及装置制造方法及图纸

本发明专利技术提出了一种数据同步方法及装置，用于实时同步源端和目标端的数据，其中数据同步方法，包括：接收用户输入的业务基础信息；根据所述业务基础信息，获取所述源端的业务基础数据；存储获取的所述源端的业务基础数据，并在存储的业务基础数据发生变动后，记录数据库REDO LOG；解析所述数据库REDO LOG，并根据解析后的数据库REDO LOG的信息实时更新所述目标端的数据。本发明专利技术通过利用数据库软件的系统级日志REDO LOG以及基于TCP/IP传输协议，实现多系统间大量数据的精确快速同步，克服了现有同步大量数据时效率偏低或资源消耗较大等缺点。

【技术实现步骤摘要】

本专利技术涉及计算机
，尤其涉及数据同步领域，具体涉及一种数据同步方法以及装置。
技术介绍
随着信息化水平的提高以及人们对于风险认识的提高，现代金融企业逐步加强了利用信息化手段对风险进行计量的应用，特别随着巴塞尔协议III的推广，有条件的金融企业逐步替换为使用高级法对金融业务活动的风险进行计量，而由于高级法计量的复杂性，需要大量的基础性数据作为计量的基础，而大量的基础性数据又分散在各种不同的专业系统内，需要通过技术手段将分散在各个系统的数据进行集中。传统的数据同步手段主要通过联机接口同步以及晚间批量同步方式，前者通常由源端在交易完成后通过HTTP协议将数据实时传输到目标端，后者通常由源端在晚间通过触发器或时间戳方式批量筛选生成增量数据文本，点对点方式传输至目标端，目标端在计划时点导入增量文本。但这两种同步又各存在一些缺陷：1、联机同步：数据同步时效性强，但适宜小数据量的同步，当同步数据量大且分散时，一方面，资源可复用度不高，同时造成系统复杂度大幅上升而且对系统的性能带来较大的压力，影响系统正常提供服务。2、批量同步：数据同步时效性较差，需要利用晚间空闲时间传递数据，但对大数据量的同步支持较好，且可以降低同一业务分散存储在不同关联表时数据同步的耦合性。同时当源端传输时点较晚时，可能错过目标端加载时点，影响目标端数据准确性、完整性。
技术实现思路
为了解决在将分散在各个系统的数据进行集中的过程中，现有技术的数据同步时效性较差或同步数据量不足的问题，本专利技术提出了一种数据同步方法及装置。为了达到上述目的，本专利技术实施例提出一种数据同步方法，用于实时同步源端和目标端的数据，包括：接收用户输入的业务基础信息；根据所述业务基础信息，获取所述源端的业务基础数据；存储获取的所述源端的业务基础数据，并在存储的业务基础数据发生变动后，记录数据库REDOLOG；解析所述数据库REDOLOG，并根据解析后的数据库REDOLOG的信息实时更新所述目标端的数据。进一步地，在一实施例中，还包括：接受用户输入的查询请求，并根据所述查询请求获取并展示所述目标端的业务基础数据。进一步地，在一实施例中，在其记录、传输以及解析数据库REDOLOG的步骤中，还包括：监测所述数据库REDOLOG的生成情况、传输数量及执行情况。进一步地，在一实施例中，在其数据库REDOLOG进行传输的步骤中，还包括：控制所述数据库REDOLOG的传输的开启与关闭。进一步地，在一实施例中，所述数据库REDOLOG通过TCP/IP协议传输至所述目标端。为了达到上述目的，相应的提出了一种数据同步装置，用于实时同步源端和目标端的数据，包括：业务基础信息输入模块，用于接收用户输入的业务基础信息；业务基础数据获取模块，用于根据所述业务基础信息，获取所述目标端的业务基础数据；REDOLOG记录模块，用于存储获取的所述源端的业务基础数据，并在存储的业务基础数据发生变动后，记录数据库REDOLOG；REDOLOG解析更新模块，用于解析所述数据库REDOLOG，并根据解析后的数据库REDOLOG的信息实时更新所述目标端的数据。进一步地，在一实施例中，还包括：基础信息查询模块，用于接受用户输入的查询请求，并根据所述查询请求获取并展示所述目标端的业务基础数据。进一步地，在一实施例中，还包括：REDOLOG监测模块，用于监测所述数据库REDOLOG的生成情况、传输数量及执行情况。进一步地，在一实施例中，还包括：REDOLOG传输控制模块，用于控制所述数据库REDOLOG的传输的开启与关闭。本专利技术的有益效果在于，本专利技术通过利用数据库软件的系统级日志REDOLOG以及基于TCP/IP传输协议，实现多系统间大量数据的精确快速同步，克服了现有同步大量数据时效率偏低或资源消耗较大等缺点。首先，本专利技术数据同步方法对业务服务器的资源消耗情况依赖较低；其次，当业务相关数据发生变动后，即可及时进行同步，大幅提高数据同步时效性。原先批量同步通过需要T+1日，联机同步通常1秒左右，而本专利技术的数据同步装置的同步时间约为几秒，虽然较联机同步略差，但远远好于批量同步时间，且该同步时效性已可满足绝大部分业务场景使用需求；并且，较传统的联机接口模式或批量接口模式，该数据同步装置不仅传输时效性高，而且传输数据量大，应用开发成本较小。传统的联机接口通常适用于同步以K为单位的数据量，而本装置则基本不受传输量大小限制。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例的数据同步方法的流程图。图2为本专利技术实施例的数据同步装置的结构示意图。图3为本专利技术另一实施例的数据同步装置的结构示意图。图4为本专利技术又一实施例的数据同步装置的结构示意图。图5为本专利技术再一实施例的数据同步装置的结构示意图。附图标号：业务基础信息输入模块100业务基础数据获取模块200REDOLOG记录模块300REDOLOG解析更新模块400源端500目标端600基础信息查询模块700查询框展示单元710结果展示单元720结果集信息查询单元730REDOLOG监测模块800生成监测单元810发送监测单元820接受监测单元830REDOLOG传输控制模块900具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1为本专利技术实施例的数据同步方法的流程图。如图1所示，本专利技术实施例的数据同步方法，用于实时同步源端和目标端的数据，包括：S100，接收用户输入的业务基础信息；S200，根据所述业务基础信息，获取所述源端的业务基础数据；S300，存储获取的所述源端的业务基础数据，并在存储的业务基础数据发生变动后，记录数据库REDOLOG；S400，解析所述数据库REDOLOG，并根据解析后的数据库REDOLOG的信息实时更新所述目标端的数据。在本实施例的S100中，接收用户输入的业务基础信息，具体实施中，可以通过人机接口实现接收将用户所需要的业务基础信息通过点击、拖动或键入等操作实现输入，当取得用户输入的业务基础信息后进入步骤S200。在本实施例的S200中，根据所述业务基础信息，获取所述源端的业务基础数据。在获取用户输入的业务基础信息后，根据业务基础信息内用户欲调取的内容，获取源端的业务基础数据。在此需要强调的是，源端的种类与数量可以是多个，本专利技术对此不作限制。获取用户所需的源端的业务基础数据后，进入步骤S300。在本实施例的S300中，存储获取的所述源端的业务基础数据，并在存储的业务基础数据发生变动后，记录数据库REDOLOG。获取源端的业务基础数据后进行储存，此时若没有新的源端业务基础数据输入的情况下，该源端业务基础数据当然未做变化，当出现有新的源端业务基础数据获取后，通过比较在先与在后的源端业务基础数据的差异，并搜集本文档来自技高网...

【技术保护点】
一种数据同步方法，用于实时同步源端和目标端的数据，其特征在于，包括：接收用户输入的业务基础信息；根据所述业务基础信息，获取所述源端的业务基础数据；存储获取的所述源端的业务基础数据，并在存储的业务基础数据发生变动后，记录数据库REDO LOG；解析所述数据库REDO LOG，并根据解析后的数据库REDO LOG的信息实时更新所述目标端的数据。

【技术特征摘要】
1.一种数据同步方法，用于实时同步源端和目标端的数据，其特征在于，包括：接收用户输入的业务基础信息；根据所述业务基础信息，获取所述源端的业务基础数据；存储获取的所述源端的业务基础数据，并在存储的业务基础数据发生变动后，记录数据库REDOLOG；解析所述数据库REDOLOG，并根据解析后的数据库REDOLOG的信息实时更新所述目标端的数据。2.根据权利要求1所述的数据同步方法，其特征在于，还包括：接受用户输入的查询请求，并根据所述查询请求获取并展示所述目标端的业务基础数据。3.根据权利要求1所述的数据同步方法，其特征在于，在记录、传输以及解析数据库REDOLOG的步骤中，还包括：监测所述数据库REDOLOG的生成情况、传输数量及执行情况。4.根据权利要求1所述的数据同步方法，其特征在于，在数据库REDOLOG进行传输的步骤中，还包括：控制所述数据库REDOLOG的传输的开启与关闭。5.根据权利要求1所述的数据同步方法，其特征在于，所述数据库REDOLOG通过TCP/IP协议传输至所述目...

【专利技术属性】
技术研发人员：王大猷，黎健，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：北京;11