一种可配置的定时数据同步方法技术

本发明专利技术提供一种可配置的定时数据同步方法，属于数据交换技术领域，本发明专利技术包括如下步骤：1)、同步数据信息配置DbCrmJob.config；2)数据同步任务定时配置文件jobs.xml；3)日志配置文件JobScheduler.exe.config；4)、SQL Server生成字段配置SQL。解决企业内部异构系统之间的数据同步问题。实现方式是基于数据库层面来实现系统之间的数据交换，对现有业务系统无影响。

Configurable timing data synchronization method

The invention provides a synchronization method for timing data can be configured, which belongs to the technical field of data exchange, the invention comprises the following steps: 1), synchronous data information configuration of DbCrmJob.config; 2) data synchronization task timing configuration file jobs.xml; 3) log configuration file JobScheduler.exe.config; 4), SQL Server SQL generated field configuration. Solve the problem of data synchronization between heterogeneous systems within an enterprise. The implementation is based on the database level to achieve data exchange between systems, and has no impact on the existing business system.

【技术实现步骤摘要】
一种可配置的定时数据同步方法
本专利技术涉及数据交换技术，尤其涉及一种可配置的定时数据同步方法。解决企业内部异构系统之间的数据同步问题。主要利用计算机多线程技术、XML技术、数据库技术实现。具有简单配置、快速部署、灵活扩展的特点，并且对于特定系统(比如CRM与ERP系统之间)，一次配置后，可重复使用，有利于配置模板的积累。
技术介绍
在企业中，由于开发时间或开发部门的不同，往往有多个异构的、运行在不同的软硬件平台上的信息系统同时运行，这些系统的数据源彼此独立、相互封闭，使得数据难以在系统之间交流、共享和融合，从而形成了"信息孤岛"。随着信息化应用的不断深入，企业内部、企业与外部信息交互的需求日益强烈，急切需要对已有的信息进行整合，联通“信息孤岛”，共享信息。数据集成：数据集成通过应用间的数据交换从而达到集成，主要解决数据的分布性和异构性的问题，其前提是被集成应用必须公开数据结构，即必须公开表结构，表间关系，编码的含义等。对于数据集通常的解决办法，一是我们系统中直接访问对方系统的数据库的方式。这样的方式数据实时性好，没有延迟。缺点是安全性比较差、互相影响的风险也比较大，对方系统可能担心会打乱数据，影响他们的系统，我们系统也因为对方系统数据库是否可用而受影响。第二个是把对方系统的数据拿过来，放到我们的系统的数据库里。
技术实现思路
对于上述第二种情况，本专利技术提出了一种可配置的定时数据同步方法，它可以将来自某个系统的数据定时同步到目标系统中。数据同步需要了解5方面信息，数据的来源、来源中的数据、目标、应该放到目标的什么地方还有同步频率。1、同步数据信息配置DbCrmJob.config。在这个文件里需要配置的信息包括数据的来源、目的，需要同步的数据，数据同步的方向和步骤。主要节点如下：数据库信息配置节点，配置数据的来源和目的数据库连接信息，根据实际项目的环境修改配置。WebService信息配置节点，配置数据的来源和目的为UpdateCrmInterface的连接信息，根据实际项目的环境修改配置，一般只需要修改接口服务器的IP地址。同步数据配置节点，配置需要同步的数据。每个InfObject相当于数据库中的一个表，Field相当于表中的字段。如果同步双方的表结构相同，可以只配置一个，如果双方的表结构不同都需要配置。数据同步任务配置节点，配置数据同步的方向，同步的步骤，即将来源于某个数据库或UpdateCRM中的什么数据同步到目的数据库或UpdateCRM。每一个Task表示一个同步任务，可包含多个同步步骤Item,Item为具体的需要同步的数据。2、数据同步任务定时配置文件jobs.xml。主要对DbCrmJobCfg.xml配置的数据同步任务的定时执行信息进行配置。配置节点如下：主要配置作业节点Job和时间触发器节点trigger。Job和DbCrmJobCfg中的任务对应，Job的name需要与DbCrmJob.Config中Task的taskName相同，其他参照注释说明。trigger配置作业的执行时间，其中的job-name需要job节点的name相同。Trigger的定时分为两种Simple和cron，可以满足不同的需求。如果需要让任务只在某个时刻执行一次，或者，在某个时刻开始，然后按照某个时间间隔重复执行，简单地说，如果你想让触发器在2007年8月20日上午11：23：54秒执行，然后每个隔10秒钟重复执行一次，并且这样重复5次。那么Simple就可以满足你的要求。如果你需要像日历那样按日程来触发任务，而不是像Simpler那样每隔特定的间隔时间触发，通常使用cron方式配置定时时间。使用cron，你可以指定诸如“每个周五中午”，或者“每个工作日的9:30”或者“从每个周一、周三、周五的上午9：00到上午10：00之间每隔五分钟”这样日程安排来触发。甚至，象Simple一样，Cron也有一个StartTime以指定日程从什么时候开始，也有一个(可选的)EndTime以指定何时日程不再继续。Cron表达式举例例1–一个简单的每隔5分钟触发一次的表达式"00/5***？"例2–在每分钟的10秒后每隔5分钟触发一次的表达式(例如.10:00:10am,10:05:10等.)。"100/5***？"例3–在每个周三和周五的10：30，11：30，12：30触发的表达式。"03010-13？*WED,FRI"例4–在每个月的5号，20号的8点和10点之间每隔半个小时触发一次且不包括10点，只是8：30，9：00和9：30的表达式。"00/308-95,20*？"注意，对于单独触发器来说，有些日程需求可能过于复杂而不能用表达式表述，例如：9：00到10：00之间每隔5分钟触发一次，下午1：00到10点每隔20分钟触发一次。这个解决方案就是创建两个触发器，两个触发器都运行相同的任务。3、日志配置文件JobScheduler.exe.config。对程序的运行信息、任务执行信息、错误信息的日志输出配置。程序默认配置为错误信息输出到文件(运行目录下的log目录)并且将错误日志发送邮件给指定的的维护人员。对于程序的运行日志可运行logView.bat查看实时日志。部署时主要修改如下信息：<subjectvalue＝"JobSchedulerLog[测试项目]"/><tovalue＝"***@inspur.com"/>[测试项目]修改为实际的项目名称***@inspur.com修改维护人员的邮件地址4、SQLServer生成字段配置SQL本专利技术的有益效果是基于XML配置，配置灵活、使用简单；支持全量更新与增量更新；支持系统之间双向定时数据同步；灵活的定时策略，包括固定频次重复执行和特定时间点执行，支持cron表达式；预制CRM系统和ERP系统数据处理模板，方便特定系统间的快速部署，提高效率；采用服务部署方式，运行稳定，操作系统启动后自动重启，无须人为参与；完备的反馈机制，出现错误自动发送邮件给维护人员，及时解决，调试信息和运行信息可通过配置决定是否输出。附图说明图1是DbCrmJob.xml和Jobs.xml各配置节点关系示意图。具体实施方式下面对本专利技术的内容进行更加详细的阐述：本专利技术提供的一种可配置的定时数据同步方法与装置，实现方式是基于数据库层面来实现系统之间的数据交换，对现有业务系统无影响。支持SqlServer/Oracle与SqlServer/Oracle之间、SqlServer/Oracle与UpdateCRM系统之间双向定时数据同步。主要实现代码如下：本专利技术特点1、在数据库层面完成数据同步，支持Oracle、SqlServer两种数据库，预制数据库访问层接口，可通过扩展支持其他数据库；2、部署一套程序，通过配置，可以支持任意多个系统间的数据交换；3、可通过xml配置，Sql和存储过程三种方式获取数据；4、可根据不同系统的要求配置字段的时间格式，如20160819、2016-08-19、2016/08/09；5、可为每次数据同步的一批数据生成一个批号，以方便导入之后的处理；6、可为每批数据生成记录序号；7、对于主从表，可以先导入主表数据，再导入从表数据，然后通过本次批次号做本文档来自技高网...

【技术保护点】
一种可配置的定时数据同步方法，其特征在于，包括如下步骤：1)、同步数据信息配置DbCrmJob.config；2)数据同步任务定时配置文件jobs.xml；3)日志配置文件JobScheduler.exe.config；4)、SQL Server生成字段配置SQL。

【技术特征摘要】
1.一种可配置的定时数据同步方法，其特征在于，包括如下步骤：1)、同步数据信息配置DbCrmJob.config；2)数据同步任务定时配置文件jobs.xml；3)日志配置文件JobScheduler.exe.config；4)、SQLServer生成字段配置SQL。2.根据权利要求1所述的方法，其特征在于，其中步骤1)，在这个文件里需要配置的信息包括数据的来源、目的，需要同步的数据，数据同步的方向和步骤；主要节点如下：数据库信息配置节点，配置数据的来源和目的数据库连接信息，根据实际项目的环境修改配置；WebService信息配置节点，配置数据的来源和目的为UpdateCrmInterface的连接信息，根据实际项目的环境修改配置；同步数据配置节点，配置需要同步的数据；每个InfObject相当于数据库中的一个表，Field相当于表中的字段；如果同步双方的表结构相同，可以只配置一个，如果双方的表结构不同都需要配置；数据同步任务配置节点，配置数据同步的方向，同步的步骤，即将来源于一个数据库或UpdateCRM中的数据同步到目的数据库或UpdateCRM；每一个Task表示一个同步任务，包含多个同步步骤Item,Item为具体的需要同步...

【专利技术属性】
技术研发人员：李军，付传伟，
申请(专利权)人：济南浪潮高新科技投资发展有限公司，
类型：发明
国别省市：山东,37