【技术实现步骤摘要】
烟草行业数据同步方法及装置
[0001]本专利技术涉及烟草行业应用软件领域，具体地说是一种烟草行业数据同步方法及装置。
技术介绍
[0002]随着烟草行业信息化的发展，各业务部门都分别建设了自己的信息系统和数据库系统，并积累了大量的业务数据。然而，丰富的数据资源由于建设时期不同，开发部门不同、使用设备不同、技术发展阶段不同和能力水平不同等，数据存储管理极为分散，造成了过量的数据冗余和数据不一致性，使得数据资源难于查询访问，管理人员无法实时掌握全链路业务数据，无法获得有效的决策数据支持。
[0003]为了更好的掌握全链路业务数据，烟草行业部署搭建了数据中心平台，但是对于将各业务系统数据同步到数据中心确没有很好的解决方案，现有的同步工具功能相对较简单，无法监控数据同步过程，无法与数据中心平台进行深度集成，当同步过程中出现错误进行补救时需要将所有已同步数据都同步一遍，数据同步成本较高。
技术实现思路
[0004]本专利技术的技术任务是提供一种烟草行业数据同步方法及装置，来解决现有技术在业务信息系统和数据中心...
【技术保护点】
【技术特征摘要】
1.一种烟草行业数据同步方法，其特征在于，该方法将配置数据同步源源、数据目标端以及数据表字段映射的功能全部集成到数据同步平台的统一模板中，使数据中心库进行数据同时时，选择相关模板即可创建数据同步任务；具体如下：S1、从业务库获取源端表结构；S2、判断目标端是否有表：
①
、若否，则生成目标表；
②
、若有，则执行步骤S3；S3、配置字段映射关系；S4、字段清洗；S5、同步数据；S6、数据验证；S7、结果通知。2.根据权利要求1所述的烟草行业数据同步方法，其特征在于，所述步骤S3中配置字段映射关系具体如下：S301、在配置源端、目标端表映射关系时采用界面化操作，将源端表结构和目标端表结构从数据库元数据中取出后展示在界面中按照字段名和字段顺序排序映射，对于未找到映射字段给出提示；S302、对于源端字段和目标端字段数据类型及字段长度进行验证：若字段类型不一致，则给出相关提示；S303、在数据同步过程中配置数据同步过程监控，数据从源端库查询出时会将数据总条数及数据校验字段数值默认一并查询出来；S304、在数据同步到目标端库后，将数据总条数和数据校验值存入数据同步日志表中。3.根据权利要求1所述的烟草行业数据同步方法，其特征在于，所述步骤S4中字段清洗具体如下：通过数据同步平台配置清洗规则，参照数据字典及元数据的规则将数据清洗成统一规范、统一定义及统一标准的数据。4.根据权利要求1所述的烟草行业数据同步方法，其特征在于，所述步骤S6中数据校验具体如下：S601、数据同步任务结束后，触发数据验证任务；S602、数据验证任务将当天所有抽数表的目标端数据条数和数据校验字段数值计算出结果与源端表进行比较：若目标端与源端有数据不一致，则执行步骤S603；S603、给出预警，并将预警结果通过邮件或者微信的形式发给管理员，让管理员实时监控数据同步过程。5.根据权利要求1
‑
4中任一所述的烟草行业数据同步方法，其特征在于，所述步骤S7中的结果通知具体如下：S701、对于数据同步任务日志监控和数据验证结果监控：若有失败情况，则自动触发调用同步任务；S702、在自动调用次数超过阈值仍然失败的任务，则将任务记录下，提供给管理员，让
管理员人工干预查看失败原因，并在解决后，手动触发数据同步任务。6.一种烟草行业数据同步装置，其特征在于，该装置包括，业务库，用于存储源端表结构和源...
【专利技术属性】
技术研发人员：张亚飞，孙涛，侯海旭，林大伟，王乃永，
申请(专利权)人：浪潮软件股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。