一种Binlog日志数据适配迁移方法和系统技术方案

本发明专利技术公开了一种Binlog日志数据适配迁移方法和系统，所述方法包括如下步骤：获取Binlog日志数据，设置Binlog日志数据的校验函数；根据所述校验函数校验所述Binlog日志数据，获取合法Binlog日志数据；配置规则引擎，根据所述规则引擎生成规则的业务数据；从所述规则引擎中获取映射规则，根据所述映射规则生成对应接口的请求数据包；从所述规则引擎中获取响应校验规则，获取对应接口的响应数据包后根据所述响应校验规则校验Binlog日志数据。Binlog日志接收层获取数据复制中心的数据报文，并将数据报文发送给Binlog日志校验层，所述Binlog日志校验层用于校验数据报文的合法性，通过对所述Binlog日志校验层设置校验函数可筛选指定业务场景的数据报文，从而可以制定适配的数据迁移策略。

【技术实现步骤摘要】
一种Binlog日志数据适配迁移方法和系统
本专利技术涉及互联网领域，特别涉及一种Binlog日志数据适配迁移方法和系统
技术介绍
常见的RDBMS同步应用场景多是备份或同步操作，例如主从复制，基于数据库Binlog变动事件可用于其他更加丰富场景的解决方案，例如数据库监听，由于企业内部的库表结构与业务抽象高度统一，所以企业可结合市场上的binlog监听框架例如Canal，实现数据库日志的增量解析，提供增量数据的订阅消费场景解决方案。上述现有技术中存在如下的技术缺陷：在面对企业外的对接工作会因为库表的设计和业务的差异化使得binlog结构与业务场景高度不统一，从而使得每个企业都要做大量定制业务开发工作，从而提高了企业的成本支出，并且即是定制的业务开发系统，也会有业务的处理不够灵活问题。
技术实现思路
本专利技术其中一个专利技术目的在于提供一种Binlog日志数据适配迁移方法和系统，所述方法和系统通过数据复制中心(DRC)读取MySQL中所有的DML操作，Binlog日志接收层获取数据复制中心的数据报文，并将数据报文发送给Binlog日志校验层，所述Binlog日志校验层用于校验数据报文的合法性，通过对所述Binlog日志校验层设置校验函数可筛选指定业务场景的数据报文，从而可以制定适配的数据迁移策略。本专利技术另一个专利技术目的在于提供一种Binlog日志数据适配迁移方法和系统，所述方法和系统具有规则模块，所述规则模块设置系统内部的Binlog日志服务器的Http通讯服务的规则，并具体设置Http通讯服务的校验规则和映射规则，通过映射规则可以和第三方Http接口实现一一对应，通过所述规则模块的映射规则可生成对应第三方Http接口的请求和响应参数，从而大幅提高所述Binlog服务器和第三方系统的交互效率，使得业务系统无需定制化操作。本专利技术另一个专利技术目的在于提供一种Binlog日志数据适配迁移方法和系统，所述方法和系统通过设置业务报警和业务重试机制使得Binlog日志数据保持连续性和完整性，可实现增量Binlog日志数据的连续同步和异常Binlog日志数据的自动补足。为了实现至少一个上述专利技术目的，本专利技术进一步提供一种Binlog日志数据适配迁移方法，所述方法包括如下步骤：获取Binlog日志数据，设置Binlog日志数据的校验函数；根据所述校验函数校验所述Binlog日志数据，获取合法Binlog日志数据；配置规则引擎，根据所述规则引擎生成规则的业务数据；从所述规则引擎中获取映射规则，根据所述映射规则生成对应接口的请求数据包；从所述规则引擎中获取响应校验规则，获取对应接口的响应数据包后根据所述响应校验规则校验Binlog日志数据。根据本专利技术其中一个较佳实施例，所述校验函数包括：从Binlog日志数据获取用户类型、用户注册时间、获取用户等级，设置注册时长阈值和用户门槛等级，根据所述校验函数过滤去除小于所述注册时长阈值和用户门槛等级的Binlog日志数据。根据本专利技术另一个较佳实施例，获取的Binlog日志数据包括多个校验参数，所述校验参数包括JSON字符串中的表名，字段名和字段值，并将所述校验参数保存于数据库表中。根据本专利技术另一个较佳实施例，所述合法Binlog日志数据方法还包括：识别Binlog日志数据中的校验参数，判断校验参数是否变更，设定校验函数变更参数范围，若识别的校验参数变更属于所述变更参数范围内，则校验成功，将变更的Binlog日志数据同步于数据表中。根据本专利技术另一个较佳实施例，识别Binlog日志数据中的校验参数，判断校验参数是否变更，设定校验参数的变更参数范围，若识别的校验参数不属于所述变更参数范围内，则校验失败，将所述变更的Binlog日志数据删除。根据本专利技术另一个较佳实施例，所述配置规则引擎方法包括：配置Binlog模块和第三方接口的映射表，并配置请求包对应的参数，其中每个第三方接口对应一个映射规则，每个映射规则对应一个请求，用于生成对应的请求数据包。根据本专利技术另一个较佳实施例，所述配置规则引擎还包括：获取响应数据包，分析响应数据包的类型，根据响应类型配置响应校验规则，所述响应校验规则包括Binlog日志数据补录和数据报警。根据本专利技术另一个较佳实施例，所述Binlog日志数据补录的方法包括如下步骤：获取增量Binlog日志数据，将所述增量Binlog日志数据保存于数据库表中，获取所述增量Binlog日志数据插入行的主键ID，以及对应的映射规则，建立所述增量Binlog日志数据的主键ID和映射规则的唯一索引，并将所述唯一索引保存于数据库的同步列表中，并依次进行排序，根据排序识别同步列表中是否存在缺失，若存在缺失则在缺失的列表中补足对应的Binlog日志数据。为了实现至少一个上述专利技术目的，本专利技术进一步提供一种Binlog日志数据适配迁移系统。本专利技术进一步提供一种计算机可读存储介质，所述计算机可读存储介质保存并应用上述一种Binlog日志数据适配迁移系统。附图说明图1显示的是本专利技术一种Binlog日志数据适配迁移方法流程示意图；图2显示的是本专利技术一种Binlog日志数据适配迁移系统的结构示意图。具体实施方式以下描述用于揭露本专利技术以使本领域技术人员能够实现本专利技术。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本专利技术的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本专利技术的精神和范围的其他技术方案。本领域技术人员应理解的是，在本专利技术的揭露中，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系是基于附图所示的方位或位置关系，其仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本专利技术的限制。可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。请参考图1-2，本专利技术公开了一种Binlog日志数据适配迁移方法和系统，所述系统包括数据复制中心(DataReplicationCenter)，binlog模块，规则引擎模块，其中所述binlog模块通讯连接所述数据复制中心，所述数据复制中心对二进制流做数据的预处理，用于生成可被业务识别的数据。所述binlog模块包括binlog处理器和binlog校验器，其中所述binlog处理器获取binlog日志数据，并将所述binlog日志数据的传输给所述binlog校验器进行校验，进一步将校验合法的binlog日志数据传输给所述规则引擎模块，根据设定的规则生成适配业务策略的请求数据，进一步通过请求-响应的方式和第三方接口建立通讯链本文档来自技高网...

【技术保护点】
1.一种Binlog日志数据适配迁移方法，其特征在于，所述方法包括如下步骤：/n获取Binlog日志数据，设置Binlog日志数据的校验函数；/n根据所述校验函数校验所述Binlog日志数据，获取合法Binlog日志数据；/n配置规则引擎，根据所述规则引擎生成规则的业务数据；/n从所述规则引擎中获取映射规则，根据所述映射规则生成对应接口的请求数据包；/n从所述规则引擎中获取响应校验规则，获取对应接口的响应数据包后根据所述响应校验规则校验Binlog日志数据。/n

【技术特征摘要】
1.一种Binlog日志数据适配迁移方法，其特征在于，所述方法包括如下步骤：
获取Binlog日志数据，设置Binlog日志数据的校验函数；
根据所述校验函数校验所述Binlog日志数据，获取合法Binlog日志数据；
配置规则引擎，根据所述规则引擎生成规则的业务数据；
从所述规则引擎中获取映射规则，根据所述映射规则生成对应接口的请求数据包；
从所述规则引擎中获取响应校验规则，获取对应接口的响应数据包后根据所述响应校验规则校验Binlog日志数据。


2.根据权利要求1所述的一种Binlog日志数据适配迁移方法，其特征在于，所述校验函数包括：从Binlog日志数据获取用户类型、用户注册时间、获取用户等级，设置注册时长阈值和用户门槛等级，根据所述校验函数过滤去除小于所述注册时长阈值和用户门槛等级的Binlog日志数据。


3.根据权利要求1所述的一种Binlog日志数据适配迁移方法，其特征在于，获取的Binlog日志数据包括多个校验参数，所述校验参数包括JSON字符串中的表名，字段名和字段值，并将所述校验参数保存于数据库表中。


4.根据权利要求3所述的一种Binlog日志数据适配迁移方法，其特征在于，所述合法Binlog日志数据方法还包括：识别Binlog日志数据中的校验参数，判断校验参数是否变更，设定校验参数的变更参数范围，若识别的校验参数变更属于所述变更参数范围内，则校验成功，将变更的Binlog日志数据同步于数据库表中。


5.根据权利要求3所述的一种Binlog日志数据适配迁移方法，其特征在于，识别Binlog日志数据中的校验参数，判断校验参数是...

【专利技术属性】
技术研发人员：刘永建，杨道铨，金雄镕，王锶锶，金宏洲，程亮，
申请(专利权)人：杭州天谷信息科技有限公司，
类型：发明
国别省市：浙江;33