【技术实现步骤摘要】
适用于MySQL中客户数据的并行异构方法、系统、介质及设备
本专利技术涉及数据库处理领域，具体地，涉及适用于MySQL中客户数据的并行异构方法、系统、介质及设备，尤其是一种基于Canal和Elasticsearch的MySQL中客户数据并行异构方法。
技术介绍
随着系统功能越来越多，查询方式和维度的多样性，数据库中客户相关的数据量越来越大，现有通过数据库查询的需求，导致查询不方便、易出错、执行时间长、无法解决业务需求、代码中SQL语句更复杂和维护成本随之上升等问题。现有按某种维度分库方案，导致其他维度查询的需求比较复杂。现有使用Canal进行异构的两种方案，同步处理方案无法满足大批量数据变更操作的要求，并行处理方案无法满足数据的一致性。专利文献CN109241191A公开了一种分布式数据源异构同步平台及同步方法，该平台包含：前端和服务端；其中，前端用于提交数据源和显示数据源同步结果；服务端用于接收前端提交的数据源，并完成数据源同步请求，并将同步结果传送给前端；前端和服务端之间采用WebSocket技术进行通信；前端包...
【技术保护点】
1.一种适用于MySQL中客户数据的并行异构方法，其特征在于，包括：/n环境搭建步骤：准备预定MySQL数据库，搭建可用度大于设定阈值的Canal和Elasticsearch环境；/n环境配置步骤：在Canal上配置需要进行数据异构处理的MySQL信息；/nCanal-Consumer服务开发步骤：全量异构初始化客户设定数据，对binlog日志的订阅，按照客户主键ID分组的处理线程，处理客户相关表数据的Sluice，使用Elasticsearch的API以及Elasticsearch索引的创设；/nElasticsearch索引创设步骤：使用客户ID作为Elasticsea...
【技术特征摘要】
1.一种适用于MySQL中客户数据的并行异构方法，其特征在于，包括：
环境搭建步骤：准备预定MySQL数据库，搭建可用度大于设定阈值的Canal和Elasticsearch环境；
环境配置步骤：在Canal上配置需要进行数据异构处理的MySQL信息；
Canal-Consumer服务开发步骤：全量异构初始化客户设定数据，对binlog日志的订阅，按照客户主键ID分组的处理线程，处理客户相关表数据的Sluice，使用Elasticsearch的API以及Elasticsearch索引的创设；
Elasticsearch索引创设步骤：使用客户ID作为Elasticsearch的文档ID，提取业务需求的数据创设Mapping；
并行处理步骤：获取对应的处理表Sluice，按照客户主键ID，通过ID％线程数获得对应的线程标识，将取到的binlog操作数据放入到对应线程的队列中，线程中调用Elasticsearch对应的API完成操作，获取并行处理结果信息。
2.根据权利要求1所述的适用于MySQL中客户数据的并行异构方法，其特征在于，还包括：
EsQuery服务开发步骤：使用Elasticsearch的查询API，根据具体业务需求的查询，提供对外查询接口，获取EsQuery服务开发结果信息。
3.根据权利要求1所述的适用于MySQL中客户数据的并行异构方法，其特征在于，还包括：
处理查询服务搭建步骤：部署可用度大于设定阈值的Canal-Consumer服务以及EsQuery服务，获取处理查询服务搭建结果信息。
4.根据权利要求1所述的适用于MySQL中客户数据的并行异构方法，其特征在于，还包括：
结果验证步骤：实时同步数据和查询数据，获取验证结果信息。
5.一种适用于MySQL中客户数据的并行异构系统，其特征在于，包括：
环境搭建模块：准备预定MySQL数据库，搭建可用度大于设定阈值的Canal和Elasticsearch环境；
环境配置模块：在Canal上配置需要进行数据异构处理的MySQL信息；
...
【专利技术属性】
技术研发人员：姚维召，杜川，
申请(专利权)人：上海银赛计算机科技有限公司，
类型：发明
国别省市：上海;31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。