【技术实现步骤摘要】
本专利技术涉及数据控制，尤其涉及一种基于elasticsearch的数据同步方法。
技术介绍
1、elasticsearch是一个开源的分布式搜索和分析引擎。它是基于apache lucene库构建的，提供了一个分布式全文搜索引擎的功能，可以实时地对大规模数据进行搜索、分析和存储。elasticsearch支持快速的数据索引和搜索，可以处理大量的结构化和非结构化数据，并且具有高可用性和可扩展性。它被广泛应用于各种场景，包括日志分析、搜索引擎、数据仓库等。
2、在使用elasticsearch时，集群之间的数据同步是经常会遇到的业务场景，实际业务场景大部分都是个性化要求比较高的场景，使用elasticsearch自身的一些同步机制很难满足个性化的同步需求，可以使用elasticsearch的api来自定义数据同步的逻辑。通过编写代码来实现数据的复制和同步，可以根据需求进行灵活的配置和控制。数据同步时要确保集群之间的网络连接畅通，并且要注意数据同步的延迟和性能问题。还需要考虑数据同步的一致性和冲突处理等问题，以确保数据的准确性和完整性。
技术实现思路
1、本专利技术提出了一种基于elasticsearch的数据同步方法，以解决上述数据同步的一致性和冲突处理等问题。
2、一种基于elasticsearch的数据同步方法，同步数据的源端和目的端都是elasticsearch，数据同步包括以下步骤：
3、步骤s1：设定调度轮询时间；
4、步骤s
5、步骤s3：确定运行时数据同步时段；
6、步骤s4：统计时间记录。
7、进一步，所述步骤s1时间设定大于目的端elasticsearch所设定的刷新时间，数据同步任务设定为30秒执行一次。
8、进一步，所述初始数据同步时段基于elasticsearch数据插入索引后设置的刷新时间进行确定，具体为当前时间前五分钟的上一个五分钟时间段。
9、进一步，所述步骤s2具体包括：
10、若初始数据同步时段没有在源端中查询到数据，则将结束时间设置为初始数据同步时段结束时间加五分钟；
11、判断新的结束时间是否超过了原始初始数据同步时段时间，如果超过了则将结束时间仍然设为原始初始数据同步时段时间。
12、进一步，所述步骤s3运行时数据同步时段具体为：在调度初始执行或上次执行之后目的端elasticsearch有数据的情况下，将从目的端查询出最后数据的时间作为同步时间段的开始时间，在此基础上加上五分钟作为同步时间段的结束时间。
13、进一步，所述步骤s3具体包括：
14、若从源端查询到数据，则继续同步逻辑；
15、若没查询到数据，则将运行时数据同步时段结束时间向前滚动五分钟继续查询，如果运行时数据同步时段结束时间最后滚动到超过了五分钟之前的时间，则结束时间设置为五分钟之前的时间，超过标识设置真，不再向前滚动。
16、进一步，所述步骤s4还包括：若从源端查询出数据，但是在处理的过程中发现没有符合要求的数据要保存到目的端的elasticsearch中，则将本次同步的结束时间写入到目的端的elasticsearch中存储起来，作为下次同步时间段的开始时间。
17、本专利技术的有益效果：本专利技术提出了一种基于elasticsearch的数据同步方法，排除了elasticsearch刷新频率的干扰，做到了数据同步的准确无误，相比通常的做法，每次调度同步的时间段是最近五分钟的，解决了调度失败或者重启存在数据未同步情况的问题。
本文档来自技高网...【技术保护点】
1.一种基于Elasticsearch的数据同步方法，其特征在于，同步数据的源端和目的端都是Elasticsearch，数据同步包括以下步骤：
2.根据权利要求1所述的一种基于Elasticsearch的数据同步方法，其特征在于，所述步骤S1时间设定大于目的端Elasticsearch所设定的刷新时间，数据同步任务设定为30秒执行一次。
3.根据权利要求1所述的一种基于Elasticsearch的数据同步方法，其特征在于，所述初始数据同步时段基于Elasticsearch数据插入索引后设置的刷新时间进行确定，具体为当前时间前五分钟的上一个五分钟时间段。
4.根据权利要求3所述的一种基于Elasticsearch的数据同步方法，其特征在于，所述步骤S2具体包括：
5.根据权利要求1所述的一种基于Elasticsearch的数据同步方法，其特征在于，所述步骤S3运行时数据同步时段具体为：在调度初始执行或上次执行之后目的端Elasticsearch有数据的情况下，将从目的端查询出最后数据的时间作为同步时间段的开始时间，在此基础上加上五分钟
6.根据权利要求5所述的一种基于Elasticsearch的数据同步方法，其特征在于，所述步骤S3具体包括：
7.根据权利要求5所述的一种基于Elasticsearch的数据同步方法，其特征在于，所述步骤S4还包括：若从源端查询出数据，但是在处理的过程中发现没有符合要求的数据要保存到目的端的Elasticsearch中，则将本次同步的结束时间写入到目的端的Elasticsearch中存储起来，作为下次同步时间段的开始时间。
...【技术特征摘要】
1.一种基于elasticsearch的数据同步方法，其特征在于，同步数据的源端和目的端都是elasticsearch，数据同步包括以下步骤：
2.根据权利要求1所述的一种基于elasticsearch的数据同步方法，其特征在于，所述步骤s1时间设定大于目的端elasticsearch所设定的刷新时间，数据同步任务设定为30秒执行一次。
3.根据权利要求1所述的一种基于elasticsearch的数据同步方法，其特征在于，所述初始数据同步时段基于elasticsearch数据插入索引后设置的刷新时间进行确定，具体为当前时间前五分钟的上一个五分钟时间段。
4.根据权利要求3所述的一种基于elasticsearch的数据同步方法，其特征在于，所述步骤s2具体包括：
5.根据权利要求1...
【专利技术属性】
技术研发人员：王金龙，田吉，李佳，刘彪，娄江南，李成，杨爽，牛建平，孙大臣，管春元，谢斌，焦质晔，滕训超，孙增强，
申请(专利权)人：启明信息技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。