数据同步方法及装置制造方法及图纸

本申请涉及一种数据同步方法及装置。属于计算机技术领域，所述方法包括：通过高频词汇库，确定获取的各组待同步数据对应的特征数据，并根据各组待同步数据对应的特征数据，确定各组待同步数据对应的优先级，根据各组待同步数据对应的优先级，将各组待同步数据划分到至少两个队列中，并同时对各队列中的待同步数据进行数据同步处理。本方法提高了具有优先级的待同步数据写入速率，缩小了具有优先级的数据写入ElasticSearch的速率与数据从数据源读的速率的差距，进而提高了具有优先级的待同步数据的同步效率，可满足时效性较高场景的要求。求。求。

【技术实现步骤摘要】
数据同步方法及装置


[0001]本申请涉及计算机
，特别是涉及一种数据同步方法及装置。

技术介绍

[0002]ElasticSearch是一个实时的分布式存储、搜索、分析的引擎，可应用于文本检索和日志分析等搜索场景。
[0003]目前随着ElasticSearch搜索引擎的快速发展，在海量数据场景下，数据从数据源读的速率和数据写入ElasticSearch的速率是不对称的，数据写入ElasticSearch的速率远小于数据从数据源读的速率，无法满足时效性较高的场景的要求。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种能够提高数据写入速率的数据同步方法及装置。
[0005]第一方面，本申请提供了一种数据同步方法。该方法包括：
[0006]获取至少一组待同步数据；
[0007]根据高频词汇库，确定各组待同步数据对应的特征数据；
[0008]根据各组待同步数据对应的特征数据，确定各组待同步数据对应的优先级；
[0009]根据各组待同步数据对应的优先级，将各组待本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据同步方法，其特征在于，所述方法包括：获取至少一组待同步数据；根据高频词汇库，确定各组待同步数据对应的特征数据；根据所述各组待同步数据对应的特征数据，确定所述各组待同步数据对应的优先级；根据所述各组待同步数据对应的优先级，将所述各组待同步数据划分到至少两个队列中，并同时对各队列中的待同步数据进行数据同步处理。2.根据权利要求1所述的方法，其特征在于，所述根据各组待同步数据对应的特征数据，确定各组待同步数据对应的优先级，包括：通过优先级确定模型，根据各组待同步数据对应的特征数据，确定各组待同步数据对应的优先级。3.根据权利要求1所述的方法，其特征在于，所述根据各组待同步数据对应的优先级，将各组待同步数据划分到至少两个队列中，并同时对各队列中的待同步数据进行数据同步处理，包括：根据各组待同步数据对应的优先级，对各组待同步数据进行序列化处理，得到各组序列化同步结果；将各组序列化同步结果划分到至少两个队列中，并同时对各队列中的各组序列化同步结果进行数据同步处理。4.根据权利要求3所述的方法，其特征在于，所述根据各组待同步数据对应的优先级，对各组待同步数据进行序列化处理，得到各组序列化同步结果，包括：对各组待同步数据进行压缩处理，得到各组压缩数据；根据各组待同步数据对应的优先级，为各组压缩数据添加优先级标签；对添加有优先级标签的各组压缩数据进行序列化处理，得到各组序列化同步结果。5.根据权利要求1所述的方法，其特征在于，所述根据高频词...

【专利技术属性】
技术研发人员：刘斌，葛志伟，
申请(专利权)人：企查查科技有限公司，
类型：发明
国别省市：