数据写入方法、装置、计算机设备及可读存储介质制造方法及图纸

本发明专利技术公开了一种数据写入方法、装置、计算机设备及可读存储介质，属于数据处理技术领域。本发明专利技术的数据写入方法包括：加载配置信息到内存中；根据所述配置信息中的控制类配置确定待写入数据的写入策略；在所述写入策略为全量写入时，从第一数据库中获取第一业务方的数据，以及从第二数据库中获取第二业务方的数据；当获取到的第一业务方的数据和第二业务方的数据达到预设阈值时，则将所述第一业务方的数据和第二业务方的数据进行数据装载，并在完成数据装载之后，将所述第一业务方的数据和第二业务方的数据写入对应的集群中。本发明专利技术可以将业务数据快速接入ElasticSearch。

【技术实现步骤摘要】
数据写入方法、装置、计算机设备及可读存储介质
本专利技术涉及数据处理领域，尤其涉及一种数据写入方法、装置、计算机设备及可读存储介质。
技术介绍
随着现代社会科技的发展，在现今的IT系统中全文搜索已成为一个最常见的需求。其中，底层基于开源项目Lucene(全文搜索引擎)封装的Elasticsearch(搜索服务器)，具有分布式、可扩展性、实时的搜索与数据分析能力，它提供了RESTAPI的操作接口，它能从项目一开始就赋予你的数据以搜索、分析和探索的能力，是目前全文搜索引擎的首选。具体的，可以把Elasticsearch看做为一个文档型数据库，而Index(索引)定义了文档的逻辑存储和字段类型，每个Index可以包含多个DocumentType(分档类型)，而DocumentType是Document(文档)的集合。对于全文检索来说，索引是一个关键的过程，相当于关系数据库里面的存储过程，只有通过索引操作，才能对数据(Document)进行分析存储、创建倒排索引，从而让使用者查询到相关的Document信息。现有技术中，虽然通过Elas本文档来自技高网...

【技术保护点】
1.一种数据写入方法，其特征在于，包括：/n加载配置信息到内存中；/n根据所述配置信息中的控制类配置确定待写入数据的写入策略；/n在所述写入策略为全量写入时，从第一数据库中获取第一业务方的数据，以及从第二数据库中获取第二业务方的数据；/n当获取到的第一业务方的数据和第二业务方的数据达到预设阈值时，则将所述第一业务方的数据和第二业务方的数据进行数据装载，并在完成数据装载之后，将所述第一业务方的数据和第二业务方的数据写入对应的集群中。/n

【技术特征摘要】
1.一种数据写入方法，其特征在于，包括：
加载配置信息到内存中；
根据所述配置信息中的控制类配置确定待写入数据的写入策略；
在所述写入策略为全量写入时，从第一数据库中获取第一业务方的数据，以及从第二数据库中获取第二业务方的数据；
当获取到的第一业务方的数据和第二业务方的数据达到预设阈值时，则将所述第一业务方的数据和第二业务方的数据进行数据装载，并在完成数据装载之后，将所述第一业务方的数据和第二业务方的数据写入对应的集群中。


2.根据权利要求1所述的数据写入方法，其特征在于，所述写入策略包括全量写入以及增量写入，所述方法还包括：
在所述写入策略为所述增量写入时，从消息队列中获取第一业务方的数据，以及从所述第二数据库中获取第二业务方的数据。


3.根据权利要求1或2所述的数据写入方法，其特征在于，所述第一业务方的数据为评论数据，所述第二业务方的数据为稿件数据、专栏数据、活动数据以及漫画数据中的一种。


4.根据权利要求3所述的数据写入方法，其特征在于，所述评论数据包括所述第二业务方的标识，所述方法还包括：
根据所述评论数据中的业务方的标识过滤掉所述第一业务方的数据中业务方的标识不为预设标识的数据。


5.根据权利要求4所述的数据写入方法，其特征在于，所述方法还包括：
对获取到的第一业务方的数据进行数据格式转换；
所述从第二数据库中获取第二业务方的数据的步骤包括：
对格式转换后的各个数据进行遍历，并根据所述各个数据中的业务方的标识从对应的第二数据库中获取所述第二业务方的数据；
对获取到的第二业务方的...

【专利技术属性】
技术研发人员：管华新，戴之晨，
申请(专利权)人：上海哔哩哔哩科技有限公司，
类型：发明
国别省市：上海;31