【技术实现步骤摘要】
本专利技术涉及计算机，尤其涉及一种数据处理的方法和装置。
技术介绍
1、目前，在线分析处理系统(online analytical processing，olap)是对海量数据进行实时、多维度、快速分析的技术。olap的存储格式是列式存储，一批数据中每个列存储为一个数据文件。列式存储的优势是写入吞吐量高、查询局部列扫描数据少、利于向量化计算，同时压缩率高。但是在较多业务场景中，往往同时存在点写入、点查询和批量写入、范围查询这四种情况，因此行存和列存同时使用。olap难以满足需求。
2、现有的解决方式是采用多模独立存储技术，通过多个应用程序编程接口(application programming interface，api)及对应的多种存储模型实现不同存储方式下的数据存储，但是该方法中，不同模型无法进行自动切换，模型之间的数据也无法实现自动转换，数据处理的效率低。
技术实现思路
1、有鉴于此，本专利技术实施例提供一种数据处理的方法，能够通过分片下的不同节点实现对数据采用不同方式的存储，提高数据存储效率。
2、为实现上述目的，根据本专利技术实施例的第一方面，提供了一种数据处理的方法，包括：
3、对接收的数据写入请求进行解析，得到写入命令和写入数据；
4、基于所述写入命令和所述写入数据，生成目标日志；
5、将所述目标日志存储在当前的主节点数据库和其它节点，所述当前的主节点和所述其它节点为同一分片下的节点；
6、按照预
7、向所述其它节点发送提交请求，以用于所述其它节点基于所述提交请求，按照预先设置的每个节点的存储方式存储所述目标日志中的数据。
8、可选地，所述基于所述写入命令和所述写入数据，生成目标日志，包括：
9、基于所述写入命令和所述写入数据，生成目标日志序号；
10、将所述写入命令，所述写入数据和所述目标日志序号打包，得到目标日志。
11、可选地，所述将所述目标日志存储在当前的主节点数据库和其它节点，所述当前的主节点和所述其它节点为同一分片下的节点，包括：
12、将所述目标日志存储在所述当前的主节点的日志存储系统；
13、将所述目标日志发送至所述其它节点，以用于所述其它节点将所述目标日志存储在本节点的日志存储系统。
14、可选地，所述按照预设的所述当前的主节点的存储方式存储所述目标日志中的数据之前，所述方法还包括：
15、当接收到所述分片下大于预设数量的节点的日志存储成功信息时，将所述目标日志提交至所述当前的主节点对应的多模混存库。
16、可选地，所述向所述其它节点发送提交请求，以用于所述其它节点基于所述提交请求，按照预先设置的每个节点的存储方式存储所述目标日志中的数据，包括：
17、向所述其它节点发送提交请求，以用于所述其它节点将所述目标日志提交至对应的多模混存库，并按照预先设置的存储方式在所述对应的多模混存库中存储所述目标日志中的数据。
18、可选地，所述目标日志中的数据为对所述目标日志进行解析得到的数据。
19、可选地，所述主节点为基于所述分片内节点的投票结果确定的节点。
20、可选地，所述方法还包括：
21、当所述主节点为故障节点时，接收所述其它节点中的非故障节点发送的待更新日志，所述待更新日志为所述故障节点落后于所述非故障节点的日志；
22、当所述其它节点为故障节点时，向所述其它节点发送待更新日志，以用于所述其它节点基于所述待更新日志更新存储的历史日志，并基于更新的存储的历史日志存储更新数据。
23、可选地，所述方法还包括：
24、接收客户端查询请求，向所述其它节点中的非故障节点发送所述查询请求，以用于所述其它节点中的非故障节点基于所述查询请求的类型确定对应的日志中的数据；
25、当所述查询请求的类型与所述当前主节点的存储方式相同时，获取存储的目标日志中的数据；
26、接收所述其它节点中的非故障节点发送的所述对应的日志中的数据；
27、向客户端发送所述目标日志中的数据和所述对应的日志中的数据的合并数据。
28、根据本专利技术实施例的第二方面，提供一种数据处理系统，包括至少一个分片，每个分片包括一个主节点和至少一个从节点；其中每个分片内，
29、所述主节点用于：对接收的数据写入请求进行解析，得到写入命令和写入数据；基于所述写入命令和所述写入数据，生成目标日志；将所述目标日志存储在当前的主节点数据库和其它节点；按照预设的所述当前的主节点的存储方式存储所述目标日志中的数据；向所述至少一个从节点发送提交请求；
30、所述至少一个从节点用于：基于接收的所述主节点发送的提交请求，按照预先设置的所述至少一个从节点的存储方式，存储所述目标日志中的数据。
31、可选地，所述系统还包括：
32、负载均衡，用于：对接收的客户端请求的语法进行解析；当得到所述客户端请求为数据写入请求的解析结果时，根据预设规则确定所述至少一个分片中的目标分片；向所述目标分片的主节点转发所述数据写入请求。
33、根据本专利技术实施例的第三方面，提供一种数据处理的装置，包括：
34、解析模块，用于对接收的数据写入请求进行解析，得到写入命令和写入数据；
35、生成模块，用于基于所述写入命令和所述写入数据，生成目标日志；
36、存储模块，用于将所述目标日志存储在当前的主节点数据库和其它节点，所述当前的主节点和所述其它节点为同一分片下的节点；按照预设的所述当前的主节点的存储方式存储所述目标日志中的数据；
37、发送模块，用于向所述其它节点发送提交请求，以用于所述其它节点基于所述提交请求，按照预先设置的每个节点的存储方式存储所述目标日志中的数据。
38、根据本专利技术实施例的第四方面，提供一种电子设备，包括：
39、一个或多个处理器；存储装置，用于存储一个或多个程序，
40、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本专利技术实施例第一方面提供的方法。
41、根据本专利技术实施例的第五方面，提供一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本专利技术实施例第一方面提供的方法。
42、上述专利技术中的一个实施例具有如下优点或有益效果：基于接收的数据写入请求生成目标日志，将目标日志存储在主节点和其它节点，以用于主节点和其它节点按照预设的存储方式存储目标日志中的数据，实现统一分片下不同节点采用不同方式存储数据，提高数据的存储效率，便于后续进行数据查询操作。
43、上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
本文档来自技高网...【技术保护点】
1.一种数据处理的方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述写入命令和所述写入数据，生成目标日志，包括：
3.根据权利要求1所述的方法，其特征在于，所述将所述目标日志存储在当前的主节点数据库和其它节点，所述当前的主节点和所述其它节点为同一分片下的节点，包括：
4.根据权利要求3所述的方法，其特征在于，所述按照预设的所述当前的主节点的存储方式存储所述目标日志中的数据之前，所述方法还包括：
5.根据权利要求3所述的方法，其特征在于，所述向所述其它节点发送提交请求，以用于所述其它节点基于所述提交请求，按照预先设置的每个节点的存储方式存储所述目标日志中的数据，包括：
6.根据权利要求5所述的方法，其特征在于，所述目标日志中的数据为对所述目标日志进行解析得到的数据。
7.根据权利要求2-6任一项所述的方法，其特征在于，所述主节点为基于所述分片内节点的投票结果确定的节点。
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
9.根据权利要求1所述的方法
10.一种数据处理系统，其特征在于，包括至少一个分片，每个分片包括一个主节点和至少一个从节点；其中每个分片内，
11.根据权利要求10所述的系统，其特征在于，所述系统还包括：
12.一种数据处理的装置，其特征在于，包括：
13.一种电子设备，其特征在于，包括：
14.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-9中任一所述的方法。
...【技术特征摘要】
1.一种数据处理的方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述写入命令和所述写入数据，生成目标日志，包括：
3.根据权利要求1所述的方法，其特征在于，所述将所述目标日志存储在当前的主节点数据库和其它节点，所述当前的主节点和所述其它节点为同一分片下的节点，包括：
4.根据权利要求3所述的方法，其特征在于，所述按照预设的所述当前的主节点的存储方式存储所述目标日志中的数据之前，所述方法还包括：
5.根据权利要求3所述的方法，其特征在于，所述向所述其它节点发送提交请求，以用于所述其它节点基于所述提交请求，按照预先设置的每个节点的存储方式存储所述目标日志中的数据，包括：
6.根据权利要求5所述的方法，其特征在于，所述目标日志中的数据为对所述...
【专利技术属性】
技术研发人员：李海波，陈红月，
申请(专利权)人：北京沃东天骏信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。