一种分布式系统的数据处理方法和装置制造方法及图纸

本公开涉及一种分布式系统的数据处理方法和装置。该方法包括：接收数据处理请求；确定所述数据处理请求的请求类型；将所述数据处理请求发送至与所述请求类型对应的数据处理节点。本公开可以隔离不同请求类型的数据处理请求对应的数据处理节点，避免不同请求类型的数据处理请求之间的相互影响。

【技术实现步骤摘要】
一种分布式系统的数据处理方法和装置
本公开涉及计算机
，尤其涉及一种分布式系统的数据处理方法和装置。
技术介绍
基于分布式数据库进行数据处理时，由于不同数据处理请求面向的业务类型、调用频率、延迟要求，以及需要占用的资源大小等可能均不相同。例如，面向在线业务的实时查询，调用频次高，要求延迟低并且稳定；面向离线业务的复杂分析，调用频次低，对延迟要求不高。目前，基于分布式数据库进行数据处理时，对不同数据请求进行数据处理时可能会相互干扰，导致影响前端业务正常运行。因此，亟需一种有效的分布式系统的数据处理方法。
技术实现思路
有鉴于此，本公开提出了一种分布式系统的数据处理方法和装置，使得可以隔离不同请求类型的数据处理请求对应的数据处理节点，避免不同请求类型的数据处理请求之间的相互影响。根据本公开的第一方面，提供了一种分布式系统的数据处理方法，包括：接收数据处理请求；确定所述数据处理请求的请求类型；将所述数据处理请求发送至与所述请求类型对应的数据处理节点。在一种可能的实现方式中，所述请求类型包括：OLTP类型和OLAP类型；将所述数据处理请求发送至与所述请求类型对应的数据处理节点，包括：当所述请求类型为OLTP类型时，将所述数据处理请求发送至第一类数据处理节点；当所述请求类型为OLAP类型时，将所述数据处理请求发送至第二类数据处理节点。在一种可能的实现方式中，所述方法还包括：在将所述数据处理请求发送至所述第一类数据处理节点以后，所述第一类数据处理节点响应所述数据处理请求，基于分布式共享存储数据库执行OLTP操作；在将所述数据处理请求发送至所述第二类数据处理节点以后，所述第二类数据处理节点响应所述数据处理请求，通过读取所述分布式共享存储数据库中的数据，执行OLAP操作。在一种可能的实现方式中，所述数据处理请求为数据写入请求，所述数据写入请求的请求类型为OLTP类型；在将所述数据处理请求发送至所述第一类数据处理节点以后，所述第一类数据处理节点响应所述数据处理请求，基于分布式共享存储数据库执行OLTP操作，包括：在将所述数据写入请求发送至所述第一类数据处理节点以后，所述第一类数据处理节点响应所述数据写入请求，将与所述数据写入请求对应的数据写入所述分布式共享存储数据库。在一种可能的实现方式中，所述数据处理请求为实时查询请求，所述实时查询请求的请求类型为OLTP类型；在将所述数据处理请求发送至所述第一类数据处理节点以后，所述第一类数据处理节点响应所述数据处理请求，基于分布式共享存储数据库执行OLTP操作，包括：在将所述实时查询请求发送至所述第一类数据处理节点以后，所述第一类数据处理节点响应所述实时查询请求，在所述分布式共享存储数据库中读取与所述实时查询请求对应的数据。在一种可能的实现方式中，所述数据处理请求为数据分析请求，所述数据分析请求的请求类型为OLAP类型；在将所述数据处理请求发送至所述第二类数据处理节点以后，所述第二类数据处理节点响应所述数据处理请求，通过读取所述分布式共享存储数据库中的数据，执行OLAP操作，包括：在将所述数据分析请求发送至所述第二类数据处理节点以后，所述第二类数据处理节点响应所述数据分析请求，在所述分布式共享存储数据库中读取与所述数据分析请求对应的数据，对读取到的数据进行数据分析处理。在一种可能的实现方式中，所述方法还包括：当待处理的OLAP类型的数据处理请求大于第一数目时，新增第二数目的第二类数据处理节点。在一种可能的实现方式中，所述方法还包括：当所述待处理的OLAP类型的数据处理请求处理完成时，删除新增的所述第二数目的第二类数据处理节点。在一种可能的实现方式中，确定所述数据处理请求的请求类型，包括：确定所述数据处理请求的处理优先级；根据所述处理优先级，确定所述请求类型。根据本公开的第二方面，提供了一种分布式系统的数据处理装置，包括：接收模块，用于接收数据处理请求；确定模块，用于确定所述数据处理请求的请求类型；发送模块，用于将所述数据处理请求发送至与所述请求类型对应的数据处理节点。在一种可能的实现方式中，所述请求类型包括：OLTP类型和OLAP类型；所述发送模块具体用于：当所述请求类型为OLTP类型时，将所述数据处理请求发送至第一类数据处理节点；当所述请求类型为OLAP类型时，将所述数据处理请求发送至第二类数据处理节点。在一种可能的实现方式中，所述第一类数据处理节点，用于在接收到所述数据处理请求以后，响应所述数据处理请求，基于分布式共享存储数据库执行OLTP操作；所述第二类数据处理节点，用于在接收到所述数据处理请求以后，响应所述数据处理请求，通过读取所述分布式共享存储数据库中的数据，执行OLAP操作。在一种可能的实现方式中，所述数据处理请求为数据写入请求，所述数据写入请求的请求类型为OLTP类型；所述第一类数据处理节点具体用于：在将所述数据写入请求发送至所述第一类数据处理节点以后，控制所述第一类数据处理节点响应所述数据写入请求，将与所述数据写入请求对应的数据写入所述分布式共享存储数据库。在一种可能的实现方式中，所述数据处理请求为实时查询请求，所述实时查询请求的请求类型为OLTP类型；所述第一类数据处理节点模块具体用于：在接收到所述数据实时查询请求以后，响应所述实时查询请求，在所述分布式共享存储数据库中读取与所述实时查询请求对应的数据。在一种可能的实现方式中，所述数据处理请求为数据分析请求，所述数据分析请求的请求类型为OLAP类型；所述第二类数据处理节点具体用于：在接收到所述数据分析请求以后，响应所述数据分析请求，在所述分布式共享存储数据库中读取与所述数据分析请求对应的数据，对读取到的数据进行数据分析。在一种可能的实现方式中，所述装置还包括：节点扩展模块，用于当待处理的OLAP类型的数据处理请求大于第一数目时，新增第二数目的第二类数据处理节点。在一种可能的实现方式中，所述节点扩展模块，还用于当所述待处理的OLAP类型的数据处理请求处理完成时，删除新增的所述第二数目的第二类数据处理节点。在一种可能的实现方式中，所述确定模块包括：第一确定子模块，用于确定所述数据处理请求的处理优先级；第二确定子模块，用于根据所述处理优先级，确定所述请求类型。根据本公开的第三方面，提供了一种分布式系统的数据处理装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行上述第一方面所述的分布式系统的数据处理方法。根据本公开的第四方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现上述第一方面所述的分布式系统的数据处理方法。根据本公开的第五方面，提供了一种分布式系统的数据处理系统，包括：前端机、第一类数据处理节点、第二类数据处理节点和分布式共享存储数据库；所述前端机，用于接收数据处理请求，确定所述数据处理请求的请求类型，以及将所述数据处理请求发送至与所述请求类型对应的数据处理节点；所述第一类数据处本文档来自技高网...

【技术保护点】
1.一种分布式系统的数据处理方法，其特征在于，所述方法包括：/n接收数据处理请求；/n确定所述数据处理请求的请求类型；/n将所述数据处理请求发送至与所述请求类型对应的数据处理节点。/n

【技术特征摘要】
1.一种分布式系统的数据处理方法，其特征在于，所述方法包括：
接收数据处理请求；
确定所述数据处理请求的请求类型；
将所述数据处理请求发送至与所述请求类型对应的数据处理节点。


2.根据权利要求1所述的方法，其特征在于，所述请求类型包括：联机事务处理OLTP类型和联机分析处理OLAP类型；
将所述数据处理请求发送至与所述请求类型对应的数据处理节点，包括：
当所述请求类型为OLTP类型时，将所述数据处理请求发送至第一类数据处理节点；
当所述请求类型为OLAP类型时，将所述数据处理请求发送至第二类数据处理节点。


3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
在将所述数据处理请求发送至所述第一类数据处理节点以后，所述第一类数据处理节点响应所述数据处理请求，基于分布式共享存储数据库执行OLTP操作；
在将所述数据处理请求发送至所述第二类数据处理节点以后，所述第二类数据处理节点响应所述数据处理请求，通过读取所述分布式共享存储数据库中的数据，执行OLAP操作。


4.根据权利要求3所述的方法，其特征在于，所述数据处理请求为数据写入请求，所述数据写入请求的请求类型为OLTP类型；
在将所述数据处理请求发送至所述第一类数据处理节点以后，所述第一类数据处理节点响应所述数据处理请求，基于分布式共享存储数据库执行OLTP操作，包括：
在将所述数据写入请求发送至所述第一类数据处理节点以后，所述第一类数据处理节点响应所述数据写入请求，将与所述数据写入请求对应的数据写入所述分布式共享存储数据库。


5.根据权利要求3所述的方法，其特征在于，所述数据处理请求为实时查询请求，所述实时查询请求的请求类型为OLTP类型；
在将所述数据处理请求发送至所述第一类数据处理节点以后，所述第一类数据处理节点响应所述数据处理请求，基于分布式共享存储数据库执行OLTP操作，包括：
在将所述实时查询请求发送至所述第一类数据处理节点以后，所述第一类数据处理节点响应所述实时查询请求，在所述分布式共享存储数据库中读取与所述实时查询请求对应的数据。


6.根据权利要求3所述的方法，其特征在于，所述数据处理请求为数据分析请求，所述数据分析请求的请求类型为OLAP类型；
在将所述数据处理请求发送至所述第二类数据处理节点以后，所述第二类数据处理节点响应所述数据处理请求，通过读取所述分布式共享存储数据库中的数据，执行OLAP操作，包括：
在将所述数据分析请求发送至所述第二类数据处理节点以后，所述第二类数据处理节点响应所述数据分析请求，在所述分布式共享存储数据库中读取与所述数据分析请求对应的数据，对读取到的数据进行数据分析处理。


7.根据权利要求3所述的方法，其特征在于，所述方法还包括：
当待处理的OLAP类型的数据处理请求大于第一数目时，新增第二数目的第二类数据处理节点。


8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
当所述待处理的OLAP类型的数据处理请求处理完成时，删除新增的所述第二数目的第二类数据处理节点。


9.根据权利要求1所述的方法，其特征在于，确定所述数据处理请求的请求类型，包括：
确定所述数据处理请求的处理优先级；
根据所述处理优先级，确定所述请求类型。


10.一种分布式系统的数据处理装置，其特征在于，包括：
接收模块，用于接收数据处理请求；
确定模块，用于确定所述数据处理请求的请求类型；
发送模块，用于将所述数据处理请求发送至与所述请求类型对应的数据处理节点...

【专利技术属性】
技术研发人员：王怀远，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY