一种数据处理的方法、设备及存储介质技术

本申请实施例公开了一种数据处理的方法、设备及存储介质，基于调度决策策略合理地对数据存储进行扩容或缩容，并相应的增加或减少数据存储配置，减少存储成本，并基于调度决策决策确定数据路由表，能够基于数据路由表动态地转到不同的数据存储器，从不同的数据存储器获取访问资源，减少数据存储装置的存储内存，避免了资源冗余和浪费，及时地响应上层业务对数据的访问需求并提供稳定的业务服务。前述的数据处理的方法包括：获取目标业务状态；对目标业务状态进行数据资源调度处理，以得到调度决策策略；基于调度决策策略确定数据路由表；向数据存储装置发送数据路由表，以使得数据存储装置基于数据路由表确定与目标业务状态相匹配的访问资源。

【技术实现步骤摘要】
一种数据处理的方法、设备及存储介质
本申请实施例涉及计算机
，具体涉及一种数据处理的方法、设备及存储介质。
技术介绍
数据存储作为底层的基础建设，在分层架构的基础上，该数据存储能够与上层业务解耦，便于水平扩展和独立升级维护。目前，传统的做法是在分层架构的基础上，基于线上响应的历史使用情况，例如请求峰值、平均耗时等数据，通过迁移、扩容、缩容等动态调整该上层业务所需要的配置资源。然而，采用目前的方式来处理个性化的B端(又称为：企业用户商家)业务需求时，由于B端业务的个性化的业务需求、突发紧急情况的响应、需求变化具有随机性以及需求变化浮动剧烈等业务特点，使得基于历史使用情况的处理方式虽然在一定程度上改善资源浪费和响应延迟的问题，但是由于分层架构的设计缘故，使得底层的数据存储无法感知上层业务的业务需求，从而导致底层的数据存储为了满足上层业务对数据的访问需求，存在大量资源的冗余和浪费，并且难以提供稳定的业务服务。
技术实现思路
本申请实施例提供了一种数据处理的方法、设备及存储介质，基于调度决策策略将使用频繁的数据存储进行扩容并增加相应的数据存储配置，而对于不频繁使用的数据存储则进行缩容并降低数据存储配置，减少了存储成本，另外基于调度决策决策确定数据路由表，能够基于数据路由表动态地转到不同的数据存储器上，从而从不同的数据存储器中获取访问资源，减少数据存储装置的存储内存，避免了资源的冗余和浪费，及时地响应上层业务对数据的访问需求并提供稳定的业务服务。有鉴于此，本申请实施例提供如下方案：r>第一方面，本申请实施例提供一种数据处理的方法，该方法可以包括：获取目标业务状态；对所述目标业务状态进行数据资源调度处理，以得到调度决策策略；基于所述调度决策策略确定数据路由表；向数据存储装置发送所述数据路由表，以使得所述数据存储装置基于所述数据路由表确定与所述目标业务状态相匹配的访问资源。第二方面，本申请实施例提供了一种数据处理的方法，该方法可以包括：收自适应调度装置发送的数据路由表，所述数据路由表由所述自适应调度装置基于对目标业务状态进行数据资源调度处理后得到的调度决策策略确定；基于所述数据路由表确定与所述目标业务状态相匹配的访问资源。第三方面，本申请实施例提供一种自适应调度装置，该自适应调度装置可以包括：获取单元，用于获取目标业务状态；处理单元，用于对所述目标业务状态进行数据资源调度处理，以得到调度决策策略；确定单元，用于根据所述调度决策策略确定数据路由表；发送单元，用于向数据存储装置发送所述数据路由表，以使得所述数据存储装置基于所述数据路由表确定与所述目标业务状态相匹配的访问资源。可选地，结合上述第三方面，在第一种可能的实现方式中，所述目标业务状态包括业务计划状态、业务启动状态、业务进行状态或业务完成状态。可选地，结合上述第三方面第一种可能的实现方式，在第二种可能的实现方式中，所述确定单元，还用于在获取目标业务状态之后，确定所述业务计划状态的第一优先级、所述业务启动状态的第二优先级、所述业务进行状态的第三优先级或所述业务完成状态的第四优先级，其中，所述第三优先级大于所述第二优先级，所述第二优先级大于所述第一优先级，所述第一优先级大于所述第四优先级，所述第一优先级用于指示所述业务计划状态对于所述调度决策策略的优先级需求，所述第二优先级用于指示所述业务启动状态对于所述调度决策策略的优先级需求，所述第三优先级用于指示所述业务进行状态对于所述调度决策策略的优先级需求，所述第四优先级用于指示所述业务完成状态对于所述调度决策策略的优先级需求。可选地，结合上述第三方面、及第三方面第一种至第二种可能的实现方式，在第三种可能的实现方式中，所述处理单元，包括：分解模块，用于对所述目标业务状态进行分解，得到业务存储需求信息；确定模块，用于根据所述业务存储需求信息确定调度决策策略。可选地，结合上述第三方面、以及第三方面第三种可能的实现方式，在第四种可能的实现方式中，所述确定模块，用于通过访问量预估模型或空间预估模型对所述目标业务状态进行处理，以计算数据存储位置和数据复制数量；所述确定模块，用于通过所述访问量预估模型或时间预估模型对所述目标业务状态进行处理，以计算数据迁移时间和数据上线时间；所述确定模块，用于确定数据存储位置、数据复制数量、数据迁移时间和数据上线时间为业务存储需求信息。第四方面，本申请实施例提供一种数据存储装置，该数据存储装置包括：接收单元，用于接收自适应调度装置发送的数据路由表，所述数据路由表由所述自适应调度装置基于对目标业务状态进行数据资源调度处理后得到的调度决策策略确定；确定单元，用于基于所述数据路由表确定与所述目标业务状态相匹配的访问资源。第五方面，本申请实施例提供一种计算机设备，该计算机设备包括：包括：输入/输出(I/O)接口、处理器和存储器，存储器中存储有程序指令；处理器用于执行存储器中存储的程序指令，以用于实现如上述第一方面、第二方面、第一方面任意一种以及第二方面任意一种可能实现方式的方法。本申请第六方面提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机可执行指令，计算机可执行指令用于执行如第一方面、第二方面、第一方面任意一种以及第二方面任意一种可能实现方式的方法。本申请实施例的第七方面提供了一种包含指令的计算机程序产品，当其在计算机或处理器上运行时，使得计算机或处理器执行上述任一方面的方法。从以上技术方案可以看出，本申请实施例具有以下优点：本申请实施例中，自适应调度装置基于对目标业务状态进行数据资源调度处理得到调度决策策略后，能够基于该调度决策策略确定出数据路由表，并想数据存储装置发送数据路由表，使得数据存储装置基于该数据路由表确定与目标业务状态相匹配的访问资源。实施例中，基于调度决策策略将使用频繁的数据存储进行扩容并增加相应的数据存储配置，而对于不频繁使用的数据存储则进行缩容并降低数据存储配置，减少了存储成本，另外基于调度决策决策确定数据路由表，能够基于数据路由表动态地转到不同的数据存储器上，从而从不同的数据存储器中获取访问资源，减少数据存储装置的存储内存，避免了资源的冗余和浪费，及时地响应上层业务对数据的访问需求并提供稳定的业务服务。附图说明为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例。图1是本申请实施例提供的数据处理系统的一个架构示意图；图2是本申请实施例提供的数据处理的方法的一个实施例示意图；图3是本申请实施例中提供的一种数据资源调度处理的处理流程图；图4是本申请实施例中提供的数据路由表的示意图；图5是本申请实施例中提供的一个数据处理流程图；图6是本申请实施例中提供的自适应调度装置的一个实施例本文档来自技高网...

【技术保护点】
1.一种数据处理的方法，其特征在于，包括：/n获取目标业务状态；/n对所述目标业务状态进行数据资源调度处理，以得到调度决策策略；/n基于所述调度决策策略确定数据路由表；/n向数据存储装置发送所述数据路由表，以使得所述数据存储装置基于所述数据路由表确定与所述目标业务状态相匹配的访问资源。/n

【技术特征摘要】
1.一种数据处理的方法，其特征在于，包括：
获取目标业务状态；
对所述目标业务状态进行数据资源调度处理，以得到调度决策策略；
基于所述调度决策策略确定数据路由表；
向数据存储装置发送所述数据路由表，以使得所述数据存储装置基于所述数据路由表确定与所述目标业务状态相匹配的访问资源。


2.根据权利要求1所述的方法，其特征在于，所述目标业务状态包括业务计划状态、业务启动状态、业务进行状态或业务完成状态。


3.根据权利要求2所述的方法，其特征在于，在获取目标业务状态之后，所述方法还包括：
确定所述业务计划状态的第一优先级、所述业务启动状态的第二优先级、所述业务进行状态的第三优先级或所述业务完成状态的第四优先级，其中，所述第三优先级大于所述第二优先级，所述第二优先级大于所述第一优先级，所述第一优先级大于所述第四优先级，所述第一优先级用于指示所述业务计划状态对于所述调度决策策略的优先级需求，所述第二优先级用于指示所述业务启动状态对于所述调度决策策略的优先级需求，所述第三优先级用于指示所述业务进行状态对于所述调度决策策略的优先级需求，所述第四优先级用于指示所述业务完成状态对于所述调度决策策略的优先级需求。


4.根据权利要求1-3中任一所述的方法，其特征在于，所述对所述目标业务状态进行数据资源调度处理，以得到调度决策策略，包括：
对所述目标业务状态进行分解，得到业务存储需求信息；
基于所述业务存储需求信息确定调度决策策略。


5.根据权利要求4所述的方法，其特征在于，对所述目标业务状态进行分解，得到业务存储需求信息，包括：
通过访问量预估模型或空间预估模型对所述目标业务状态进行处理，以计算数据存储位置和数据复制数量；
通...

【专利技术属性】
技术研发人员：李亮，陈西，蔡光欣，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44