一种数据处理方法、装置、系统及存储介质制造方法及图纸

本发明专利技术公开了一种数据处理方法、装置、系统及存储介质。该方法的步骤包括：收集服务设备的工作质量参数，并对工作质量参数进行分析生成状态信息；获取数据文件的文件热度信息，并根据文件热度信息计算数据文件的部署需求；根据状态信息选取符合部署需求的目标服务设备；将数据文件部署至目标服务设备。本方法根据服务设备的可用性，将数据文件准确的部署至相匹配服务设备中，进而能够相对确保服务设备提供数据文件的能力与用户对数据文件的访问需求一致。此外，本发明专利技术还提供一种数据处理装置、系统及存储介质，有益效果同上所述。

A data processing method, device, system and storage medium

The invention discloses a data processing method, a device, a system and a storage medium. The steps of this method include: collecting the working quality parameters of service equipment and analyzing the working quality parameters to generate the status information; obtaining the file heat information of data files and calculating the deployment requirements of data files according to the file heat information; selecting the target service equipment that meets the deployment requirements according to the status information; deploying the data files to the target service equipment. According to the availability of the service device, this method deploys the data file to the matching service device accurately, and then ensures that the ability of the service device to provide the data file is consistent with the user's access demand for the data file. In addition, the invention also provides a data processing device, a system and a storage medium, and the beneficial effect is the same as the above.

【技术实现步骤摘要】
一种数据处理方法、装置、系统及存储介质
本专利技术涉及云计算领域，特别是涉及一种数据处理方法、装置、系统及存储介质。
技术介绍
随着云计算的不断发展，基于CDN模式的云服务器架构在应用方面不断取得实质性的进展，当前基于CDN模式的云服务器架构主要的用途之一是根据用户的访问需求提供相应的数据文件。为了更进一步的增加CDN网络模式下数据节点的量级，当前基于CDN网络模式的服务设备构成的云服务器框架，逐渐成为当前的发展趋势。云服务器架构中，如何确保数据文件准确的部署至相匹配服务设备中，进而确保服务设备提供数据文件的能力与用户对数据文件的需求吻合，是当前本领域主要面临的问题。
技术实现思路
本专利技术的目的是提供一种数据处理方法、装置、系统及存储介质，以确保数据文件准确的部署至相匹配服务设备中，进而确保服务设备提供数据文件的能力与用户对数据文件的需求吻合。为解决上述技术问题，本专利技术提供一种数据处理方法，包括：收集服务设备的工作质量参数，并对工作质量参数进行分析生成状态信息；获取数据文件的文件热度信息，并根据文件热度信息计算数据文件的部署需求；根据状态信息选取符合部署需求的目标服务设备；将数据文件部署至目标服务设备。优选地，工作质量参数包括存活质量参数、TCP连接质量参数以及打洞质量参数；状态信息包括服务设备的服务状态信息以及文件部署状态信息。优选地，获取数据文件的文件热度信息，包括：接收用户设备实时传入的文件请求；统计文件请求，生成数据文件的文件热度信息。优选地，统计文件请求，包括：统计当前时刻以及当前时刻之前连续时长的文件请求。优选地，将数据文件部署至目标服务设备，包括：根据数据文件的受访问的优先级顺序将数据文件部署至目标服务设备。优选地，获取数据文件的文件热度信息，并根据文件热度信息计算数据文件的部署需求，包括：接收用户设备上报的数据文件的流量特征数据；流量特征数据包括数据文件的流量波动信息以及数据文件之间的关联性信息；将流量特征数据作为文件热度信息输入至预设的特征匹配部署模型，计算数据文件的部署需求。优选地，根据文件热度信息计算数据文件的部署需求，包括：根据文件热度信息以加权方式计算数据文件的部署需求。此外，本专利技术还提供一种数据处理装置，装置包括存储器、处理器和总线，存储器上存储有可由总线传输至处理器并在处理器上运行的数据处理程序，数据处理程序被处理器执行时实现如上述的数据处理方法。此外，本专利技术还提供一种数据处理系统，系统包括：状态统计单元，用于收集服务设备的工作质量参数，并对工作质量参数进行分析生成状态信息；需求计算单元，用于获取数据文件的文件热度信息，并根据文件热度信息计算数据文件的部署需求；设备选取模块，用于根据状态信息选取符合部署需求的目标服务设备；数据下发模块，用于将数据文件部署至目标服务设备。此外，本专利技术还提供一种计算机可读存储介质，计算机可读存储介质上存储有数据处理程序，数据处理程序可被一个或者多个处理器执行，以实现如上述的数据处理方法。本专利技术所提供的数据处理方法，首先收集服务设备的工作质量参数，进而对工作质量参数进行分析生成服务设备的状态信息，进而获取数据文件的文件热度信息，并根据文件热度信息计算该数据文件的部署需求，进而根据服务设备的状态信息选取符合部署需求的目标服务设备，并将数据文件部署至目标服务设备。由于本方法首先对服务设备的工作质量参数进行收集及分析，生成表征服务设备整体工况的状态信息，进而根据服务设备的状态信息选择能够进行数据文件部署的目标服务设备，并进行数据文件的部署，相当于根据服务设备的可用性，将数据文件准确的部署至相匹配服务设备中，进而能够相对确保服务设备提供数据文件的能力与用户对数据文件的访问需求一致。此外，本专利技术还提供一种数据处理装置、系统及存储介质，有益效果同上所述。附图说明为了更清楚地说明本专利技术实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的一种数据处理方法的流程图；图2为本专利技术实施例提供的另一种数据处理方法的流程图；图3为本专利技术实施例提供的另一种数据处理方法的流程图；图4为本专利技术实施例提供的一种具体场景下的调度部署系统的架构示意图；图5为本专利技术实施例提供的一种数据处理装置的结构图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本专利技术保护范围。云服务器架构中，如何确保数据文件准确的部署至相匹配服务设备中，进而确保服务设备提供数据文件的能力与用户对数据文件的需求吻合，是当前本领域主要面临的问题。本专利技术的核心是提供一种数据处理方法、装置、系统及存储介质，以确保数据文件准确的部署至相匹配服务设备中，进而确保服务设备提供数据文件的能力与用户对数据文件的需求吻合。为了使本
的人员更好地理解本专利技术方案，下面结合附图和具体实施方式对本专利技术作进一步的详细说明。图1为本专利技术实施例提供的一种数据处理方法的流程图。请参考图1，所述数据处理方法可以应用于CDN中的部署服务器，也可以应用于其他有部署功能的设备中。所述数据处理方法的具体步骤包括：步骤S10：收集服务设备的工作质量参数，并对工作质量参数进行分析生成状态信息。需要说明的是，本步骤中的服务设备指的是能够向用户设备提供数据文件服务的设备，具体的，所述服务设备可以为CDN的节点设备，能够存储部署服务器部署的数据文件，并能够将存储的数据文件传输至需要服务的用户端。所述服务设备可以包括玩客云、光猫、路由器、电视盒子、智能电视、IPFS矿机、网络附属存储(NAS)、个人电脑、和服务器等各类型的电子设备。由于服务设备本身硬件性能的不同决定着服务设备自身能够提供的数据文件的服务能力也有所不同，而本步骤收集服务设备的工作质量参数，目的是根据工作质量参数生成服务设备的工作状态信息进行，工作状态信息表征的是服务设备的工作性能。步骤S11：获取数据文件的文件热度信息，并根据文件热度信息计算数据文件的部署需求。本步骤的目的是获取数据文件的文件热度信息，进而根据文件热度信息计算需要对数据文件进行部署的数量，即数据文件的部署需求。本步骤中获取的文件热度信息可以为根据用户设备对于数据文件的访问而统计生成的访问量信息，文件热度信息表征的是用户设备对于数据文件的需求量，在服务设备中对文件需求量高的数据文件进行部署，能够相对确保用户设备对于服务设备中数本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n收集服务设备的工作质量参数，并对所述工作质量参数进行分析生成状态信息；/n获取数据文件的文件热度信息，并根据所述文件热度信息计算所述数据文件的部署需求；/n根据所述状态信息选取符合所述部署需求的目标服务设备；/n将所述数据文件部署至目标服务设备。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
收集服务设备的工作质量参数，并对所述工作质量参数进行分析生成状态信息；
获取数据文件的文件热度信息，并根据所述文件热度信息计算所述数据文件的部署需求；
根据所述状态信息选取符合所述部署需求的目标服务设备；
将所述数据文件部署至目标服务设备。


2.根据权利要求1所述的数据处理方法，其特征在于，所述工作质量参数包括存活质量参数、TCP连接质量参数以及打洞质量参数；
所述状态信息包括所述服务设备的服务状态信息以及文件部署状态信息。


3.根据权利要求1所述的数据处理方法，其特征在于，所述获取数据文件的文件热度信息，包括：
接收用户设备实时传入的文件请求；
统计所述文件请求，生成所述数据文件的文件热度信息。


4.根据权利要求3所述的数据处理方法，其特征在于，所述统计所述文件请求，包括：
统计当前时刻以及所述当前时刻之前连续时长的所述文件请求。


5.根据权利要求4所述的数据处理方法，其特征在于，所述将所述数据文件部署至目标服务设备，包括：
根据所述数据文件的受访问的优先级顺序将所述数据文件部署至所述目标服务设备。


6.根据权利要求1所述的数据处理方法，其特征在于，所述获取数据文件的文件热度信息，并根据所述文件热度信息计算所述数据文件的部署需求，包括：
接收用户设备上报的...

【专利技术属性】
技术研发人员：刘晓威，
申请(专利权)人：深圳市网心科技有限公司，
类型：发明
国别省市：广东;44