数据处理方法及装置制造方法及图纸

本申请提供数据处理方法及装置，其中所述数据处理方法包括：获取至少一个数据节点的目标数据；基于数据需求方的需求信息，确定针对所述目标数据的聚合策略，并基于所述聚合策略对所述目标数据进行第一次聚合；根据所述需求信息，确定聚合后的目标数据写入至预设存储组件的写入频率以及在所述预设存储组件中的存储时长；按照所述写入频率，将所述聚合后的目标数据写入预设存储组件，并将达到所述存储时长的目标数据从所述预设存储组件中删除。长的目标数据从所述预设存储组件中删除。长的目标数据从所述预设存储组件中删除。

【技术实现步骤摘要】
数据处理方法及装置


[0001]本申请涉及计算机
，特别涉及一种数据处理方法。本申请同时涉及一种数据处理装置，一种计算设备，以及一种计算机可读存储介质。

技术介绍

[0002]随着视频业务的发展，视频提供方为了提高对用户的视频观看体验，尽量减少用户在观看视频过程中出现的卡顿、花屏、掉线等情况，通常提前将直播的音视频数据推送到接近用户的CDN节点上，使得用户就近取得音视频数据，从而提升用户访问的速度和观看的稳定性，因此，需要及时获取CDN节点的状态数据，并对状态数据进行预处理，以便数据需求方可以基于处理后的状态数据确定CDN服务的稳定性，然而，由于CDN节点数量众多，采集数据的类型也众多，可能出现数据处理效率低下的问题。

技术实现思路

[0003]有鉴于此，本申请实施例提供了一种数据处理方法。本申请同时涉及一种数据处理装置，一种计算设备，以及一种计算机可读存储介质，以解决现有技术中存在的数据处理效率低下的缺陷。
[0004]根据本申请实施例的第一方面，提供了一种数据处理方法，包括：
[0005]获取至少一个数据节点的目标数据；
[0006]基于数据需求方的需求信息，确定针对所述目标数据的聚合策略，并基于所述聚合策略对所述目标数据进行聚合；
[0007]根据所述需求信息，确定聚合后的目标数据写入至预设存储组件的写入频率以及在所述预设存储组件中的存储时长；
[0008]按照所述写入频率，将所述聚合后的目标数据写入预设存储组件，并将达到所述存储时长的目标数据从所述预设存储组件中删除。
[0009]根据本申请实施例的第二方面，提供了一种数据处理装置，包括：
[0010]获取模块，被配置为获取至少一个数据节点的目标数据；
[0011]聚合模块，被配置为基于数据需求方的需求信息，确定针对所述目标数据的聚合策略，并基于所述聚合策略对所述目标数据进行聚合；
[0012]确定模块，被配置为根据所述需求信息，确定聚合后的目标数据写入至预设存储组件的写入频率以及在所述预设存储组件中的存储时长；
[0013]写入模块，被配置为按照所述写入频率，将所述聚合后的目标数据写入预设存储组件，并将达到所述存储时长的目标数据从所述预设存储组件中删除。
[0014]根据本申请实施例的第三方面，提供了一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，所述处理器执行所述计算机指令时实现所述数据处理方法的步骤。
[0015]根据本申请实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算
机指令，所述计算机指令被处理器执行时实现所述数据处理方法的步骤。
[0016]本申请提供的数据处理方法，在获取至少一个数据节点的目标数据的基础上，基于数据需求方的需求信息，确定针对所述目标数据的聚合策略，并基于所述聚合策略对所述目标数据进行聚合，实现了基于数据需求方的需求信息对数据进行聚合，并通过聚合实现了对数据的结构化处理，在聚合之后，根据所述需求信息，确定聚合后的目标数据写入至预设存储组件的写入频率以及在所述预设存储组件中的存储时长，并按照所述写入频率，将所述聚合后的目标数据写入预设存储组件，并将达到所述存储时长的目标数据从所述预设存储组件中删除，实现了对基于数据需求方的需求，调节对数据的写入频率以及存储时长，并通过对结构化数据进行写入以及存储，提高了数据处理效率。
附图说明
[0017]图1是本申请一实施例提供的一种数据处理方法的流程图；
[0018]图2是本申请一实施例提供的一种数据处理方法中的聚合后的数据示意图；
[0019]图3是本申请一实施例提供的一种数据处理方法的架构示意图；
[0020]图4是本申请一实施例提供的一种应用于直播场景的数据处理方法的处理流程图；
[0021]图5是本申请一实施例提供的一种应用于点播场景的数据处理方法的处理流程图；
[0022]图6是本申请一实施例提供的一种数据处理装置的结构示意图；
[0023]图7是本申请一实施例提供的一种计算设备的结构框图。
具体实施方式
[0024]在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
[0025]在本申请一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请一个或多个实施例。在本申请一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本申请一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0026]应当理解，尽管在本申请一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
[0027]首先，对本申请一个或多个实施例涉及的名词术语进行解释。
[0028]CDN(Content Delivery Network，内容分发网络)：是构建在现有网络基础之上的智能虚拟网络，依靠部署在各地的边缘服务器，通过中心平台的负载均衡、内容分发、调度等功能模块，使用户就近获取所需内容，降低网络拥塞，提高用户访问响应速度和命中率。
CDN的关键技术主要有内容存储和分发技术。
[0029]CDN节点：处于网络边缘(不同地域如省份、城市)的分发内容的服务器节点。用于进行内容存储，位于用户接入点，是面向最终用户的内容提供设备，可缓存静态Web内容和流媒体内容，实现内容的边缘传播和存储，以便用户的就近访问。
[0030]ICMP(Internet Control Message Protocol，因特网控制报文协议)：是TCP/IP协议簇的一个子协议，用于在IP主机、路由器之间传递控制消息。其中，控制消息是指网络通不通、主机是否可达、路由是否可用等网络本身的消息。
[0031]SNMP(Simple Network Management Protocol，简单网络管理协议)：是用于在IP网络管理网络节点(服务器、工作站、路由器、交换机等)的一种标准协议，它是一种应用层协议。可以用于采集节点流量以计算带宽。
[0032]HTTP(Hypertext Transfer Protocol，超文本传输协议)：是一个简单的请求
‑
响应协议，它通常运行在TCP之上。它指定了客户端可能发送给服务器什么样的消息以及得到什么本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取至少一个数据节点的目标数据；基于数据需求方的需求信息，确定针对所述目标数据的聚合策略，并基于所述聚合策略对所述目标数据进行聚合；根据所述需求信息，确定聚合后的目标数据写入至预设存储组件的写入频率以及在所述预设存储组件中的存储时长；按照所述写入频率，将所述聚合后的目标数据写入预设存储组件，并将达到所述存储时长的目标数据从所述预设存储组件中删除。2.根据权利要求1所述的数据处理方法，其特征在于，所述基于数据需求方的需求信息，确定针对所述目标数据的聚合策略，并基于所述聚合策略对所述目标数据进行聚合，包括：基于数据需求方的需求信息中的需求数据信息，从所述目标数据中提取数据类型以及所述数据节点的节点信息；根据所述数据节点的节点信息或所述数据类型，对所述目标数据进行第一次聚合。3.根据权利要求2所述的数据处理方法，其特征在于，所述根据所述数据节点的节点信息或所述数据类型，对所述目标数据进行第一次聚合之后，还包括：根据预设数据量和/或预设聚合周期，对第一次聚合后的目标数据进行第二次聚合。4.根据权利要求2所述的数据处理方法，其特征在于，所述根据所述数据节点的节点信息或所述数据类型，对所述目标数据进行第一次聚合之后，还包括：确定当前设备的性能数据；根据所述性能数据和/或所述需求信息，确定第一次聚合后的目标数据的第二次聚合规则；基于所述第二次聚合规则，对所述第一次聚合后的目标数据进行第二次聚合。5.根据权利要求1所述的数据处理方法，其特征在于，所述根据所述需求信息，确定聚合后的目标数据写入至预设存储组件的写入频率以及在所述预设存储组件中的存储时长，包括：根据所述需求信息中的需求时间信息、需求数据类型和/或需求场景信息，确定聚合后的目标数据写入至预设存储组件的写入频率以及在所述预设存储组件中的存储时长。6.根据权利要求1
‑
5任意一项所述的数据处理方法，其特征在于，所述数据节点包括：内容...

【专利技术属性】
技术研发人员：李朝辉，廖大达，朱翔，
申请(专利权)人：上海哔哩哔哩科技有限公司，
类型：发明
国别省市：