数据收集分发方法及装置制造方法及图纸

本发明专利技术实施例提供一种数据收集分发方法及装置，属于数据处理领域。该方法通过获取多个数据源，然后获取所述多个数据源的优先级，再基于所述多个数据源的优先级将所述多个数据源分为多个队列，基于所述多个数据源的不同的数据分类将每个队列分为多个子队列，然后基于每个队列的优先级及每个子队列的优先级，对所述多个数据源进行发送，因此，本方案中将数据源分为不同的多个队列及多个子队列，根据多个队列和多个子队列的优先级对数据源进行发送，由此提高了数据源的有效处理，避免了因数据量过大而无法对数据源进行及时有效的处理的问题。

【技术实现步骤摘要】
数据收集分发方法及装置
本专利技术涉及数据处理领域，具体而言，涉及一种数据收集分发方法及装置。
技术介绍
随着云计算、大数据技术的发展，数据的来源多样，数据格式不尽相同，运用大数据技术从海量数据中获取潜在的有用信息已得到了各方面的广泛关注。在全球化的数据系统中同时存在着日志数据的中转和汇总、分发等。现有技术中对数据的收集和分发未有一个有效的方式，一般都是通过提升设备的性能来加快数据的传输，但是在数据量巨大的情况下，还是无法保证数据能有效的传输，因此，如何有效的收集、分发不同来源的数据，从而保证数据及时有效地处理，越来越受到重视。
技术实现思路
有鉴于此，本专利技术实施例的目的在于提供一种数据收集分发方法及装置，以改善上述技术问题。第一方面，本专利技术实施例提供了一种数据收集分发方法，所述方法包括：获取多个数据源；获取所述多个数据源的优先级；基于所述多个数据源的优先级将所述多个数据源分为多个队列；基于所述多个数据源的不同的数据分类将每个队列分为多个子队列；基于每个队列的优先级及每个子队列的优先级，对所述多个数据源进行发送。进一步地，获取所述多个数据源的优先级，包括：判断所述多个数据源中是否携带有优先级标签；若是，则从所述多个数据源中获取所述多个数据源的优先级；若否，则为未携带有所述优先级标签的数据源按照预设规则分配对应的优先级。进一步地，基于所述多个数据源的优先级将所述多个数据源分为多个队列，包括：将具有相同优先级的数据源分为同一个队列，以获得多个队列。进一步地，基于所述多个数据源的不同的数据分类将每个队列分为多个子队列，包括：将所述同一个队列中的数据源按照不同的数据类型分为多个子队列；或者将所述同一个队列中的数据源按照不同的数据主题分为多个子队列；或者将所述同一个队列中的数据源按照不同的数据源IP分为多个子队列。进一步地，基于所述多个数据源的不同的数据分类将每个队列分为多个子队列之后，基于每个队列的优先级及每个子队列的优先级，对所述多个数据源进行发送之前，所述方法还包括：为每个子队列分配对应的CPU资源及内存资源；基于每个子队列的CPU资源及内存资源确定每个子队列的优先级。第二方面，本专利技术实施例提供了一种数据收集分发装置，所述装置包括：数据获取模块，用于获取多个数据源；优先级获取模块，用于获取所述多个数据源的优先级；队列划分模块，用于基于所述多个数据源的优先级将所述多个数据源分为多个队列；子队列划分模块，用于基于所述多个数据源的不同的数据分类将每个队列分为多个子队列；数据发送模块，用于基于每个队列的优先级及每个子队列的优先级，对所述多个数据源进行发送。进一步地，所述优先级获取模块，具体用于判断所述多个数据源中是否携带有优先级标签；若是，则从所述多个数据源中获取所述多个数据源的优先级；若否，则为未携带有所述优先级标签的数据源按照预设规则分配对应的优先级。进一步地，所述队列划分模块，用于将具有相同优先级的数据源分为同一个队列，以获得多个队列。进一步地，所述子队列划分模块，用于将所述同一个队列中的数据源按照不同的数据类型分为多个子队列；或者将所述同一个队列中的数据源按照不同的数据主题分为多个子队列；或者将所述同一个队列中的数据源按照不同的数据源IP分为多个子队列。进一步地，所述装置还包括：资源分配模块，用于为每个子队列分配对应的CPU资源及内存资源；基于每个子队列的CPU资源及内存资源确定每个子队列的优先级。第三方面，本专利技术实施例提供一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上述第一方面提供的所述方法中的步骤。第四方面，本专利技术实施例提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如上述第一方面提供的所述方法中的步骤。本专利技术实施例的有益效果是：本专利技术实施例提供一种数据收集分发方法及装置，该方法通过获取多个数据源，然后获取所述多个数据源的优先级，再基于所述多个数据源的优先级将所述多个数据源分为多个队列，基于所述多个数据源的不同的数据分类将每个队列分为多个子队列，然后基于每个队列的优先级及每个子队列的优先级，对所述多个数据源进行发送，因此，本方案中将数据源分为不同的多个队列及多个子队列，根据多个队列和多个子队列的优先级对数据源进行发送，由此提高了数据源的有效处理，避免了因数据量过大而无法对数据源进行及时有效的处理的问题。本专利技术的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术实施例了解。本专利技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1示出了一种可应用于本申请实施例中的电子设备的结构框图；图2为本专利技术实施例提供的一种数据收集分发方法的流程图；图3为本专利技术实施例提供的一种数据收集分发装置的结构框图。具体实施方式下面将结合本专利技术实施例中附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本专利技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本专利技术的实施例的详细描述并非旨在限制要求保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施例。基于本专利技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本专利技术的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。请参照图1，图1示出了一种可应用于本申请实施例中的电子设备100的结构框图。电子设备100可以包括数据收集分发装置、存储器101、存储控制器102、处理器103、外设接口104、输入输出单元105、音频单元106、显示单元107。所述存储器101、存储控制器102、处理器103、外设接口104、输入输出单元105、音频单元106、显示单元107各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述数据收集分发装置包括至少一个可以软件或固件(firmware)的形式存储于所述存储器101中或固化在所述数据收集分发装置的操作系统(operatingsystem，OS)中的软件功能模块。所述处理器103用于执行存储器101中存储的可执行模块，例如所述数据收集分发装置包括的软件功能模块或计算机程序。其中，存储器101可以是，但不限于，随机存取存储器(RandomAccessMemory，RAM)，只读存储器(ReadOnlyMemory，ROM)，可编程只读存储器(ProgrammableRead-OnlyMemory本文档来自技高网...

【技术保护点】
1.一种数据收集分发方法，其特征在于，所述方法包括：获取多个数据源；获取所述多个数据源的优先级；基于所述多个数据源的优先级将所述多个数据源分为多个队列；基于所述多个数据源的不同的数据分类将每个队列分为多个子队列；基于每个队列的优先级及每个子队列的优先级，对所述多个数据源进行发送。

【技术特征摘要】
1.一种数据收集分发方法，其特征在于，所述方法包括：获取多个数据源；获取所述多个数据源的优先级；基于所述多个数据源的优先级将所述多个数据源分为多个队列；基于所述多个数据源的不同的数据分类将每个队列分为多个子队列；基于每个队列的优先级及每个子队列的优先级，对所述多个数据源进行发送。2.根据权利要求1所述的方法，其特征在于，获取所述多个数据源的优先级，包括：判断所述多个数据源中是否携带有优先级标签；若是，则从所述多个数据源中获取所述多个数据源的优先级；若否，则为未携带有所述优先级标签的数据源按照预设规则分配对应的优先级。3.根据权利要求1所述的方法，其特征在于，基于所述多个数据源的优先级将所述多个数据源分为多个队列，包括：将具有相同优先级的数据源分为同一个队列，以获得多个队列。4.根据权利要求3所述的方法，其特征在于，基于所述多个数据源的不同的数据分类将每个队列分为多个子队列，包括：将所述同一个队列中的数据源按照不同的数据类型分为多个子队列；或者将所述同一个队列中的数据源按照不同的数据主题分为多个子队列；或者将所述同一个队列中的数据源按照不同的数据源IP分为多个子队列。5.根据权利要求1所述的方法，其特征在于，基于所述多个数据源的不同的数据分类将每个队列分为多个子队列之后，基于每个队列的优先级及每个子队列的优先级，对所述多个数据源进行发送之前，所述方法还包括：为每个子队列分配对应的CPU资源及内存资源；基于...

【专利技术属性】
技术研发人员：侯云飞，
申请(专利权)人：北京木瓜移动科技股份有限公司，
类型：发明
国别省市：北京,11