一种海量数据的处理方法和装置制造方法及图纸

本申请提供一种海量数据的处理方法和装置。该方法包括：当数据的流入速度大于数据的处理速度时，确定超出处理速度的待处理数据的优先级；将待处理数据的关键数据保存至与其优先级对应的泄洪文件中，关键数据包括对待处理数据进行处理所需要的数据；当触发恢复操作时，从恢复操作指定的优先级对应的泄洪文件中获取保存的关键数据；对关键数据进行处理，以实现对对应待处理数据的处理。本申请设备在数据量暴涨时，将无法及时处理的待处理数据的关键数据保存到与其优先级对应的泄洪文件中，以缓解设备的处理压力，避免设备崩溃。当数据量正常时，可以有选择性的触发面向不同优先级泄洪文件的恢复操作，最终确保数据的一致性，且成本低廉。

【技术实现步骤摘要】
一种海量数据的处理方法和装置
本申请涉及通信
，尤其涉及一种海量数据的处理方法和装置。
技术介绍
随着互联网技术的快速发展，越来越多的业务可以通过网络实现。当大量业务集中爆发时，比如：“双十一”、“双十二”等，服务提供商的部署的各种设备就会面临巨大的处理压力，如何应对这种瞬时或短期内数据量的暴涨已成为亟待解决的问题。
技术实现思路
有鉴于此，本申请提供一种海量数据的处理方法和装置。具体地，本申请是通过如下技术方案实现的：一种海量数据的处理方法，所述方法包括：当数据的流入速度大于数据的处理速度时，确定超出所述处理速度的待处理数据的优先级；将所述待处理数据的关键数据保存至与所述优先级对应的泄洪文件中，所述关键数据包括对所述待处理数据进行处理所需要的数据；当触发恢复操作时，从恢复操作指定的优先级对应的泄洪文件中获取保存的关键数据；对所述关键数据进行处理，以实现对对应待处理数据的处理。一种海量数据的处理装置，所述装置包括：确定单元，当数据的流入速度大于数据的处理速度时，确定超出所述处理速度的待处理数据的优先级；保存单元，将所述待处理数据的关键数据保存至与所述优先级对应的泄洪文件中，所述关键数据包括对所述待处理数据进行处理所需要的数据；获取单元，当触发恢复操作时，从恢复操作指定的优先级对应的泄洪文件中获取保存的关键数据；处理单元，对所述关键数据进行处理，以实现对对应待处理数据的处理。由以上描述可以看出，本申请设备可以在数据量暴涨时，可将设备无法及时处理的待处理数据的关键数据保存到与其优先级对应的泄洪文件中，以缓解设备的处理压力，避免设备崩溃。当数据量正常时，可以有选择性的触发面向不同优先级泄洪文件的恢复操作，最终确保数据的一致性，且成本低廉。附图说明图1是本申请一示例性实施例示出的一种海量数据的处理方法的流程示意图。图2是本申请一示例性实施例示出的一种用于海量数据处理的系统架构图。图3是本申请一示例性实施例示出的一种用于海量数据的处理装置的一结构示意图。图4是本申请一示例性实施例示出的一种海量数据的处理装置的框图。具体实施方式这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。相关技术中，当数据量暴涨时，为避免系统阻塞或者崩溃，通常采用以下解决方案：方案一，当数据量暴涨时，设备不再从上游数据源处获取数据，等到设备中待处理的数据处理完毕后，再从上游数据源处获取数据并进行处理。然而，采用这样的处理方案，设备会基于接收顺序对待处理的数据进行处理，这就会导致后续重要的数据迟迟得不到处理，并且设备有崩溃的风险。方案二，当数据量暴涨时，将单位时间内入队列中无法处理的后接收到的数据丢弃，从而确保设备满负荷正常运行。在这样的处理方案中，虽然可以确保设备稳定运行，但丢弃的数据无法找回，无法确保数据的一致性。方案三，硬件扩容，从而提升设备的处理性能。然而，扩容成本较大，当出现问题时进行扩容，耗时又较长。方案四，当数据量暴涨时，设备处于停止运行状态，待高峰期过去后，设备再重启运行并跳过这段时间的数据，由另一个辅助应用来处理停运期间的数据，从而补全。然而，在这样的实现方式中，停运期间的设备完全不可用，这往往是不能接受的。针对上述问题，本申请提供一种海量数据的处理方案，以解决短期内数据量暴涨所带来的问题。图1是本申请一示例性实施例示出的一种海量数据的处理方法的流程示意图。请参考图1，所述海量数据的处理方法可以应用在服务提供商后台部署的各种设备中，比如：计算设备、解析设备等，本申请对此不作特殊限制。所述海量数据的处理方法可以包括以下步骤：步骤101，当数据的流入速度大于数据的处理速度时，确定超出所述处理速度的待处理数据的优先级。在一个例子中，所述数据的处理速度可以由管理员预先进行设置，比如：管理员可以根据设备的处理性能设置所述处理速度。举例来说，假设设备出厂时厂商公布的处理性能为10万数据/秒，则管理员可以将所述数据的处理速度设置为8万数据/秒。在另一个例子中，所述数据的处理速度也可以是设备实际的处理速度，比如：设备可以每秒钟检测一下数据的真实处理速度，然后将该真实处理速度作为下一秒的所述处理速度以进行后续判断。在本实施例中，可以以秒为单位进行流入速度与处理速度的对比，也可以以其他时长为单位进行对比，本申请对此不作特殊限制。假设，所述数据的处理速度由管理员预设，为8万数据/秒，则设备可以检测数据的流入速度是否大于8万数据/秒，即可以每隔1秒检测这1秒钟内流入的数据是否大于8万，如果大于8万，则可以确定当前数据的流入速度大于数据的处理速度。有假设这1秒内流入的数据为10万，则后流入的2万数据为超出所述处理速度的待处理数据。在本实施例中，当检测到数据的流入速度大于数据的处理速度时，可以确定超出所述处理速度的待处理数据的优先级。可选的，针对每个超出所述处理速度的待处理数据，可以先识别该待处理数据的业务类型，然后将根据所述业务类型的优先级确定为所述待处理数据的优先级。具体地，各业务类型的优先级可以由管理员预先设置，比如：可以将交易类数据的优先级设置为最高优先级，将监控类数据的优先级设置为最低优先级等。针对每个超出所述处理速度的待处理数据，可以先从所述待处理数据中解析出业务标识以确定其业务类型，然后查询该业务类型的优先级以确定所述待处理数据的优先级。当然，在实际应用中，也可以采用其他方式确定所述待处理数据的优先级，比如：根据所述待处理数据的源IP地址确定其优先级等。步骤102，将所述待处理数据的关键数据保存至与所述优先级对应的泄洪文件中，所述关键数据包括对所述待处理数据进行处理所需要的数据。在本实施例中，所述关键数据可以就是所述待处理数据，所述关键数据也可以是对所述待处理数据进行整理之后的数据，所述关键数据中包括对所述待处理数据进行处理所需要的数据即可，本申请对此不作特殊限制。在本实施例中，所述泄洪文件可以位于在本设备中，所述泄洪文件也可以位于在其他的设备中。所述泄洪文件有多个，分别与不同的优先级对应。举例来说，假设超出处理速度的待处理数据的优先级有三级，分别为优先级1、优先级2以及优先级3，则所述泄洪文件也可以有三个，优先级分别为：优先级1、优先级2以及优先级3。在本步骤中，可以将待处本文档来自技高网...

【技术保护点】
一种海量数据的处理方法，其特征在于，所述方法包括：当数据的流入速度大于数据的处理速度时，确定超出所述处理速度的待处理数据的优先级；将所述待处理数据的关键数据保存至与所述优先级对应的泄洪文件中，所述关键数据包括对所述待处理数据进行处理所需要的数据；当触发恢复操作时，从恢复操作指定的优先级对应的泄洪文件中获取保存的关键数据；对所述关键数据进行处理，以实现对对应待处理数据的处理。

【技术特征摘要】
1.一种海量数据的处理方法，其特征在于，所述方法包括：当数据的流入速度大于数据的处理速度时，确定超出所述处理速度的待处理数据的优先级；将所述待处理数据的关键数据保存至与所述优先级对应的泄洪文件中，所述关键数据包括对所述待处理数据进行处理所需要的数据；当触发恢复操作时，从恢复操作指定的优先级对应的泄洪文件中获取保存的关键数据；对所述关键数据进行处理，以实现对对应待处理数据的处理。2.根据权利要求1所述的方法，其特征在于，所述确定超出所述处理速度的待处理数据的优先级，包括：识别所述待处理数据的业务类型；将所述业务类型的优先级确定为所述待处理数据的优先级。3.根据权利要求1所述的方法，其特征在于，当数据入队列的饱和度小于预设的阈值时，确定触发面向优先级最高的泄洪文件的恢复操作。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据预设的规则生成监控日志，所述监控日志用于向管理员告警数据的流入速度大于数据的处理速度；在接收到管理员发送的恢复指令时，确定触发恢复操作，所述恢复指令中携带有指定的优先级。5.根据权利要求1所述的方法，其特征在于，所述待处理数据包括：业务数据和数据来源；所述将所述待处理数据的关键数据保存至与所述优先级对应的泄洪文件中，包括：根据所述数据来源确定所述待处理数据的处理规则标识；将所述待处理数据的业务数据和所述处理规则标识作为所述关键数据保存至与所述优先级对应的泄洪文件中。6.根据权利要求1所述的方法，其特征在于，所述方法还包括：当触发恢复操作后，如果再次确认数据的流入速度大于数据的处理速度，则停止恢复操作。7....

【专利技术属性】
技术研发人员：何凯，程磊，许溢天，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY