用于电信中的可扩缩分布式网络业务分析的方法技术

用于执行分布式数据聚合的示例性方法包括接收只来自网络的第一部分的互联网协议（IP）业务。所述方法还包括利用大数据工具生成来自网络的第一部分的IP业务的概要，其中来自网络的第二部分的IP业务的概要由第二网络装置利用它的本地大数据工具生成。所述方法包括将网络的第一部分的IP业务的概要发送给第三网络装置，以使得第三网络装置利用它的本地大数据工具基于从第一和第二网络装置接收的概要生成网络的第一和第二部分的IP业务的概要，从而允许以分布式方式表征网络中的IP业务。

【技术实现步骤摘要】
【国外来华专利技术】相关申请的交叉引用本申请主张2014年1月22日申请的美国临时申请号61/930295的权益，该美国临时申请由此以引用的方式并入本文。
本专利技术的实施例涉及分组网络的领域；更具体来说，涉及在分布式网络体系结构中利用大数据工具进行网络业务聚合。
技术介绍
在电信领域中，连续不断地以非常高的速度从大量节点（例如，消费型装置、路由器、服务器、基站等）生成网络业务。如本文中所使用，电信领域是指互联网服务提供商（ISP）的联网领域。网络业务分析对于理解网络的行为以及优化网络和应用的性能都是基本和关键的。网络业务分析在标识对网络的攻击和允许网络管理员采取合适的安全措施中也起着重要的作用。为了应对高容量的高速业务数据，可在电信领域中应用大数据技术来帮助发展网络业务分析。如本文中所使用，大数据技术/分许是指处理/表征大数据（即，高容量、高速且多品种的数据）的技术。但是，当前的大数据技术主要起源于互联网领域。如本文中所使用，互联网领域是指诸如Google、Yahoo、Facebook、Twitter等的内容提供商的联网领域。这些内容提供商在集中式数据中心中聚合和处理人为生成的内容。由于电信和互联网领域中的数据属性之间存在根本差别，所以那些技术对于电信领域来说是次优的。维持网络的正常操作是电信领域中最关心的问题。运行数据分析不应使网络操作降级、扰乱网络操作、或危害网络操作。将所有业务数据上载到少数几个集中式数据中心本身需要显著的网络资源。这种规模的数据聚合会危害网络的利用。在电信领域中，是机器而不是个人用户以非常高的速度自动且连续地生成数据。为了增加实际价值，如果不能更快的话，那么数据收集和分析必须至少能够跟上数据生成。这种规模的集中式数据处理会造成长时间滞后，由此会使得分析结果无关痛痒，例如在检测蠕虫和DDoS攻击时。
技术实现思路
利用大数据工具以分布式方式聚合互联网协议（IP）业务的示例性方法包括在网络中通信地耦合到第二网络装置的第一网络装置，其中第一和第二网络装置通信地耦合到第三网络装置。根据一个实施例，由第一网络装置执行的示例性方法包括接收只来自网络的第一部分的IP业务，其中来自网络的第二部分的IP业务由第二网络装置接收。在一个实施例中，所述方法包括利用大数据工具生成来自网络的第一部分的IP业务的概要，其中来自网络的第二部分的IP业务的概要由第二网络装置利用它的本地大数据工具生成。在至少一个实施例中，所述方法包括将网络的第一部分的IP业务的概要发送到第三网络装置，以使得第三网络装置利用它的本地大数据工具基于来自第一网络装置的概要和来自第二网络装置的概要生成网络的第一和第二部分的IP业务的概要，从而允许在第一、第二和第三网络装置之间以分布式方式表征网络中的IP业务。在一个实施例中，生成来自网络的第一部分的IP业务的概要包括：对于IP业务的每个IP数据，从接收的IP数据存取字段集合。生成概要还包括：基于来自字段集合的一个或多个字段确定密钥字段；以及基于来自字段集合的一个或多个字段确定值字段。在本专利技术的一个方面中，生成来自网络的第一部分的IP业务的概要还包括：基于密钥字段将IP数据的集合分区成多个群组，以使得每个群组包括唯一密钥（unique key）和来自具有相同密钥字段的一个或多个IP数据的一个或多个值。在至少一个实施例中，生成来自网络的第一部分的IP业务的概要还包括：对于每个群组，聚合多个值以便生成聚合值，其中聚合值指示由对应密钥字段的值字段指示的多个唯一值。利用大数据工具以分布式方式聚合互联网协议（IP）业务的示例性方法包括在网络中通信地耦合到第二网络装置和第三网络装置的第一网络装置。根据一个实施例，由第一网络装置执行的示例性方法包括从第二网络装置接收网络的第一部分的互联网协议（IP）业务的概要，其中网络的第一部分的IP业务的概要由第二网络装置利用它的本地大数据工具生成。在一个实施例中，所述方法包括从第三网络装置接收网络的第二部分的IP业务的概要，其中网络的第二部分的IP业务的概要由第三网络装置利用它的本地大数据工具生成。在本专利技术的一个方面中，所述方法还包括：利用大数据工具基于来自第二网络装置的概要和来自第三网络装置的概要生成网络的第一和第二部分的IP业务的概要，从而允许在第一、第二和第三网络装置之间以分布式方式表征网络中的IP业务。在一个实施例中，所述方法包括将网络的第一和第二部分的IP业务的概要提供给用户，以使得用户可以确定所述网络中是否存在异常。附图说明附图的各图中举例而非限制性地示出本专利技术的实施例，图中类似参考数字指示类似元素。图1是示出在集中式数据中心聚合数据的常规网络的框图。图2是示出根据一个实施例在分布式体系结构中聚合数据的网络的框图。图3是示出根据一个实施例用于聚合数据的数据处理单元模块的框图。图4是示出根据一个实施例用于聚合数据的方法的流程图。图5是示出根据一个实施例用于聚合数据的方法的流程图。图6A是示出根据一个实施例用于聚合数据的伪代码的图。图6B是示出根据一个实施例用于聚合数据的伪代码的图。图7A是示出根据一个实施例用于聚合数据的伪代码的图。图7B是示出根据一个实施例用于聚合数据的伪代码的图。图8A是示出根据一个实施例用于聚合数据的伪代码的图。图8B是示出根据一个实施例用于聚合数据的伪代码的图。图9A是示出根据一个实施例用于聚合数据的伪代码的图。图9B是示出根据一个实施例用于聚合数据的伪代码的图。图10A是示出根据一个实施例用于聚合数据的伪代码的图。图10B是示出根据一个实施例用于聚合数据的伪代码的图。图11是示出用于将分析从集中式网络映射到DPU的分布式网络的一般设计模式的框图。图12是示出可与本专利技术的一个实施例一起使用的数据处理系统的示例的框图。具体实施方式在以下描述中，阐述了众多具体细节，例如逻辑实现、操作码、用于指定操作数的部件、资源分区/共享/复制实现、系统组件的类型和相互关系、以及逻辑分区/集成选择，以便更充分地理解本专利技术。但是，本领域技术人员将明白，没有这些具体细节也可实践本专利技术。在其它情况下，没有详细示出控制结构、门级电路和全软件指令序列，以免使本专利技术模糊。借助于包含的描述，本领域技术人员将能够在无需过多试验的情况下实现合适的功能性。本说明书中提到“一个实施例”、“实施例”、“示例实施例”等时表示，所描述的实施例可包括特定特征、结构或特性，但不是每个实施例都一定包含该特定特征、结构或特性。而且，这些短语不一定指相同实施例。此外，当结合一个实施例描述特定特征、结构或特性时，认为本领域技术人员知道结合其它实施例实现该特征、结构或特性，而不管是否有明确描述。在以下描述和权利要求书中，可使用术语“耦合”和“连接”及其派生词。应理解，这些术语不是要彼此同义的。“耦合”用于指示两个或两个以上元件彼此共同协作或交互，这两个或两个以上元件可以或者可以不彼此直接物理或电接触。“连接”用于指示在彼此耦合的两个或两个以上元件之间建立通信。本专利技术的不同实施例可利用软件、固件和/或硬件的不同组合来实现。因此，图中示出的技术可利用在一个或多个电子装置（例如，端站、网络装置）上存储和执行的代码和数据来实现。这些电子装置利用计算机可读介质存储并（在内部和/或通过网络与其它电子装本文档来自技高网...

【技术保护点】
一种在网络中的第一网络装置（230）中的方法，所述网络包括通信地耦合到第三网络装置（234）的所述第一网络装置（230）和第二网络装置（231），所述方法用于通过利用大数据工具（310）以分布式方式聚合所述网络中的互联网协议（IP）业务，所述方法包括：接收只来自所述网络的第一部分（210）的IP业务，其中来自所述网络的第二部分（211）的IP业务由所述第二网络装置（231）接收；利用大数据工具（310）生成来自所述网络的所述第一部分的IP业务的概要，其中来自所述网络的第二部分的IP业务的概要由所述第二网络装置利用它的本地大数据工具生成；将所述网络的所述第一部分的IP业务的概要发送到所述第三网络装置（234），使得所述第三网络装置利用它的本地大数据工具（310）基于来自所述第一网络装置的概要和来自所述第二网络装置的概要生成所述网络的所述第一和第二部分的IP业务的概要，从而允许在所述第一、第二和第三网络装置之间以分布式方式聚合所述网络中的IP业务。

【技术特征摘要】
【国外来华专利技术】2014.01.22 US 61/930295;2014.02.07 US 14/1751221. 一种在网络中的第一网络装置（230）中的方法，所述网络包括通信地耦合到第三网络装置（234）的所述第一网络装置（230）和第二网络装置（231），所述方法用于通过利用大数据工具（310）以分布式方式聚合所述网络中的互联网协议（IP）业务，所述方法包括：接收只来自所述网络的第一部分（210）的IP业务，其中来自所述网络的第二部分（211）的IP业务由所述第二网络装置（231）接收；利用大数据工具（310）生成来自所述网络的所述第一部分的IP业务的概要，其中来自所述网络的第二部分的IP业务的概要由所述第二网络装置利用它的本地大数据工具生成；将所述网络的所述第一部分的IP业务的概要发送到所述第三网络装置（234），使得所述第三网络装置利用它的本地大数据工具（310）基于来自所述第一网络装置的概要和来自所述第二网络装置的概要生成所述网络的所述第一和第二部分的IP业务的概要，从而允许在所述第一、第二和第三网络装置之间以分布式方式聚合所述网络中的IP业务。2. 如权利要求1所述的方法，其中生成来自所述网络的所述第一部分的IP业务的概要包括：对于所述IP业务的每个IP数据，从所述接收的IP数据存取字段集合；基于来自所述字段集合的一个或多个字段确定密钥字段；以及基于来自所述字段集合的一个或多个字段确定值字段。3. 如权利要求2所述的方法，其中生成来自所述网络的所述第一部分的IP业务的概要还包括：基于所述密钥字段将所述字段集合分区成多个群组，以使得每个群组包括唯一密钥字段和来自具有相同密钥字段的一个或多个IP数据的一个或多个值字段。4. 如权利要求3所述的方法，其中生成来自所述网络的所述第一部分的IP业务的概要还包括：对于每个群组，聚合所述值字段以便生成聚合值，其中所述聚合值指示由所述对应密钥字段的所述值字段指示的多个唯一值。5. 如权利要求3所述的方法，其中生成来自所述网络的所述第一部分的IP业务的概要还包括：对于每个群组，聚合所述值字段以便生成聚合值，其中所述聚合值指示由所述对应密钥字段的所述值字段指示的值的总和。6. 如权利要求3所述的方法，其中生成来自所述网络的所述第一部分的IP业务的概要还包括：对于每个群组，聚合所述值字段以便生成聚合值，其中所述聚合值指示由所述对应密钥字段的所述值字段指示的值的最大值。7. 如权利要求3所述的方法，其中生成来自所述网络的所述第一部分的IP业务的概要还包括：对于每个群组，聚合所述值字段以便生成聚合值，其中所述聚合值指示由所述对应密钥字段的所述值字段指示的值的最小值。8. 如权利要求3所述的方法，其中生成来自所述网络的所述第一部分的IP业务的概要还包括：对于每个群组，聚合所述值字段以便生成聚合值，其中所述聚合值指示由所述对应密钥字段的所述值字段指示的值的平均值。9. 如权利要求1所述的方法，其中所述第一、第二和第三网络装置在地理上是分散的。10. 如权利要求1所述的方法，其中所述第一、第二和第三网络装置的所述大数据工具是Hadoop和Spark之一。11. 如权利要求1所述的方法，其中基于通信成本确定分别由所述第一和第二网络装置处理的所述网络的所述第一和第二部分。12. 一种在网络中的第一网络装置（234）中的方法，所述网络包括通信地耦合到第二网络装置（230）和第三网络装置（231）的所述第一网络装置，所述方法用于通过利用大数据工具（310）以分布式方式聚合所述网络中的互联网协议（IP）业务，所述方法包括：从所述第二网络装置（230）接收所述网络的第一部分（210）的IP业务的概要，其中所述网络的所述第一部分的IP业务的概要由所述第二网络装置利用它的本地大数据工具（310）生成；从所述第三网络装置（231）接收所述网络的第二部分（211）的IP业务的概要，其中所述网络的所述第二部分的IP业务的概要由所述第三网络装置利用它的本地大数据工具（310）生成；利用大数据工具（310）基于来自所述第二网络装置的概要和来自所述第三网络装置的概要生成所述网络的所述第一（210）和第二部分（211）的IP业务的概要，从而允许在所述第一、第二和第三网络装置之间以分布式方式聚合所述网络中的IP业务；以及将所述网络的所述第一和第二部分的IP业务的概要提供给用户，以使得所述用户可以确定所述网络中是否存在异常。13. 如权利要求12所述的方法，其中所述第一、第二和第三网络装置处的所述大数据工具是Hadoop和Spark之一。14. 一种在网络中的第一网络装置（230），所述网络包括通信地耦合到第...

【专利技术属性】
技术研发人员：D李，张颖，
申请(专利权)人：瑞典爱立信有限公司，
类型：发明
国别省市：瑞典;SE