用于低延迟数据存取的数据流分割制造技术

在本文中公开了一种通过分割数据流促进并且加速日志数据处理的技术。前端集群实时生成大量日志数据并且将日志数据传送至聚合集群。聚合集群被设计成聚合来自不同的前端服务器和集群的到来的日志数据流。聚合集群进一步将日志数据分割成多个数据流以便数据流被并行发送至接收应用。在一个实施方式中，随机分割日志数据以确保日志数据被均匀分布在分割数据流中。在另一个实施方式中，接收分割数据流的应用确定如何分割日志数据。

【技术实现步骤摘要】
【国外来华专利技术】【专利说明】用于低延迟数据存取的数据流分割相关申请的交叉引用本申请要求于2013年I月31日提交的美国专利申请号13/756，340的优先权，通过引用将其全部内容结合于此。
本专利技术总体涉及数据获取和处理系统，并且具体地涉及能够将数据分割成多个数据流的数据获取和处理系统。
技术介绍
计算机和网络计算的发展引起了需要大量数据存储的应用。例如，数千万用户可以创建网页并且将图像和文本上传到社交媒体网站中。因此，社交媒体网站每天可能累积大量数据，因此，需要一种用于存储和处理数据的高度可扩展的系统(scalable system)。存在促进这样的大量数据存储的多种工具。这些社交媒体网站的前端集群监测用户活动并且基于社交媒体用户的活动产生日志数据。前端集群将日志数据传输至集中存储文件管理器或数据仓库。集中存储文件管理器或数据仓库组织所接收的日志数据并且对来自数据处理应用的请求作出响应。为了容纳大量的日志数据，普遍使用大规模的数据仓库以存储日志数据并且为来自数据处理应用的数据密集查询服务。通过使应用能够与数以千计的计算机(也称作节点)的集群和前兆字节的数据交互存在支持大规模数据密集的分布式应用的框架。例如，被称为Hadoop的框架使用分布式、可扩展的、便携式文件系统，称为Hadoop分布式文件系统(HDFS)以在Hadoop集群中的数据节点(也称为从节点)之中分布大量数据。为了减小数据节点电源中断或网络故障(包括开关故障)的不利影响，HDFS内的数据通常被复制在不同的数据节点上。开发了 Hive用于在Hadoop集群的顶部上运行，Hive是一种开放源数据仓库系统。Hive支持用被称为HiveQL的类似脚本查询语言(SQL)的说明性语言表示的数据查询。然后Hive系统将用HiveQL表示的查询编译成可以有向无环图的数学表达式在Hadoop集群上执行的映射减少工作。HiveQL语言包括支持包含原始类型、集合(例如，阵列和映射)以及嵌套布局类型(nested composit1ns of types)的表格的类型系统。此外，Hive系统包括被称为Hive-Metastore的系统类目，包含方案和统计，这对数据探索和查询优化有用。与Hadoop集群耦合的Hive系统可以为社会网络系统存储和分析大量数据。例如，Hive系统可以分析在用户之间的连接程度以对用户在社会网络系统上跟进的故事进行排列。Hive系统可以分析活动日志以了解社会网络系统的服务如何被用来帮助应用开发员、网页管理员以及广告人员做出开发和业务决定。Hive系统可以运行复杂的数据挖掘程序以优化向社会网络系统的用户示出的广告。Hive系统可以进一步分析使用日志以识别社会网络系统的垃圾邮件和滥用。Hive系统对于没有创造并且执行Hive查询用于著作、调试并且调度复杂的数据管道并且基于存储在Hive系统和如同MySQL和Oracle的其他关系数据库中存储的数据生成报告的能力的人包括基于网络的工具。然而，前端集群将捕获的日志数据定期而不是实时地发送到集中数据仓库。此外，在数据仓库能够对这些日志数据的数据查询做出响应之前，数据仓库需要花费时间组织所接收的日志数据。因此，在捕获日志数据的时长之后仅可用数据仓库中的日志数据。时长可以是一小时甚至一天。数据处理和消耗应用仅可访问具有明显延迟的日志数据。此外，集中数据仓库需要保持与前端服务器的连接来持续接收日志数据。在现代的社交网络中，前端服务器的数目可以上千甚至更多。数据仓库承载保持连接的重大负荷。这种保持连接的负荷影响数据仓库的总性能。
技术实现思路
本文中引进的技术提供了低延迟地日志数据存取和处理的益处。具体地，本文中引进的技术包括实时生成大量日志数据并且将日志数据传送至聚合集群的前端集群。将聚合集群设计成聚合来自不同的前端服务器和集群的到来的日志数据流。聚合集群进一步将日志数据分割成多个数据流以便数据流被并行发送至接收应用。在一个实施方式中，聚合集群随机分割日志数据以确保日志数据被均匀分布在分割数据流中。在另一个实施方式中，接收分割数据流的应用确定如何分割日志数据。根据本文中引进的技术，因此，提供了分割数据流的方法。该方法包括基于实时用户活动产生日志数据、将日志数据传输至聚合服务器、在聚合服务器聚合日志数据、将日志数据分割到多个日志数据流、以及将日志数据流并行馈送到至少一个后端服务器。根据本文中引进的技术，因此，也提供了分割数据流的计算机实施系统。计算机实施系统包括多个前端服务器和至少一个聚合服务器。多个前端服务器配置成用于基于实时用户活动产生日志数据。聚合服务器配置成用于聚合从前端服务器中的至少一些接收的日志数据。聚合服务器经由网络与前端服务器中的至少一些相连。聚合服务器包括配置成用于暂存日志数据的数据暂存区。聚合服务器进一步配置成用于将所述日志数据分割到多个日志数据流以便一个或多个后端服务器能够并行检索所述日志数据流。根据本文中引进的技术，因此，也提供了分割日志数据的聚合服务器。聚合服务器包括处理器、网络接口、数据存储和存储器。网络接口耦接至处理器，所述聚合服务器通过所述网络接口能够与多个前端服务器通信。前端服务器基于实时用户活动产生日志数据。数据存储包括数据暂存区。存储器存储当由处理器执行时使得聚合服务器执行包括从前端服务器接收日志数据的过程的指令，其中，前端服务器基于实时用户活动产生日志数据、聚合日志数据、在数据暂存区暂存日志数据、以及将日志数据分割到多个日志数据流以便一个或多个后端服务器能够并行检索日志数据流。在本专利技术的实施方式中，提供了一种用于对社交网络系统或者第三方系统或者客户端系统的用户进行认证的方法，尤其是用于防止社交网络系统或者社交网络系统的部分或者第三方系统或者客户端系统未经批准的使用，包括:在本专利技术的实施方式中，方法包括:基于实时用户活动在多个前端服务器处产生日志数据；将日志数据传输至聚合服务器；在聚合服务器处聚合日志数据；将日志数据分割到多个日志数据流；并且将日志数据流并行馈送到至少一个后端服务器。分割步骤可以包括:随机分割日志数据使得日志数据被均匀分布至多个日志数据流。该方法可以进一步包括:在数据暂存区暂存日志数据。该方法可以进一步包括:从后端服务器接收关于如何将日志数据分割到多个日志数据流的指令。日志数据可包括多个日志数据条目，每个日志数据条目包括应用标识和类目字段。该方法可以进一步包括:对于日志数据的每个条目，以总桶数为模通过应用标识和类目字段的散列函数计算桶号，其中，总桶数是多个日志数据流的总数；并且将日志数据的条目分配至通过桶号识别的日志数据流。类目字段可包括日志数据条目的预期目的地的高级描述。应用标识能够识别用于处理日志数据条目的数据消耗应用。日志数据可包括多个日志数据条目；并且该方法可以进一步包括:对于每个日志数据条目，随机生成从I至总桶数的整数，其中，总桶数是多个日志数据流的总数；并且将该日志数据条目分配至通过桶号识别的日志数据流。通过能用于接收日志数据流的后端服务器的数量和每个后端服务器能够处理的连接数能够确定总桶数。可通过在至少一个后端服务器上运行的数据消耗应用指示总桶数。当后端服务器接收并且处理日志数据流时后端服务器是等载的。该方法可以进一步包括:检查日志数据的本文档来自技高网...

【技术保护点】
一种方法，包括：基于实时用户活动在多个前端服务器处产生日志数据；将所述日志数据传输至聚合服务器；在所述聚合服务器处聚合所述日志数据；将所述日志数据分割到多个日志数据流；并且将所述日志数据流并行馈送到至少一个后端服务器。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：塞谬尔·拉什，德赫鲁巴乔蒂·博塔库尔，邵征，埃里克·黄，
申请(专利权)人：脸谱公司，
类型：发明
国别省市：美国;US