横向扩展系统以获取事件数据技术方案

本发明专利技术涉及横向扩展系统以获取事件数据。发射事件。一方法包括通过使用多个不同源专用的多个不同的协议与不同源通信来从不同源获取数据。该方法还包括，基于所获取的数据判断事件应发生。该方法还包括引起事件。为得到消费者的一致事件评估对所引起的事件进行标准化，而不管来自导致该事件的数据源的数据的特定形态。

【技术实现步骤摘要】

本专利技术涉及数据获取。
技术介绍
背景和相关技术计算机和计算系统已经影响了现代生活的几乎每个方面。计算机通常在工作、休闲、保健、运输、娱乐、家政管理等中都有涉猎。此外，计算系统功能还可以通过计算系统的经由网络连接互连到其他计算系统的能力来增强。网络连接可包括，但不仅限于，经由有线或无线以太网的连接，蜂窝式连接，或者甚至通过串行、并行、USB或其它连接的计算机到计算机的连接。这些连接允许计算系统访问其他计算系统上的服务，并快速且有效地从其他计算系统接收应用数据。许多计算机旨在通过与计算机的直接用户交互来使用。这样，计算机具有输入硬件和软件用户接口以促成用户交互。例如，现代通用计算机可包括用于允许用户向计算机输入数据的键盘、鼠标、触摸垫、相机等。另外，有各种软件用户接口可用。软件用户接口的示例包括图形用户界面、基于文本命令行的用户界面、功能键或热键用户界面等等。假定开发者正在编写旨在聚集来自各种各样的源的信息(诸如RSS或Atom格式可用的当前世界或金融新闻)并引导这种信息经过发布/订阅基础架构以便进行整合、传播和存储的应用。发布/订阅基础架构由可从华盛顿州雷德蒙市微软公司购得的WindowsAzure服务总线提供，但也以类似形式存在于各种其它消息收发系统中并允许将消息/事件发布到临时存储且使得这些消息/事件被一个或多个订阅者检索和消费。在此要求保护的主题不限于解决任何缺点或仅在诸如上述环境中操作的各个实施例。相反，提供该背景仅用以示出在其中可实践在此描述的部分实施例的一个示例性

技术实现思路
此处所述的一个实施例涉及发射事件的方法。该方法包括通过使用多个不同源专用的多个不同的协议与这些不同源通信来从这些不同源获取数据。该方法还包括，基于所获取的数据判断事件应发生。该方法还包括引起事件。为得到消费者的一致事件评估对所引起的事件进行标准化，而不管来自导致该事件的数据源的数据的特定形态。提供本
技术实现思路
以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。本
技术实现思路
并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。另外的特征和优点将在以下的描述中阐述， 并且部分可从该描述中显而易见，或者可以从此处的教示实践中习得。本专利技术的特征和优点可以通过在所附权利要求中特别指出的手段和组合来实现并获取。本专利技术的特征将从以下描述和所附权利要求书中变得完全显而易见，或者可通过如下所述对本专利技术的实践而获知。附图说明为了描述可获得本主题的上述和其它优点和特征的方式，将通过参考附图中示出的本主题的具体实施例来呈现以上简要描述的本主题的更具体描述。应该理解，这些附图仅描绘了各典型实施例，因此其不应被认为是对范围的限制，各实施例将通过使用附图用附加特征和细节来描述并解释，在附图中图1示出事件数据获取系统的示例；图2示出了事件数据获取和分发系统；以及图3示出了发射事件的方法。具体实施例方式此处所述的一·些实施例可实现横向扩展的获取基础架构，该基础架构可从大量各种各样的源收集事件数据并对其标准化。例如，可使用适于多个不同源中的每一个的协议从这些源中获取数据。数据可被标准化成事件格式，无论用于事件的数据是从何处获取的以及按照何种格式获取的，该事件格式都是一致的。这可允许这些事件被提交给发布/订阅基础架构，并允许消费者以统一的方式对待所收集的事件。一些实施例可实现跨分布式存储管理源描述的分区池并使用公共调度器框架调度从所描述的源对事件的获取的机制。一些实施例可实现基于分区所有权以及对所调度的消息收发的使用的组合，将获取作业的所有权分派以及重新分派给获取工作者的机制。一些实施例可实现基于消费受众的需求激活和停用源的机制。一些实施例可实现处理临时和持久错误并将源加入黑名单的机制。作为基础，一个实施例系统正使用可从华盛顿州雷蒙德市的微软公司购得的Windows Azure服务总线所提供的发布/订阅基础架构,但该基础架构也可以类似的形式存在于各种其他消息收发系统中。该基础架构提供促进所呈现的方法的所述实现的两种能力主题和队列。队列是用于消息的存储结构，它允许以顺序的次序来添加(入队)消息和以与添加消息相同的次序来移除(出队)消息。可由任何数量的并发客户端添加和移除消息，从而允许平抑入队侧的负载并跨出队侧的各接收者平衡处理负载。队列还允许各实体在使消息出队时获得该消息上的锁，从而允许消费客户端显式地控制何时将消息从队列中实际删除、或者在对检索到的消息的处理失败的情况下是否可将它还原回队列中。主题是具有队列的所有特性，但允许多个并发存在的‘订阅’的存储结构，这些订阅各自允许对入队消息序列的孤立的经过滤的视图。主题上的每个订阅都产生每个入队消息的副本，假定该订阅的相关联的过滤条件肯定地匹配该消息。因此，入队到具有10个订阅(其中每个订阅具有匹配所有消息的简单的‘穿过’条件)的主题的消息将产生总共10个消息，其中每个订阅一个消息。像队列一样，订阅可具有多个并发消费者，从而提供多个接收者范围内的处理负载的平衡。另一基本概念是‘事件’，就底层发布/订阅基础结构而言其就是条消息。在一个实施例的上下文中，事件服从管控消息正文和消息属性的使用的一组简单约束。事件的消息正文一般作为不透明数据块来流动，并且一个实施例所认为的任何事件数据一般在消息属性中流动，它是作为表示该事件的消息的一部分的一组键/值对。现在参考图1，一个实施例体系结构的目标是大规模地从各种各样的不同源116获取事件数据，并将这些事件转发到发布/订阅基础架构以供进一步处理。处理可包括某种形式的分析、实时搜索、或通过拉取或推送通知机制将事件重新分发到感兴趣的订阅者。一个实施例体系结构定义了获取引擎118、用于获取适配器和事件标准化的模型、用于保持关于获取源116的元数据的分区存储138、公共分区和调度模型以及用于在运行时如何使对获取源116状态的用户发起的改变流入系统而无需进一步的数据库查找的模型。在具体实现中，获取可支持具体的获取适配器从各种各样的公共和私有联网服务中获取事件，联网服务包括RSS、Atom和Odata馈源、电子邮件邮箱(包括但不限于这种支持IMAP和POP3协议的电子邮件邮箱)、像Twitter时间线或Facebook墙的社交网络信息源116、以及对像Windows Azure服务总线或Amazon的简单队列服务的外部发布/订阅基础架构的订阅。事件标准化事件数据被标准化以使事件可以由发布/订阅基础架构上的、所述事件被移交到的订阅者来实际消费。标准化在本上下文中是指，事件被映射到具有信息项的一致表示的公共事件模型上，其中该信息项在所述在各种上下文中可能是广大订阅者所感兴趣的。此处所选择的模型是键/值对的平面列表形式的事件的简单表示，该键/值对可伴随有由系统不进一步解释的单个不透明二元数据块。该事件表示可在大多数发布/订阅基础架构上轻松地表示，并且还非常清楚地映射到诸如HTTP的常见因特网协议。为了说明事件标准化 ，考虑RSS或Atom馈源条目到事件104的映射(参见图1和2)。RSS和Atom是两个因特网标准，它们通常非常被广泛地用于按时间次序发布新闻和其他当前的信息，并且按时间次序发布该信息有助于使该信息可用于计算机程序中以结本文档来自技高网...

【技术保护点】
一种发射事件的方法，所述方法包括：通过使用多个不同源（116）专用的多个不同的协议与所述不同源（116）通信，来从所述不同源获取数据（302）；基于所获取的数据，判断事件（104）应发生（304）；以及引起事件（104），其中为得到消费者的一致事件（104）评估对所引起的事件（104）进行标准化，而不管来自导致所述事件（104?1）的数据源（116）的数据的特定形态（306）。

【技术特征摘要】
2011.09.12 US 61/533,667;2011.10.21 US 13/278,4081.一种发射事件的方法，所述方法包括 通过使用多个不同源(116)专用的多个不同的协议与所述不同源(116)通信，来从所述不同源获取数据(302); 基于所获取的数据，判断事件(104)应发生(304);以及 引起事件(104)，其中为得到消费者的一致事件(104)评估对所引起的事件(104)进行标准化，而不管来自导致所述事件(104-1)的数据源(116)的数据的特定形态(306)。2.如权利要...

【专利技术属性】
技术研发人员：C·F·瓦斯特斯，
申请(专利权)人：微软公司，
类型：发明
国别省市：