用于聚合、过滤和呈现流数据的系统和方法技术方案

公开了用于聚合、过滤和呈现流数据的系统和方法。在一个实施例中，一种用于呈现流数据的方法可以包括：(1)在包括至少一个计算机处理器的用于服务器的web服务层处接收来自客户端的查询，其中查询包括多个参数；(2)用于服务器的数据高速缓存层从至少一个预定义的流数据源接收流数据；(3)数据高速缓存层针对多个参数中的每一个合并流数据；(4)数据高速缓存层聚合合并的数据；(5)数据高速缓存层通过同时针对合并的数据运行查询来生成合并的数据的快照；以及(6)将快照输出到客户端。

System and method for aggregating, filtering and presenting stream data

【技术实现步骤摘要】
【国外来华专利技术】用于聚合、过滤和呈现流数据的系统和方法
本公开总体涉及用于聚合、过滤和呈现流数据的系统和方法。
技术介绍
公共云和私有云都已成为越来越流行的计算环境。但是，由于主机系统和远程操作系统之间的可变延迟，这些环境不支持流数据。此外，将数太字节的流市场数据推入各种云的成本会导致来自提供商的非常高的“传输”费用，从而降低了将云用于数据驱动应用的价值主张。
技术实现思路
公开了用于聚合、过滤和呈现流数据的系统和方法。在一个实施例中，一种用于呈现流数据的方法可以包括：(1)在包括至少一个计算机处理器的用于服务器的web服务层处接收来自客户端的查询，其中查询包括多个参数；(2)用于服务器的数据高速缓存层从至少一个预定义的流数据源接收流数据；(3)数据高速缓存层针对多个参数中的每一个合并流数据；(4)数据高速缓存层聚合合并的数据；(5)数据高速缓存层通过同时针对合并的数据运行查询来生成合并的数据的快照；以及(6)将快照输出到客户端。在一个实施例中，参数可以包括用于证券和投资中的至少一个的特定描述符。在一个实施例中，查询还可以包括流数据源的识别。在一个实施例中，流数据可以包括市场数据。在一个实施例中，web服务层可以输出被延迟预定时间量的快照，其中时间段基于与流数据相关联的一个或更多个规则。在一个实施例中，方法还可以包括：用于服务器的权限服务层验证客户端被授权以访问响应查询的信息。在一个实施例中，方法还可以包括：基于从客户端接收的至少一个客户端凭证来认证客户端。在一个实施例中，对于针对特定时间的证券和投资中的至少一个，快照可以是准确的。在一个实施例中，快照可以包括用于针对特定时间的证券和投资中的至少一个的适当状态。根据另一个实施例，一种用于呈现流数据的系统可以包括：多个流数据源；用于每个流数据源的数据加载器，数据加载器从流数据源接收流数据；数据高速缓存层，其从数据加载器接收流数据；以及web服务层，其包括至少一个计算机处理器并且与数据高速缓存层通信。web服务层可以从客户端接收查询，其中查询包括多个参数；数据高速缓存层可以针对多个参数中的每一个合并流数据；数据高速缓存层可以聚合合并的数据；数据高速缓存层可以通过同时针对合并的数据运行查询来生成合并的数据的快照；以及快照可以被输出到客户端。在一个实施例中，参数可以包括用于证券和投资中的至少一个的特定描述符。在一个实施例中，查询可以包括流数据源的识别。在一个实施例中，流数据可以包括市场数据。在一个实施例中，web服务层可以输出被延迟预定时间量的快照。在一个实施例中，时间段可以基于与流数据相关联的一个或更多个规则。在一个实施例中，可以从云应用程序和本地应用程序中的至少一个接收查询。在一个实施例中，系统还可以包括用于服务器的权限服务层，其验证客户端被授权以访问响应查询的信息。权限服务层还可以基于从客户端接收的至少一个客户端凭证来认证客户端。在一个实施例中，快照对于针对特定时间的证券和投资中的至少一个可以是准确的。在一个实施例中，快照可以表示用于针对特定时间的证券和投资中的至少一个的适当状态。附图说明为了更完整地理解本专利技术、其目的和优点，现在参考以下结合附图的描述，其中：图1描绘了根据一个实施例的用于聚合、过滤和呈现流数据的系统；图2描绘了根据一个实施例的用于聚合、过滤和呈现流数据的方法；图3描绘了根据一个实施例提供策略流程；以及图4描绘了根据一个实施例的示例性过程流程。具体实施方式通过参考图1-图4可以理解本专利技术的若干实施例及其优点。实施例涉及用于聚合、过滤和呈现流数据的系统和方法。在一个实施例中，可以将来自内部和外部源的数据推入高速数据聚合引擎。客户端可以进行简单的web服务请求，从而指定其凭证、信息源和所请求的信息的列表。例如，在金融机构中，客户端可以提交证券和领域的列表。然后，客户端接收具有客户端所需的信息的单个响应。这减少或消除了所有应用程序必须支持的高速流管理以及所需的基础设施和开发。在一个实施例中，可以根据需要和/或期望使用任何合适的聚合引擎。在一个实施例中，聚合引擎可以允许对数据有效载荷内的各个字段进行结构化查询语言(“SQL”)样式的内容过滤，从而允许对多种产品进行近实时分析。实施例可以提供以下中的部分或全部：(1)通过较低的数据传输成本增加基于云的应用程序的价格优势；(2)通过减少基础设施要求和缩短数据驱动应用程序的开发周期，大规模降低技术成本；(3)由于API的简化和与电子表格的集成，更多可替代的开发人员队伍；(4)跨不同源的高级内容过滤允许开发过去成本过高的实时应用程序功能(feature)；(5)通过融合外部和内部数据促进分布式分析；以及(6)能够为不需要实时数据的个体提供实时数据的老化或延迟、递送，以降低该数据的成本。还可以提供其他益处。在金融行业中，因为市场数据和消息传递涉及大量数据，所以期望客户端进行与处理来自金融信息发布平台(tickerplant)的有效载荷相关联的重要工作。他们经常不得不处理与大量信息相关的硬件和软件挑战、将其合并以便用户获得利益、跨许多线程和系统聚合以支持组合管理等。实施例解决了这些和其他挑战，同时给予最终用户和开发人员进行过滤的接口。参考图1，根据一个实施例公开了一种用于聚合、过滤和呈现流数据的系统。系统100可以包括多个客户端接入点110，web服务层120，数据高速缓存层130，数据加载器1401、1402、......140n以及数据源1501、1502、......150n。数据源150可以从一个或更多个流数据源接收数据，例如内部和外部市场数据、行业新闻等。尽管在图1中示出了三个数据加载器140和数据源150，但应该认识到，可以根据需要和/或期望提供更多或更少数量的数据加载器140和数据源150。数据加载器140可以从数据源150接收数据。在一个实施例中，每个数据加载器140可以将来自一个或更多个数据源150的流数据“馈送”到数据高速缓存层130中。每个数据加载器140还可以与web服务层120通信。例如，每个数据加载器140可以与控制平面服务126通信，控制平面服务126可以指示一个或更多个数据加载器140创建新订阅、重试故障等。数据高速缓存层130可以服务来自web服务层120的请求。在一个实施例中，数据高速缓存层130可以用作数据库和消息总线两者。在一个实施例中，数据高速缓存层130还可以过滤数据并且可以提供所请求的数据的“快照”。合适的数据高速缓存层130的一个示例是来自60EastTechnologies的高级消息处理系统(AMPS)。web服务层120可以使用一个或更多个客户端接入点110与客户端接合。在一个实施例中，web服务层可以提供服务，例如配置管理服务122、监测服务124、控制平面层126和权限服务128。可以根据需要和/或期望提供其他服务。在一个实施例中，配置管理服务122可以为一个或更多个数据加载器140提供配置数据，例如连接到哪些数据源150、如何连接到数据源150等。在一个实施例中，配置管理服务122可以提供运行时配置信息，例如，用于数据加载器140、web服务层120、权限服务128的连接信息(例如，主机：端口)、哪些数据馈送以加载、哪些web连接要支持(http或https本文档来自技高网...

【技术保护点】
1.一种用于呈现流数据的方法，其包括：在包括至少一个计算机处理器的用于服务器的web服务层处接收来自客户端的查询，其中所述查询包括多个参数；用于所述服务器的数据高速缓存层从至少一个预定义的流数据源接收流数据；所述数据高速缓存层针对所述多个参数中的每一个合并所述流数据；所述数据高速缓存层聚合合并的数据；所述数据高速缓存层通过同时针对所述合并的数据运行所述查询来生成所述合并的数据的快照；以及将所述快照输出到所述客户端。

【技术特征摘要】
【国外来华专利技术】2016.12.14 US 15/378,501;2017.07.20 US 62/534,7491.一种用于呈现流数据的方法，其包括：在包括至少一个计算机处理器的用于服务器的web服务层处接收来自客户端的查询，其中所述查询包括多个参数；用于所述服务器的数据高速缓存层从至少一个预定义的流数据源接收流数据；所述数据高速缓存层针对所述多个参数中的每一个合并所述流数据；所述数据高速缓存层聚合合并的数据；所述数据高速缓存层通过同时针对所述合并的数据运行所述查询来生成所述合并的数据的快照；以及将所述快照输出到所述客户端。2.根据权利要求1所述的方法，其中所述参数包括用于证券和投资中的至少一个的特定描述符。3.根据权利要求1所述的方法，其中所述查询还包括流数据源的识别。4.根据权利要求1所述的方法，其中所述流数据包括市场数据。5.根据权利要求1所述的方法，其中所述web服务层输出被延迟预定时间量的所述快照，其中所述时间段基于与所述流数据相关联的一个或更多个规则。6.根据权利要求1所述的方法，还包括：用于所述服务器的权限服务层验证所述客户端被授权以访问响应所述查询的信息。7.根据权利要求1所述的方法，还包括：基于从所述客户端接收的至少一个客户端凭证来认证所述客户端。8.根据权利要求2所述的方法，其中所述快照对于针对特定时间的所述证券和所述投资中的至少一个是准确的。9.根据权利要求2所述的方法，其中所述快照包括用于针对特定时间的所述证券和所述投资中的所述至少一个的适当状态。10.一种用于呈现流数据的系统，其包括：多...

【专利技术属性】
技术研发人员：I·斯拉文，M·A·莱格，R·阿尔珀特，J·V·汤姆，
申请(专利权)人：摩根大通国家银行，
类型：发明
国别省市：美国,US