用于数据处理系统的数据模块管理技术方案

本公开的实施例涉及用于数据处理系统的数据模块管理。一种设备可以从数据源接收数据并且标识被包括在接收到的数据中的属性。设备可以向用户设备提供用户界面，用户界面提供用户界面元素，用户界面元素通过与用户界面元素的交互使得能够选择属性中的至少一个属性以供数据模块使用。另外，设备可以从用户设备接收标识数据模块的信息，数据模块：被配置为处理至少一个属性并且限定要由数据处理流水线执行的功能。进一步地，设备可以激活数据模块以供由设备实施的数据处理流水线使用，并且使用数据处理流水线和数据模块来对传入的数据执行动作。

Data Module Management for Data Processing System

【技术实现步骤摘要】
用于数据处理系统的数据模块管理
本公开的实施例涉及用于数据处理系统的数据模块管理。
技术介绍
流处理是在产生或者接收到数据时处理数据的计算机编程范例。流处理允许近实时地处理(例如，通过分析工具)潜在的大量数据。批处理涉及处理可能已经随时间被采集的数据，并且可以被用来(例如，通过分析工具)处理可能花费很长时间来处理和/或不必近实时地处理的非常大量的数据。
技术实现思路
根据一些实施方式，一种设备可以包括：一个或者多个存储器设备；以及一个或者多个处理器，该一个或者多个处理器被通信地连接至一个或者多个存储器设备以：从数据源接收数据；标识被包括在所接收到的数据中的属性；向用户设备提供用户界面，该用户界面提供用户界面元素，该用户界面元素通过与用户界面元素中的一个或者多个的交互使得能够选择属性中的至少一个属性以供数据模块使用；从用户设备接收标识数据模块的信息，数据模块：被配置为处理至少一个属性，并且限定要由数据处理流水线执行的功能；激活数据模块以供由设备实施的数据处理流水线使用；以及使用数据处理流水线和数据模块来对传入的数据执行动作。根据一些实施方式，一种非瞬态计算机可读介质可以存储指令，该指令包括本文档来自技高网...

【技术保护点】
1.一种设备，包括：一个或者多个存储器设备；以及一个或者多个处理器，所述一个或者多个处理器被通信地连接至所述一个或者多个存储器设备以：从网络数据源接收网络数据；标识被包括在接收的所述数据中的属性；向用户设备提供用户界面，所述用户界面提供用户界面元素，所述用户界面元素通过与所述用户界面元素中的一个或者多个用户界面元素的交互支持对所述属性中的至少一个属性的选择和/或修改，以创建更新的数据模块；从所述用户设备接收标识所述更新的数据模块的信息，所述更新的数据模块：被配置为处理所述至少一个属性，并且限定要由数据处理流水线执行的功能；将所述更新的数据模块存储在队列中；定期地针对更新的数据模块搜索所述队列；...

【技术特征摘要】
2018.03.09 US 15/917,3361.一种设备，包括：一个或者多个存储器设备；以及一个或者多个处理器，所述一个或者多个处理器被通信地连接至所述一个或者多个存储器设备以：从网络数据源接收网络数据；标识被包括在接收的所述数据中的属性；向用户设备提供用户界面，所述用户界面提供用户界面元素，所述用户界面元素通过与所述用户界面元素中的一个或者多个用户界面元素的交互支持对所述属性中的至少一个属性的选择和/或修改，以创建更新的数据模块；从所述用户设备接收标识所述更新的数据模块的信息，所述更新的数据模块：被配置为处理所述至少一个属性，并且限定要由数据处理流水线执行的功能；将所述更新的数据模块存储在队列中；定期地针对更新的数据模块搜索所述队列；响应于更新的数据模块被存储在所述队列中，激活所述更新的数据模块以供由所述设备实施的所述数据处理流水线使用；以及使用所述数据处理流水线和所述更新的数据模块来对传入的数据执行动作。2.根据权利要求1所述的设备，其中接收的所述数据包括文本的至少一个字符串。3.根据权利要求1所述的设备，其中：所述数据源是流数据的源，并且接收的所述数据被流传输至所述设备。4.根据权利要求1所述的设备，其中：所述数据源是批数据的源，并且接收的所述数据作为一批数据而被接收，所述一批数据包括多个数据记录。5.根据权利要求1所述的设备，其中当标识被包括在接收的所述数据中的所述属性时，所述一个或者多个处理器用以：基于先前由所述数据源提供至所述设备的信息来标识被包括在接收的所述数据中的所述属性。6.根据权利要求1所述的设备，其中当标识被包括在接收的所述数据中的所述属性时，所述一个或者多个处理器用以：基于被包括在接收的所述数据中的元数据来标识被包括在接收的所述数据中的所述属性。7.根据权利要求1所述的设备，其中当标识被包括在接收的所述数据中的所述属性时，所述一个或者多个处理器用以：基于对接收的所述数据执行的分析的结果来标识被包括在接收的所述数据中的所述属性。8.根据权利要求1所述的设备，其中所述一个或者多个处理器还用以：基于所述数据模块被配置为处理所述属性中的一个属性来将所述属性中的所述一个属性映射至所述数据模块。9.一种存储指令的非瞬态计算机可读介质，所述指令包括：一个或者多个指令，所述一个或者多个指令在由一个或者多个处理器执行时使所述一个或者多个处理器：向用户设备提供用户界面，所述用户界面提供用户界面元素，所述用户界面元素通过与所述用户界面元素中的一个或者多个用户界面元素的交互支持对至少一个属性的选择，所述至少一个属性先前被标识为被包括在被提供至所述一个或者多个处理器的数据中；从所述用户设备接收标识数据模块的信息，所述数据模块：包括所述至少一...

【专利技术属性】
技术研发人员：D·G·贝里尼，D·里佐，S·米拉戈利亚，
申请(专利权)人：埃森哲环球解决方案有限公司，
类型：发明
国别省市：爱尔兰,IE