处理数据以提高数据的质量制造技术

本公开内容的各实施例涉及处理数据以提高数据的质量。一种第一设备可以从第二设备的集合接收数据以被处理以确定数据的质量。数据可以包括由第二设备的集合存储的第一数据、向第三设备被提供的第二数据或与第四数据相关的第三数据。第一设备可以使用技术的第一集合处理数据以准备数据以用于处理。第一设备可以使用技术的第二集合处理数据以提高数据的质量并且形成经处理数据。第一设备可以向第二设备的集合提供经处理数据以替换由第二设备的集合存储的数据以允许第二设备的集合使用经处理数据。第一设备可以在向第二设备的集合提供经处理数据之后执行动作。

Processing data to improve data quality

Embodiments of the present disclosure relate to processing data to improve the quality of data. A first device may receive data from a collection of second devices for processing to determine the quality of data. The data may include the first data stored by the collection of the second device, the second data provided to the third device, or the third data associated with the fourth data. The first device can use the first set of technologies to process data to prepare data for processing. The first device can use the second set of technologies to process data to improve the quality of data and form processed data. The first device may provide the processed data to the collection of the second device to replace the data stored by the collection of the second device to allow the collection of the second device to use the processed data. The first device may perform actions after processing data is provided to the collection of the second device.

【技术实现步骤摘要】
处理数据以提高数据的质量
本公开内容的各实施例涉及处理数据以提高数据的质量。
技术介绍
数据质量可以涉及数据在其对数据的预期使用(例如，操作、决策等)的适合性方面的状况、数据正确地表示数据涉及的真实世界构造的程度等。数据质量可以涉及数据的准确性、数据的一致性、数据的完整性等。数据质量可以影响数据的使用。例如，不良数据质量(例如，包含错误的数据)可能会负面地影响对数据的使用。
技术实现思路
根据一些可能的实现方式，一种第一设备可以包括一个或多个处理器，用于从第二设备的集合接收数据用于处理以确定数据的质量。数据可以包括由第二设备的集合存储的第一数据、向第三设备被提供的第二数据或与第四数据相关的第三数据。一个或多个处理器可以使用技术的第一集合处理数据以准备数据以用于与提高数据质量相关的处理。一个或多个处理器可以使用技术的第二集合处理数据以提高数据的质量并且形成经处理数据。经处理数据可以由第二设备的集合使用或存储。一个或多个处理器可以向第二设备的集合提供经处理数据以替换由第二设备的集合存储的数据，或者向另一目的地提供经处理数据以允许第二设备的集合或另一目的地使用经处理数据。经处理数据可以向第二设备的集合被提供以提高第二设备的集合存储的数据的质量。一个或多个处理器可以在向第二设备的集合或另一目的地提供经处理数据之后执行动作。根据一些可能的实现方式，一种方法可以包括由第一设备从第二设备的集合接收数据以被处理以确定数据是否包括错误。数据可以包括由第二设备的集合存储的第一数据、向第三设备被提供的第二数据或与第四数据相关的第三数据。该方法可以包括由第一设备使用技术的第一集合处理数据以准备数据以用于与确定数据是否包括错误相关的处理。该方法可以包括由第一设备使用技术的第二集合处理数据以积极地影响错误并且形成经处理数据。经处理数据可以由第二设备的集合使用或存储。该方法可以包括由第一设备向第二设备的集合提供经处理数据以通过替换被存储在第二设备的集合中的数据来积极地影响错误，或者向另一目的地提供经处理数据以允许第二设备的集合或另一目的地使用经处理数据。该方法可以包括由第一设备在向第二设备的集合或另一目的地提供经处理数据之后执行动作。根据一些可能的实现方式，一种非暂态计算机可读介质可以存储一个或多个指令，这些指令在由一个或多个处理器执行时使得一个或多个处理器从第一设备的集合接收数据。数据可以被处理以确定数据是否包括错误。一个或多个指令在由一个或多个处理器执行时可以使得一个或多个处理器使用技术的第一集合处理数据以允许第二设备确定数据是否包括错误。一个或多个指令在由一个或多个处理器执行时可以使得一个或多个处理器使用与确定数据是否包括错误相关的技术的第二集合来处理数据。技术的第二集合可以被用于形成经处理数据。一个或多个指令在由一个或多个处理器执行时可以使得一个或多个处理器基于使用技术的第二集合处理数据的结果来确定数据是否包括错误。一个或多个指令在由一个或多个处理器执行时可以使得一个或多个处理器向第一设备的集合提供经处理数据以替换由第一设备的集合存储的数据，或者向另一目的地提供经处理数据。经处理数据可以向第一设备的集合被提供以积极地影响被包括在数据中的错误。一个或多个指令在由一个或多个处理器执行时可以使得一个或多个处理器在向第一设备的集合或另一目的地提供经处理数据之后执行动作。附图说明图1A和图1B是本文中描述的示例实现方式的概述的示图；图2是其中可以实现本文中描述的系统和/或方法的示例环境的示图；图3是图2的一个或多个设备的示例组件的示图；图4是用于处理数据以提高数据质量的示例过程的流程图；图5是与图4中所示的示例过程相关的示例实现方式的示图；以及图6是与图4中所示的示例过程相关的示例实现方式的示图。具体实施方式示例实现方式的以下详细描述参考附图。不同附图中的相同附图标记可以标识相同或相似的元素。组织可能正在经历数据质量问题。例如，组织使用的数据可能被破坏，可能在不同的数据源之间不一致，可能包括重复的数据等。这在使用数据时可能导致错误，诸如当使用数据生成报告时，实现特定过程(例如，事务处理)时等。此外，尽管组织可以对从数据源(例如，系统)接收的数据修复数据质量问题，但组织可能缺乏用于更新数据的来源处的数据的基于计算机的技术。每当从来源接收到数据时，都会经由修复数据来消耗组织的硬件资源的处理资源。另外，这通过增加从数据的来源接收数据与可以使用数据之间的时间量而降低了使用数据的效率。本文中描述的一些实现方式提供了一种能够从来源(例如，系统)接收数据、修复与数据相关联的数据质量问题并且用已修复数据替换来源中的数据的数据质量系统。以这种方式，数据质量系统可以更新数据的来源的数据，以便每次使用数据时不需要修复数据。这通过减少或消除每次使用数据时修复数据的需要来节省组织的硬件资源的处理资源。此外，这通过减少或消除数据使用期间的错误来节省使用数据的硬件资源的处理资源，否则这些错误将通过使用包括错误的数据而消耗处理资源，否则将由于处理从使用包括错误的数据而导致的错误而被消耗再处理资源，等等。此外，这通过减少从来源接收数据与可以使用数据(例如，生成报告，实现特定过程等)之间的时间量来增加使用来自来源的数据的效率。图1A和图1B是本文中描述的示例实现方式100的概述的示图。如图1A和图1B所示，示例实现方式100可以包括与各种系统(例如，被示出为操作支持系统(OSS)、商业支持系统(BSS)和决策支持系统(DSS))相关联的服务器设备1至3、数据质量系统和客户端设备。尽管示例实现方式100示出了三个不同的服务器设备和单个客户端设备，但实际上，可以存在数百、数千、数百万个等的服务器设备和/或客户端设备。如图1A中所示，并且如由附图标记110所示，数据质量系统可以从与组织相关联的服务器设备(例如，系统)的集合接收数据。例如，数据质量系统可以从与OSS、BSS和DSS相关联的服务器设备1至3接收数据。当接收到数据时，数据质量系统可以接收数千、数百万、数十亿个等数据元素，从而接收不能由人类动作者手动或客观地处理的数据集。在一些实现方式中，数据可以包括存储在服务器设备1至3中的空闲数据、从来源提供到目的地(例如，从服务器设备1至3到经由客户端设备访问的应用)的数据、与其他数据相关联的元数据等。在一些实现方式中，数据质量系统可以周期性地、根据日程安排、基于请求数据等来接收数据。如在图1A中和由附图标记120进一步所示，数据质量系统可以使用技术的第一集合预处理数据以准备数据用于与提高数据质量相关的处理。例如，数据质量系统可以聚合来自不同服务器设备的数据，对数据进行去重复，将标准格式化应用于数据，获取存储在其他来源中的相同数据(例如，以允许检查多个服务器设备之间的一致性)，等等。预处理数据可以将数据修改为允许数据质量系统进行以下操作的形式：处理来自不同来源和/或具有不同格式的相同数据，标识与数据相关联的错误，等等。当预处理数据时，数据质量系统可以预处理来自数百、数千个等服务器设备的数百、数百万、数十亿个等数据元素，由此处理不能由人类动作者手动或客观地处理的数据集。如在图1A中并且由附图标记130进一步所示，数据质量系统可以使用技术的第二集合处理数据以提高数据的质本文档来自技高网...

【技术保护点】
1.一种第一设备，包括：用于从第二设备的集合接收数据以被处理以确定所述数据的质量的装置，所述数据包括：由第二设备的所述集合存储的第一数据，向第三设备被提供的第二数据，或者与第四数据相关的第三数据；用于使用技术的第一集合处理所述数据以准备所述数据以用于与提高所述数据的所述质量相关的处理的装置；用于使用技术的第二集合处理所述数据以提高所述数据的所述质量并且形成经处理数据的装置，所述经处理数据将由第二设备的所述集合使用或存储；用于向第二设备的所述集合提供所述经处理数据以替换由第二设备的所述集合存储的所述数据、或者向另一目的地提供所述经处理数据以允许第二设备的所述集合或所述另一目的地使用所述经处理数据的装置，所述经处理数据向第二设备的所述集合被提供以提高由第二设备的所述集合存储的所述数据的所述质量；以及用于在向第二设备的所述集合或所述另一目的地提供所述经处理数据之后执行动作的装置。

【技术特征摘要】
2017.06.23 IN 201741022092;2017.08.10 US 15/674,231.一种第一设备，包括：用于从第二设备的集合接收数据以被处理以确定所述数据的质量的装置，所述数据包括：由第二设备的所述集合存储的第一数据，向第三设备被提供的第二数据，或者与第四数据相关的第三数据；用于使用技术的第一集合处理所述数据以准备所述数据以用于与提高所述数据的所述质量相关的处理的装置；用于使用技术的第二集合处理所述数据以提高所述数据的所述质量并且形成经处理数据的装置，所述经处理数据将由第二设备的所述集合使用或存储；用于向第二设备的所述集合提供所述经处理数据以替换由第二设备的所述集合存储的所述数据、或者向另一目的地提供所述经处理数据以允许第二设备的所述集合或所述另一目的地使用所述经处理数据的装置，所述经处理数据向第二设备的所述集合被提供以提高由第二设备的所述集合存储的所述数据的所述质量；以及用于在向第二设备的所述集合或所述另一目的地提供所述经处理数据之后执行动作的装置。2.根据权利要求1所述的第一设备，还包括：用于监测第二设备的所述集合的操作的装置；用于标识与第二设备的所述集合的所述操作相关的另一错误的装置；并且其中用于接收所述数据的所述装置包括：用于基于标识与第二设备的所述集合的所述操作相关的所述另一错误来从第二设备的所述集合接收所述数据的装置。3.根据权利要求1所述的第一设备，其中技术的所述第一集合包括：聚合所述数据，对所述数据进行去重复，格式化所述数据，或者修复被包括在所述数据中的损坏的数据元素。4.根据权利要求1所述的第一设备，其中用于使用技术的所述第一集合处理所述数据的所述装置包括：用于基于对所述数据的预期使用来处理所述数据的装置，所述预期使用根据所述数据或根据从所述第三设备接收的、标识所述数据的所述预期使用的信息被确定。5.根据权利要求1所述的第一设备，还包括：用于标识将被用于确定所述数据的所述质量的规则的集合的装置；并且其中用于使用技术的所述第二集合处理所述数据的所述装置包括：用于基于标识规则的所述集合、使用规则的所述集合来处理所述数据的装置。6.根据权利要求1所述的第一设备，其中用于使用技术的所述第二集合处理所述数据的所述装置包括：用于确定所述数据是否满足规则的集合以确定所述数据的所述质量的装置。7.根据权利要求1所述的第一设备，还包括：用于确定修复所述数据以提高所述数据的所述质量的方式的装置；用于基于确定修复所述数据的所述方式来执行一个或多个动作以修复所述数据的装置，所述一个或多个动作形成所述经处理数据；并且其中用于提供所述经处理数据的所述装置包括：用于在执行所述一个或多个动作之后向第二设备的所述集合提供所述经处理数据的装置。8.一种方法，包括：由第一设备从第二设备的集合接收数据以被处理以确定所述数据是否包括错误，所述数据包括：由第二设备的所述集合存储的第一数据，向第三设备被提供的第二数据，或者与第四数据相关的第三数据；由所述第一设备使用技术的第一集合处理所述数据以准备所述数据以用于与确定所述数据是否包括所述错误相关的处理；由所述第一设备使用技术的第二集合处理所述数据以积极地影响所述错误并且形成经处理数据，所述经处理数据将由第二设备的所述集合使用或存储；由所述第一设备向第二设备的所述集合提供所述经处理数据以通过替换被存储在第二设备的所述集合中的数据来积极地影响所述错误，或者向另一目的地提供所述经处理数据以允许第二设备的所述集合或所述另一目的地使用所述经处理数据；以及由所述第一设备在向第二设备的所述集合或所述另一目的地提供所述经处理数据之后执行动作。9.根据权利要求8所述的方法，其中使用技术的所述第一集合处理所述数据包括：基于所述数据的预期使用来处理所述数据。10.根据权利要求8所述的方法，还包括：确定所述数据的简档；并且其中使用技术的所述第二集合处理所述数据包括：基于...

【专利技术属性】
技术研发人员：V·S·拉索雷，S·库玛加格，M·苏里斯里拉曼，A·约里，M·克里什纳，V·卡纳德，A·查克拉博蒂，H·H·沙玛，S·萨尔达，
申请(专利权)人：埃森哲环球解决方案有限公司，
类型：发明
国别省市：爱尔兰,IE