基于隐含的数据特性的动态性能调优制造技术

公开了用于基于数据特性改进系统性能的技术。系统可以以第一频率接收对第一数据集的更新。系统基于第一频率从多个存储配置中选择用于存储第一数据集的第一存储配置，并根据第一存储配置来存储第一数据集。系统还可以以第二频率接收对第二数据集的更新。系统基于第二频率从多个存储配置中选择用于存储第二数据集的第二存储配置，并根据第二存储配置来存储第二数据集。第二存储配置与第一存储配置不同。同。同。

【技术实现步骤摘要】
【国外来华专利技术】基于隐含的数据特性的动态性能调优


[0001]本公开涉及数据分析。更具体地，本公开涉及用于基于数据特性改进系统性能的技术。

技术介绍

[0002]物联网(IoT)设备产生包括三个不同类别的数据(标识符数据、用例数据和运行时数据)的数据集。由IoT设备产生的数据
[0003]标识符数据可以包括产生数据的设备的人类可读的特性和/或人类可理解的特性。特别地，标识符数据可以包括诸如设备名称、序列号、购买的数据和类似的特性之类的方面。标识符数据可以包括提供数据的设备的许多不同的标识符。通常，标识符数据包括保持不变或极少变化的数据。标识符数据将在系统中具有最低的基数(例如，最少的不同字段或字段组合)。用例数据通常是指使用提供数据的设备的各种方式的数据。例如，对于恒温器，用例数据可以包括“加热”或“冷却”。与标识符数据类似，用例数据通常被表示为一个或多个字符串。运行时数据可以包括设备在现场使用时所测量的信息。作为示例，对于恒温器，运行时数据可以包括温度测量和指示记录温度的时间的时间戳。运行时数据通常是最大的数据类别，往往大了数量级。
[0004]本部分中所述的方法是可以采取的方法，但不一定是先前已经设想或采取的方法。因此，除非另有说明，否则不应该假定本部分中所述的任何方法仅因其被包含在本部分中而被视为现有技术。
附图说明
[0005]在附图的图中，通过举例的方式而不是通过限制的方式来说明实施例。应该注意的是，本公开中对“一”或“一个”实施例的提及不一定指同一实施例，并且它们意味着至少一个。在附图中：
[0006]图1图示了根据一个或多个实施例的系统；
[0007]图2图示了根据一个或多个实施例的用于基于数据特性改进系统性能的示例操作集；
[0008]图3A和图3B图示了用于基于数据特性改进系统性能的示例系统；并且
[0009]图4示出了图示根据一个或多个实施例的计算机系统的框图。
具体实施方式
[0010]在下文的描述中，为了解释的目的，阐述了许多具体细节，以提供全面的理解。可以在没有这些具体细节的情况下实践一个或多个实施例。一个实施例中描述的特征可以与不同实施例中描述的特征组合。在一些示例中，参照框图形式来描述众所周知的结构和设备，以避免不必要地模糊本专利技术。
[0011]1.总体概述
[0012]2.架构概述
[0013]3.基于数据特性改进系统性能
[0014]4.示例实施例
[0015]5.其他；扩展
[0016]6.硬件概述
[0017]1.总体概述
[0018]一个或多个实施例包括用于基于数据特性的性能调优(tuning)的系统。大数据系统的用户可以使用不支持传统的基于成本的查询调优的异构存储机制，因为它们是由不提供常用特征(如索引、行计数(row count)、数据基数统计和类似工具)的存储系统所支持的，或者因为存储系统的异构本质阻碍跨存储优化。然而，对于基于时间序列的数据，数据的固有方面、存储模式以及基于查询本身的数据的隐含方面可以被用于推断假定的模式并帮助优化查询的执行。关于数据源如何关联的用户定义元数据提供了对每个系统中存储什么种类的数据的洞察，并且元数据可以被用于推断关于存储的数据的缺失统计信息。类似地，一旦已知关于特定数据源的一些信息，就可以假定其他数据源的特性。
[0019]在实施例中，系统可以通过将数据分组来确定如何存储和访问数据。例如，在处理来自一个或多个物联网(IoT)设备的数据时，系统可以将数据分组到它认为具有物联网数据的特性的三个数据族之一中。系统可以使用关于哪些数据已经被分组到每个族中的信息来假定应该在其他族中找到哪些数据，并相应地调整存储和检索过程。
[0020]例如，用于物联网数据的三个数据族可以是标识符数据、用例数据和运行时数据。系统可以使用这些数据族，因为它们允许高效的、可定义的分类，并且因为这些分类将进而允许对用例的估计。
[0021]可以基于数据的特性将数据集内的数据字段分组。特别地，数据字段可以基于存储在该字段中的数据的一个或多个特性(诸如基数(例如，数据字段中的条目的数量)和/或更新频率(例如，更新字段中的数据的频率))来进行归类。
[0022]在本说明书中描述和/或在权利要求书中陈述的一个或多个实施例可能没有被包括在本总体概述部分中。
[0023]2.架构概述
[0024]图1图示了根据一个或多个实施例的系统100。如图1中所示，系统100包括性能调优引擎102、用户接口114、一个或多个外部数据源118、数据储存库120以及其各种组件。在一个或多个实施例中，系统100可以包括比图1中所示的组件更多或更少的组件。图1中所示的组件可以是彼此本地的或彼此远离的。可以用软件和/或硬件来实现图1中所示的组件。每个组件可以分布在多个应用和/或机器上。多个组件可以组合成一个应用和/或机器。关于一个组件描述的操作可以替代地由另一个组件来执行。
[0025]在一个或多个实施例中，用户接口114指被配置为促进用户和接口创建引擎102之间的通信的硬件和/或软件。用户接口114可以由访问接口(例如仪表板接口)的用户使用，用于工作和/或个人活动。用户接口114可以与用于呈现视觉媒体的一个或多个设备(诸如显示器116，包括监视器、电视、投影仪和/或类似设备)相关联。用户接口114呈现用户接口元素并经由用户接口元素接收输入。接口的示例包括图形用户接口(GUI)、命令行接口(CLI)、触觉接口和语音命令接口。用户接口元素的示例包括复选框、单选按钮、下拉列表、
列表框、按钮、切换器、文本域、日期和时间选择器、命令行、滑块、页面和表格。
[0026]在实施例中，以不同的语言来指定用户接口114的不同组件。以动态编程语言(诸如JavaScript)来指定用户接口元素的行为。以标记语言(诸如超文本标记语言(HTML)或XML用户接口语言(XUL))来指定用户接口元素的内容。以样式表语言(诸如层叠样式表(CSS))来指定用户接口元素的布局。替代地，以一种或多种其他语言(诸如Java、C或C++)来指定用户接口114。
[0027]在一个或多个实施例中，性能调优引擎102指被配置为执行本文描述的用于基于隐含的数据特性的动态性能调优的操作的硬件和/或软件。下文参照图2描述了用于基于隐含的数据特性的动态性能调优的操作的示例。
[0028]在实施例中，性能调优引擎102包括数据归类组件104。数据归类组件104可以指被配置为执行本文描述的用于识别来自用户的输入的操作(包括像可以通过引用并入的此类操作)的硬件和/或软件。
[0029]在实施例中，性能调优引擎102包括类别分析组件106。类别分析组件106可以指被配置为执行查询建议的生成和/或识别的硬件和/或软件。
[0030]在实施例中，性能调优引擎102包括存储配置管理器106。存储配置管理器106可以指被配置为执行一个所选择的查询的选择的硬件和/或软件。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种或多种包括指令的非暂态计算机可读介质，所述指令在由一个或多个硬件处理器执行时，使得执行包括以下的操作：以第一频率接收对第一数据集的更新；基于所述第一频率从多个存储配置中选择用于存储所述第一数据集的第一存储配置；根据所述第一存储配置来存储所述第一数据集；以第二频率接收对第二数据集的更新；基于所述第二频率从所述多个存储配置中选择用于存储所述第二数据集的第二存储配置，其中所述第二存储配置与所述第一存储配置不同；以及根据所述第二存储配置来存储所述第二数据集。2.根据权利要求1所述的介质，其中基于所述第一频率选择用于存储所述第一数据集的第一存储配置包括：基于所述第一频率为所述第一数据集选择多个类别中的第一类别；以及选择与所述第一类别对应的、用于存储所述第一数据集的第一存储配置。3.根据权利要求1所述的介质，其中所述操作还包括：基于所述第一频率，将所述第一数据集归类为标识符数据；其中选择第一存储配置基于所述第一数据集被归类为标识符数据；基于所述第二频率，将所述第二数据集归类为用例数据；其中选择第二存储配置基于所述第二数据集被归类为用例数据；基于接收对第三数据集的更新的第三频率，将所述第三数据集归类为运行时数据；基于所述第三数据集被归类为运行时数据，选择用于存储所述第三数据集的第三存储配置。4.根据权利要求1所述的介质，其中所述指令在由所述一个或多个处理器执行时，还使得执行以下操作：确定所述第一数据集和所述第二数据集之间的关系；基于所述关系，使用所述第一数据集和所述第二数据集来预先计算联接操作。5.根据权利要求1所述的介质，其中所述指令在由所述一个或多个处理器执行时，还使得执行以下操作：接收与所述第一数据集对应的附加数据；至少部分地基于所述附加数据，选择新的存储配置；以及根据所述新的存储配置来存储所述第一数据集。6.根据权利要求1所述的介质，其中所述指令在由所述一个或多个处理器执行时，还使得执行以下操作：至少部分地基于所述第一存储配置，创建与所述第一数据集相关联的索引。7.一种方法，所述方法包括：以第一频率接收对第一数据集的更新；基于所述第一频率从多个存储配置中选择用于存储所述第一数据集的第一存储配置；根据所述第一存储配置来存储所述第一数据集；以第二频率接收对第二数据集的更新；基于所述第二频率从所述多个存储配置中选择用于存储所述第二数据集的第二存储
配置，其中所述第二存储配置与所述第一存储配置不同；以及根据所述第二存储配置来存储所述第二数据集，其中所述方法由包括硬件处理器的至少一个设备来执行。8.根据权利要求7所述的方法，其中基于所述第一频率选择用于存储所述...

【专利技术属性】
技术研发人员：J，
申请(专利权)人：甲骨文国际公司，
类型：发明
国别省市：