数据流上的数字信号处理制造技术

本文描述的技术和系统涉及提供数字信号处理(DSP)操作与通用查询处理器的深度集成。这些技术和系统提供一致的查询语言以用于处理时间关系和信号数据，提供用于定义DSP操作符的机制，以及支持离线和在线分析中的递增计算。这些技术和系统包括接收流数据，聚合和执行统一性处理以生成统一信号，以及以批量列表示存储统一信号。可以将数据从批量列表示复制到循环缓冲器，其中DSP操作被应用于数据。递增处理可以避免冗余处理。通过减少在单独的查询数据库和DSP处理器之间来回传递的数据量，以及通过减少处理和/或存储器使用的等待时间来提供对计算机的功能的改进。

【技术实现步骤摘要】
【国外来华专利技术】数据流上的数字信号处理
技术介绍
大量数据越来越多地源自传感器和设备的网络。查询处理和数据分析平台可以分析数据，以便从数据中得到洞察力。在一些实例中，这种大量数据的有效分析可能难以以成本有效的方式执行。此外，可以在使用关系操作符来处理数据的上下文中采用一组技术，而可以在执行数字信号处理的上下文中采用另一组技术。另外，可以在在线数据分析和离线时间关系数据的上下文中采用不同的技术。然而，为了实现跨在线和离线数据的不同架构的分析，必须使用多种技术。跨多种技术分析数据和/或传输数据可能在计算上是昂贵的、低效的和耗时的。
技术实现思路
本文描述的技术和/或系统涉及提供数字信号处理(DSP)操作与通用查询处理器的深度集成。本文描述的技术和/或系统提供用于处理时间关系和信号数据的一致的查询语言，提供用于定义DSP操作符的机制，并且支持离线和在线分析中的递增计算。DSP操作和查询处理的深度集成可以通过减少必须在单独的查询数据库和DSP处理器之间来回传递的数据量来改进计算机的功能。此外，DSP操作和查询处理的深度集成减少了处理的等待时间，并且允许以每天数万亿数据事件的量级对大量数据事件进行实时处理。提供本专利技本文档来自技高网...

【技术保护点】
1.一种系统，包括：一个或多个处理器；以及存储器，其存储模块，所述模块当由所述一个或多个处理器执行时，使得所述系统执行包括以下的操作：接收来自多个传感器的流数据，所述流数据包括与第一时间值相关联的第一多个有效载荷和与第二时间值相关联的第二多个有效载荷；对所述流数据应用聚合操作以生成聚合流数据，所述聚合流数据包括与所述第一时间值相关联的第一单个有效载荷和与所述第二时间值相关联的第二单个有效载荷；对所述聚合流数据应用插值操作以生成统一信号，其中所述统一信号包括基于所述第一单个有效载荷的第一插值后的值和基于所述第二单个有效载荷的第二插值后的值，其中所述第一插值后的值和所述第二插值后的值与统一采样周期...

【技术特征摘要】
【国外来华专利技术】2016.05.11 US 15/152,3691.一种系统，包括：一个或多个处理器；以及存储器，其存储模块，所述模块当由所述一个或多个处理器执行时，使得所述系统执行包括以下的操作：接收来自多个传感器的流数据，所述流数据包括与第一时间值相关联的第一多个有效载荷和与第二时间值相关联的第二多个有效载荷；对所述流数据应用聚合操作以生成聚合流数据，所述聚合流数据包括与所述第一时间值相关联的第一单个有效载荷和与所述第二时间值相关联的第二单个有效载荷；对所述聚合流数据应用插值操作以生成统一信号，其中所述统一信号包括基于所述第一单个有效载荷的第一插值后的值和基于所述第二单个有效载荷的第二插值后的值，其中所述第一插值后的值和所述第二插值后的值与统一采样周期和偏移值相关联；将所述统一信号以批量列表示存储在所述存储器中，其中所述批量列表示至少包括第一列阵列和第二列阵列，所述第一列阵列包括在所述存储器中物理上邻近地存储的多个数据字段，所述多个数据字段中的第一数据字段存储所述第一插值后的值并且所述多个数据字段中的第二数据字段存储所述第二插值后的值，所述第二列阵列至少包括与第一数据批次相关联的分组键的第一阵列以及与第二数据批次相关联的分组键的第二阵列；从存储在所述存储器中的所述批量列表示访问所述第一列阵列，所述访问在不访问所述第二列阵列的情况下被执行；根据数据窗口至少将所述第一数据字段和所述第二数据字段存储在循环缓冲器中，所述数据窗口与从包括快速傅里叶变换、卷积、有限脉冲响应和无限脉冲响应的组选择的数字信号处理(DSP)操作相关联；以及对存储在所述循环缓冲器中的所述第一数据字段和所述第二数据字段应用所述DSP操作以生成第一DSP输出。2.根据权利要求1所述的系统，其中：所述流数据还包括与第三时间值相关联的第三多个有效载荷；所述聚合流数据还包括与所述第三时间值相关联的第三单个有效载荷；所述统一信号还包括基于所述第三单个有效载荷的第三插值后的值，并且其中所述第三插值后的值与所述统一采样周期和所述偏移值相关联；以及所述第一列阵列还将所述第三插值后的值存储在所述多个数据字段中的第三数据字段中；以及其中所述操作还包括：确定所述DSP操作已经处理了与所述数据窗口相关联的所述第一数据字段和所述第二数据字段；根据与所述DSP操作相关联的递增数据窗口至少将所述第三字段值存储在所述循环缓冲器中；对存储在所述循环缓冲器中的所述第三数据字段应用所述DSP操作以生成第二DSP输出；以及至少部分基于所述第一DSP输出和所述第二DSP输出确定更新的DSP输出。3.根据权利要求1或2中任一项所述的系统，其中在不访问所述第二列阵列的情况下访问所述第一列阵列通过减少所述系统的存储器使用和处理时间来改进所述系统的功能。4.根据权利要求1至3中任一项所述的系统，其中所述第一单个有效载荷包括函数有效载荷，并且其中生成所述统一信号至少包括在所述第一时间值处对所述函数有效载荷求值以生成所述第一插值后的值。5.根据权利要求1至4中任一项所述的系统，其中所述操作还包括处理存储在所述批量列表示中的多个数据批次，所述处理包括在所述多个数据批次中的所述第一数据批次和所述多个数据批次中的所述第二数据批次之间插入等待时间控制消息，所述等待时间控制消息用于启动所述第一数据批次的所述处理的完成。6.一种计算机实现的方法，包括：从一个或多个传感器接收流数据；对所述流数据应用聚合操作以生成聚合流数据；对所述聚合流数据应用统一性操作以生成统一信号；将...

【专利技术属性】
技术研发人员：B·钱德拉莫利，J·D·戈尔德斯泰恩，M·尼科利克，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国,US