记录的列状存储表示制造技术

计算机系统访问数据记录的集合。该集合中的每个记录包括多个数据值以及从该多个数据值标识出相对应数据值的语义的多个数据元素。一个或多个数据记录中的每个包括相同数据元素的多个实例，并且包括对应于该相同数据元素的多个实例的数据值。该计算机系统生成列状条带的集合。该列状条带集合包括来自数据记录集合中的每个数据记录的数据值。该列状条带集合中的每个列状条带包括对应于来自记录集合中的每个记录的具体数据元素的所有数据值。

【技术实现步骤摘要】
【国外来华专利技术】记录的列状存储表示相关申请的交叉引用本申请要求于2010年4月5日提交的第61/321106号美国临时申请和于2010年4月7日提交的第61/321688号美国临时申请的权益。
本文档总体上描述了用于生成并处理记录的列状存储表示的技术、方法、系统和机制。
技术介绍
本公开总体上涉及大规模分析数据处理。这样的数据处理在网络公司中且跨产业已经变得非常普遍，尤其是由于使得能够采集大量商业关键数据的低成本存储。将该数据放在分析师和引擎的指尖已经显得越来越重要；交互响应时间经常在数据探测、监视、在线消费者支持、快速成形、数据管线调试和其它任务中形成质量差异。按规模执行交互式数据分析要求高度并行、例如，使用当今的商品磁盘在一秒钟内读取一兆兆字节的压缩数据将需要数万个磁盘。类似地，CPU密集查询可能需要在数千个核上运行以在数秒之内完成。
技术实现思路
这里公开了一种用于数据分析的可扩展、交互式ad-hoc查询系统。通过将多级执行树与列状逐句布局相结合，所描述的系统和方法能够运行诸如整合查询之类的快速且高效的查询。描述了用于嵌套记录的列状存储表示，所述嵌套记录是可以在许多网络规模和科学数据集中使用的流行本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2010.04.05 US 61/321,106;2010.04.07 US 61/321,6881.一种计算机实现的方法，包括：由计算系统访问存储在计算机存储器中的数据记录集合，所述数据记录集合中的每个记录包括多个数据值以及标识出来自所述多个数据值的对应数据值的语义的多个数据元素，所述数据记录集合中的一个或多个数据记录中的每个包括相同数据元素的多个实例，并且包括对应于所述相同数据元素的所述多个实例的数据值；由所述计算系统生成列状条带集合，所述列状条带集合包括来自所述数据记录集合中的每个数据记录的所述数据值，所述列状条带集合中的每个列状条带包括对应于来自所述记录集合中的每个所述记录的具体数据元素的所有数据值；由所述计算系统针对所述列状条带集合中每个列状条带中的每个数据值生成以下数据：(i)其标识出来自所述数据记录集合的相应数据记录中的相应数据值的位置；以及(ii)其能够与所述列状条带一起使用以重构所述数据记录集合。2.根据权利要求1所述的方法，其中所述数据由重复值和定义值所构成。3.根据权利要求1至2中任一项所述的方法，进一步包括根据(i)所述列状条带集合中的所述列状条带，和(ii)所述数据来重构仅包含来自所述数据记录集合中的所述记录的数据元素的子集的记录集合。4.根据权利要求1至2中任一项所述的方法，进一步包括生成所述列状条带集合中每个特定数据值的重复值，以与所述列状条带集合中的所述数据值一起存储，其中每个特定数据元素的路径包括对所述特定数据元素的任意一个或多个父数据元素；其中每个特定数据值的所述重复值标识出对应于所述特定数据值的所述特定数据元素的所述路径中最近重复过的数据元素；其中所述特定数据元素的所述路径中的所述最近重复过的数据元素是在包括所述特定数据值的特定数据记录的分析期间在所述特定数据元素的所述路径中第二次遇到的数据元素，所述分析从所述特定数据值在所述特定数据记录中的位置向上朝着所述特定数据记录的开始进行。5.根据权利要求1至2中任一项所述的方法，其中所述数据元素集合中所包括的所述数据元素中的每个特定数据元素与包括对所述特定数据元素的任意一个或多个父数据元素的相应路径相关联；进一步包括生成所述数据记录集合中的每个特定路径或所述特定路径的部分的定义值，以与所述列状条带中的所述数据值一起存储；其中所述特定路径或所述特定路径的部分的定义级别标识出所述特定路径或路径的部分中所包括的数据元素的数量。6.根据权利要求1至2中任一项所述的方法，进一步包括：由所述计算系统从数据源集合接收信息，每个数据源包括未根据模式而结构化的信息；以及由所述计算系统通过根据所述模式对每个数据源中的所述信息进行结构化而生成所述数据记录集合中的每个数据记录。7.根...

【专利技术属性】
技术研发人员：A·古巴雷夫，S·梅尔尼克，J·J·隆，G·M·罗梅尔，N·施瓦屈玛尔，M·B·托尔顿，T·瓦西拉基斯，
申请(专利权)人：谷歌公司，
类型：
国别省市：