【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及数据分析，尤其涉及用于分布式计算引擎的语义高速缓存的自动配置的方法和装置。
技术介绍
1、数据分析作业通常使用包含数百万或数十亿条记录的大型数据集。然而，结果可能仅取决于原始记录的一小部分。例如，由频繁地从大面积房屋中部署的传感器获取的记录组成的数据集可能非常大。然而，特定作业的结果可能只与这些记录中的一小部分有关。这种作业的一个典型示例(1)如下所示：
2、
3、其中，逗号分隔值(comma separated value，csv)是指使用逗号分隔值的分隔文本文件。此作业从一组csv文件中加载数据。然后，根据括号内的关联操作，作业过滤掉所有不包括高温的记录。在非限制性示例中，高温可以定义为大于或等于100°f。这样，只有在温暖时期气候温暖地区的记录才会影响最终计数。
4、用于大数据工作负载的分布式计算引擎采用了一种朴素的方法来处理如上所述负载的工作负载。用户以有向无环图(directed acyclic graph，dag)的形式提供作业。上面提供了一个简单的dag示例load→fil...
【技术保护点】
1.一种用于高速缓存的自动配置的计算机实现的方法，其特征在于，所述计算机实现的方法包括：
2.根据权利要求1所述的计算机实现的方法，其特征在于，选择候选包括：
3.根据上述权利要求中任一项所述的计算机实现的方法，其特征在于，预测一个或多个未来计划包括预测一系列计划。
4.根据上述权利要求中任一项所述的计算机实现的方法，其特征在于，预测一个或多个未来计划包括：
5.根据上述权利要求中任一项所述的计算机实现的方法，其特征在于，计划将内容插入所述高速缓存或从所述高速缓存中淘汰内容包括：
6.根据上述权利要求中任一项...
【技术特征摘要】
【国外来华专利技术】
1.一种用于高速缓存的自动配置的计算机实现的方法，其特征在于，所述计算机实现的方法包括：
2.根据权利要求1所述的计算机实现的方法，其特征在于，选择候选包括：
3.根据上述权利要求中任一项所述的计算机实现的方法，其特征在于，预测一个或多个未来计划包括预测一系列计划。
4.根据上述权利要求中任一项所述的计算机实现的方法，其特征在于，预测一个或多个未来计划包括：
5.根据上述权利要求中任一项所述的计算机实现的方法，其特征在于，计划将内容插入所述高速缓存或从所述高速缓存中淘汰内容包括：
6.根据上述权利要求中任一项所述的计算机实现的方法，其特征在于，计划将内容插入所述高速缓存或从所述高速缓存中淘汰内容包括：
7.根据权利要求5或6所述的计算机实现的方法，其特征在于，计算每个选定候选的所述得分包括：
8.根据权利要求6所述的计算机实现的方法，其特征在于，计划将内容插入所述高速缓存或从所述高速缓存中淘汰内容包括以下操作，其中，所述新内容的大小大于所述高速缓存的阈值大小：
9.根据权利要求6所述的计算机实现的方法，其特征在于，计划将内容插入所述高速缓存或从所述高速缓存中淘汰内容包括以下操作，其中，所述新内容的大小大于所述高速缓存的阈值大小：
10.根据权利要求8或9所述的计算机实现的方法，其特征在于，计算每个数据内容的所述大小得分包括：
11.根据上述权利要求中任一项所述的计算机实现的方法，其特征在于，计划将内容插入所述高速缓存或从所述高速缓存中淘汰内容包括：使用得分函数为候选或当前内容生成一个或多个得分，所述得分函数可使用内容的引用计数、反向引用距离、从存储中加载的存储输入/输出字节的大小估计或执行时间的时间估计中的一个或多个。
12.根据上述权利要求中任一项所述的计算机实现的方法，其特征在于，在所述高速缓存是多层高速缓存的情况下，使用从所述选定候选中的未挑选的最佳候选或淘汰的内容，从顶层到底层迭代地执行将内容插入所述高速缓存或从所述高速缓存中淘汰内容的计划，以在下一层中进行计划。
13.一种具有高速缓存的自动配置的系统，其特征...
【专利技术属性】
技术研发人员：西奥多罗斯·格孔图瓦斯，吉特·古普塔，雷晖，唐洪亮，唐宁晓，汤志豪，王勇，吴宁，许恒，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。