用于动态加载基于图的计算的系统和方法技术方案
【技术实现步骤摘要】
用于动态加载基于图的计算的系统和方法(本申请是申请日为2011年6月15日、申请号为201180039226.7、专利技术名称为“动态加载基于图的计算”的申请的分案申请)相关申请的交叉引用本申请要求来自通过引用合并于此的、提交于2010年6月15日的美国申请序列第61/355,129号的优先权。
本专利技术涉及动态加载基于图的计算。
技术介绍
采用与图的顶点相关联的计算的组件和在对应于图的链接(弧、边)的组件之间的数据流，复杂的计算经常被表示为通过有向图的数据流(被称为“数据流图”)。组件可以包括：数据处理组件，其在一个或多个输入端口接收数据，处理数据和从一个或多个输出端口提供数据；和数据集组件，其用作数据流的源或接收器(sink)。在美国专利5,966,072，EXECUTINGCOMPUTATIONSEXPRESSEDASGRAPHS(执行表示为图的计算)中描述了实施这样基于图的计算的系统。
技术实现思路
在总的方面，一种用于在使用存储在数据存储系统中的编译后的数据流图的数据处理系统中处理数据的方法，该方法包括：接收多个作业单元，每个作业单元包括一个或多个作业元素...
【技术保护点】
一种用于在使用存储在数据存储系统中的编译后的数据流图的数据处理系统中处理数据的方法，该方法包括：接收多个作业单元，每个作业单元包括一个或多个作业元素；以及使用响应于接收第一作业单元加载到所述数据处理系统中的第一编译后的数据流图处理第一作业单元，该第一编译后的数据流图已被编译为代表第一数据流图的一个或多个数据结构，该第一数据流图包括通过代表数据处理组件之间的作业元素的流的链接所连接的代表数据处理组件的节点，该处理包括：(a)分析第一作业单元以便确定第一作业单元的特征，(b)从存储在所述数据存储系统中的包括接收到第一作业单元之前被编译的至少一些编译后的数据流图的多个编译后的数据...
【技术特征摘要】
2010.06.15 US 61/355,1291.一种用于在使用存储在数据存储系统中的编译后的数据流图的数据处理系统中处理数据的方法，该方法包括：接收多个作业单元，每个作业单元包括一个或多个作业元素；以及使用响应于接收第一作业单元加载到所述数据处理系统中的第一编译后的数据流图处理第一作业单元，该第一编译后的数据流图已被编译为代表第一数据流图的一个或多个数据结构，该第一数据流图包括通过代表数据处理组件之间的作业元素的流的链接所连接的代表数据处理组件的节点，该处理包括：(a)分析第一作业单元以便确定第一作业单元的特征，(b)从存储在所述数据存储系统中的包括接收到第一作业单元之前被编译的至少一些编译后的数据流图的多个编译后的数据流图识别一个或多个编译后的数据流图，用于处理具有第一作业单元的所确定的特征的作业单元，(c)将识别的一个或多个编译后的数据流图中的一个加载到数据处理程序中，其中在接收到第一作业单元之前，所述数据处理程序正在所述数据处理系统中运行，以及(d)使用第一数据流图从第一作业单元中的至少一个作业元素生成一个或多个输出作业元素。2.如权利要求1所述的方法，其中加载还包括从第一编译后的数据流图获取代表第一数据流图的数据结构以及将所获取的数据结构加载到所述数据处理程序中。3.如权利要求2所述的方法，其中所述数据处理程序包括第二数据流图，以及加载所获取的数据结构包括将第一数据流图嵌入在第二数据流图的包含组件中，该第二数据流图的包含组件被配置为提供第一进程以便执行第一数据流图中的数据处理组件。4.如权利要求2所述的方法，其中所述数据处理程序包括第二数据流图，以及加载所获取的数据结构包括将第一数据流图嵌入在第二数据流图的包含组件中，该嵌入包括：将从连接到所述包含组件的输入的链接接收的输入作业元素的流连接到第一数据流图的输入，以及将所生成的一个或多个输出作业元素连接到与所述包含组件的输出连接的链接。5.如权利要求2所述的方法，还包括：在生成一个或多个输出作业元素之后，卸载所获取的代表第一数据流图的数据结构；以及缓存作业元素，所述作业元素在第一作业单元到达之后和所获取的代表第一数据流图的数据结构的卸载之前到达的作业单元中。6.如权利要求1所述的方法，还包括：将第二编译后的数据流图加载到所述数据处理系统中，第二编译后的数据流图被编译为代表第二数据流图的数据结构，其中将识别的一个或多个编译后的数据流图中的一个作为第一编译后的数据流图加载到所述数据处理系统中包括，将第一数据流图嵌入在第三数据流图的第一包含组件中，以及将第二编译后的数据流图加载到所述数据处理系统中包括，将第二数据流图嵌入在第三数据流图的第二包含组件中。7.如权利要求1所述的方法，还包括：使用响应于接收第二作业单元加载到所述数据处理系统中的第二编译后的数据流图，在处理第一作业单元之后处理第二作业单元，第二编译后的数据流图被编译为代表第二数据流图的数据结构，处理第二作业单元包括：分析第二作业单元以便确定第二作业单元的特征；从存储在所述数据存储系统中的在接收到第二作业单元之前被编译的多个编译后的数据流图中识别一个或多个编译后的数据流图，用于处理具有第二作业单元的所确定的特征的作业单元；将识别的一个或多个编译后的数据流图中的一个作为第二编译后的数据流图加载到所述数据处理系统中；以及使用第二数据流图从第二作业单元中的至少一个作业元素生成一个或多个输出作业元素。8.如权利要求7所述的方法，其中将识别的一个或多个编译后的数据流图中的一个作为第一编译后的数据流图加载到所述数据处理系统中包括，将第一数据流图嵌入在第三数据流图的包含组件中，以及将识别的一个或多个编译后的数据流图中的一个作为第二编译后的数据流图加载到所述数据处理系统中包括，将第二数据流图嵌入在第三数据流图的包含组件中。9.如权利要求1所述的方法，其中分析第一作业单元包括读取用于包括在第一作业单元的作业元素中的编译后的数据流图的标识符，以及其中识别一个或多个编译后的数据流图包括将标识符与一个或多个编译后的数据流图相关联的一个或多个标识符进行匹配。10.如权利要求1所述的方法，其中分析第一作业单元包括识别表现第一作业单元的作业元素的特征的多个预定的类型中的一个，以及其中识别一个或多个编译后的数据流图包括确定对应于一个或多个编译后的数据流图的一个或多个数据流图被配置为处理特征在于识别的类型的作业元素。11.如权利要求1所述的方法，其中分析第一作业单元包括识别包括在第一作业单元的作业元素中的内容的属性，以及其中识别一个或多个编译后的数据流图包括确定对应于一个或多个编译后的数据流图的一个或多个数据流图是否被配置为处理包括具有识别的属性的内容的作业元素。12.如权利要求1所述的方法，其中分析第一作业单元包括确定被指定为用于第一数据流图的第一组的一个或多个参数的值的、与第一作业单元相关联的一个或多个值，以及其中识别一个或多个编译后的数据流图包括确定利用该第一组的一个或多个参数将识别的一个或多个编译后的数据流图编译为代表第一数据流图的数据结构，该第一组的一个或多个参数绑定到匹配所确定的与第一作业单元相关联的一个或多个值的各个值。13.一种使用存储在数据存储系统中的编译后的数据流图来处理数据的数据处理系统，该数据处理系统包括：输入设备或端口，其被配置为接收多个作业单元，每个作业单元包括一个或多个作业元素；以及至少一个处理器，其被配置为使用响应于接收第一作业单元加载到所述数据处理系统中的第一编译后的数据流图处理第一作业单元，该第一编译后的数据流图被编译为代表第一数据流图的一个或多个数据结构，该第一数据流图包括通过代表数据处理组件之间的作业元素的流的链接所连接的代表数据处理组件的节点，该处理包括：分析第一作业单元以便确定第一作业单元的特征；从存储在所述数据存储系统中的包括接收到第一作业单元之前被编译的至少一些编译后的数据流图的多个编译后的数据流图中识别一个或多个编译后的数据流图，用于处理具有第一作业单元的所确定的特征的作业单元；将识别的一个或多个编译后的数据流图中的一个加载到数据处理程序中，其中在接收到第一作业单元之前，所述数据处理程序正在所述数据处理系统中运行；以及使用第一数据流图从第一作业单元中的至少一个作业元素生成一个或多个输出作业元素。14.如权利要求13所述的系统，其中加载还包括从第一编译后的数据流图获取代表第一数据流图的数据结构以及将所获取的数据结构加载到所述数据处理程序中。15.如权利要求14所述的系统，其中所述数据处理程序包括第二数据流图，以及加载所获取的数据结构包括将第一数据流图嵌入在第二数据流图的包含组件中，该第二数据流图的包含组件被配置为提供第一进程以便执行第一数据流图中的数据处理组件。16.如权利要求14所述的系统，其中所述数据处理程序包括第二数据流图，以及加载所获取的数据结构包括将第一数据流图嵌入在第二数据流图的包含组件中，该嵌入包括：将从连接到所述包含组件的输入的链接接收的输入作业元素的流连接到第一数据流图的输入，以及将生成的一个或多个输出作业元素连接到与所述包含组件的输出连接的链接。17.如权利要求14所述的系统，其中所述处理还包括，在生成一个或多个输出作业元素之后，卸载所获取的代表第一数据流图的数据结构；以及其中所述处理还包括缓存作业元素，所述作业元素在第一作业单元到达之后和所获取的代表第一数据流图的数据结构的卸载之前到达的作业单元中。18.如权利要求13所述的系统，其中所述处理还包括将第二编译后的数据流图加载到所述数据处理系统中，第二编译后的数据流图被编译为代表第二数据流图的数据结构，以及其中将识别的一个或多个编译后的数据流图中的一个作为第一编译后的数据流图加载到所述数据处理系统中包括，将第一数据流图嵌入在第三数据流图的第一包含组件中，以及将第二编译后的数据流图加载到所述数据处理系统中包括，将第二数据流图嵌入在第三数据流图的第二包含组件中。19.如权利要求13所述的系统，其中所述处理还包括使用响应于接收第二作业单元加载到所述数据处理系统中的第二编译后的数据流图，在处理第一作业单元之后处理第二作业单元，第二编译后的数据流图被编译为代表第二数据流图的数据结构，处理第二作业单元包括：分析第二作业单元以便确定第二作业单元的特征；从存储在所述数据存储系统中的在接收到第二作业单元之前被编译的多个编译后的数据流图中识别一个或多个编译后的数据流图，用于处理具有第二作业单元的所确定的特征的作业单元；将识别的一个或多个编译后的数据流图中的一个作为第二编译后的数据流图加载到所述数据处理系统中；以及使用第二数据流图从第二作业单元中的至少一个作业元素生成一个或多个输出作业元素。20.如权利要求19所述的系统，其中将识别的一个或多个编译后的数据流图中的一个作为第一编译后的数据流图加载到所述数据处理系统中包括，将第一数据流图嵌入在第三数据流图的包含组件中，以及将识别的一个或多个编译后的数据流图中的一个作为第二编译后的数据流图加载到所述数据处理系统中包括，将第二数据流图嵌入在第三数据流图的包含组件中。21.如权利要求13所述的系统，其中分析第一作业单元包括读取用于包括在第一作业单元的作业元素中的编译后的数据流图的标识符；以及其中识别一个或多个编译后的数据流图包括将标识符与一个或多个编译后的数据流图相关联的标识符进行匹配。22.如权利要求13所述的系统，其中分析第一作业单元包括识别表现第一作业单元的作业元素的特征的多个预定的类型中的一个，以及其中识别一个或多个编译后的数据流图包括确定对应于一个或多个编译后的数据流图的数据流图被配置为处理特征在于识别的类型的作业元素。23.如权利要求13所述的系统，其中分析第一作业单元包括识别包括在第一作业单元的作业元素中的内容的属性，以及其中识别一个或多个编译后的数据流图包括确定对应于一个或多个编译后的数据流图的数据流图被配置为处理包括具有识别的属性的内容的作业元素。24.如权利要求13所述的系统，其中分析第一作业单元包括确定被指定为用于第一数据流图的第一组的一个或多个参数的值的、与第一作业单元相关联的一个或多个值，以及其中识别一个或多个编译后的数据流图包括确定利用该第一组的一个或多个参数将识别的一个或多个编译后的数据流图编译为代表第一数据流图的数据结构，该第一组的一个或多个参数绑定到匹配所确定的与第一作业单元相关联的一个或多个值的...
【专利技术属性】
技术研发人员：M·D·奥特博里，H·M·布罗姆利，W·梅萨德，A·波波夫，S·施米特，C·W·斯坦菲尔，J·S·沃雷三世，
申请(专利权)人：起元技术有限责任公司，
类型：发明
国别省市：美国,US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。