生成分布式系统的规则编译器引擎装置、方法、系统和介质制造方法及图纸

确定经由分布式系统执行请求数据结构为被请求的计算所指定的输出规则，并将当前规则初始化成输出规则。查询规则查找表数据结构以确定与当前规则对应的匹配规则组。选择最佳匹配规则。通过添加与最佳匹配规则、最佳匹配规则的先例规则、以及每个先例规则的先例规则相对应的逻辑依赖图(LDG)节点和LDG边，生成LDG数据结构。确定执行复杂度度量值和分布式工作者进程组。LDG数据结构被划分成子图组。使用被分配至每个工作者进程的子图初始化每个工作者进程。协调被请求的计算的执行，获得与输出规则对应的LDG节点的计算结果。规则对应的LDG节点的计算结果。规则对应的LDG节点的计算结果。

【技术实现步骤摘要】
【国外来华专利技术】生成分布式系统的规则编译器引擎装置、方法、系统和介质
[0001]本公开内容描述了用于生成分布式系统的规则编译器引擎的装置、方法、系统和介质(以下称为“DSGRCE”)。本专利文件的部分公开内容包含受版权和/或掩膜作品保护的材料。版权和/或掩膜作品所有者不反对任何人对专利文献或专利公开内容的摹真复制，因为它出现在专利商标局的专利档案或记录中，但除非保留所有版权和掩膜作品的权利。
[0002]相关申请的交叉引用
[0003]申请人特此根据35U.S.C.
§
119要求于2019年3月14日提交的标题为“A DELCARATIVE SYNTAX AND RELATED METHODS,INTERFACE,ALGORITHMS AND PROCEDURES FOR BUILDING AND RUNNING SYSTEMS OF COMPLEX ANALYTICS”、档案no.LIY01.002的美国临时专利申请no.62/818,318的优先权。
[0004]申请人特此根据35U.S.C.
§
119要求于2019年8月27日提交的标题为“DECLARATIVE SYNTAX AND RELATED METHODS,INTERFACE,ALGORITHMS AND PROCEDURES FOR BUILDING AND RUNNING SYSTEMS OF COMPLEX ANALYTICS”、档案no.LIY01.004的美国临时专利申请no.62/892,085的优先权。
[0005]申请人特此根据35U.S.C.
§
119要求于2019年8月30日提交的标题为“DECLARATIVE SYNTAX AND RELATED METHODS,INTERLACE,ALGORITHMS AND PROCEDURES FOR BUILDING AND RUNNING SYSTEMS OF COMPLEX ANALYTICS”、档案no.3200
‑
101PV3的美国临时专利申请no.62/894,001的优先权。
[0006]前述申请的全部内容通过引用明确地并入本文。


[0007]本公开内容一般针对编译器。编译器是一种基本的计算机技术，它允许根据(例如，人类可读的)源代码以计算机实现的方式生成处理器可执行指令。DSGRCE实现对现有技术的改进。

技术介绍

[0008]编译器将以一种编程语言编写的计算机代码转换成不同的语言。
附图说明
[0009]附图和/或附录例示了根据本公开内容的不同示例性实施方式。
[0010]图1A
‑
C示出了DSGRCE的一个实施方式中的示例性架构。
[0011]图2A
‑
B示出了DSGRCE的一个实施方式中的数据流图。
[0012]图3示出了例示DSGRCE的一个实施方式中的规则预处理(RP)成分的逻辑流图。
[0013]图4示出了例示DSGRCE的一个实施方式中的逻辑依赖图生成(LDGG)成分的逻辑流图。
[0014]图5示出了例示DSGRCE的一个实施方式中的工作者子图分布(WSD)成分的逻辑流图。
[0015]图6示出了例示DSGRCE的一个实施方式中的工作者实例化(WI)成分的逻辑流图。
[0016]图7示出了例示DSGRCE的一个实施方式中的图执行(GE)成分的逻辑流图。
[0017]图8A
‑
C示出了例示DSGRCE的一个实施方式中的工作者计算(WC)成分的逻辑流图。
[0018]图9示出了例示DSGRCE的一个实施方式中的用户接口特征的屏幕截图的图。
[0019]图10示出了例示DSGRCE的一个实施方式中的用户接口特征的屏幕截图的图。
[0020]图11示出了例示DSGRCE的一个实施方式中的用户接口特征的屏幕截图的图。
[0021]图12示出了例示DSGRCE的一个实施方式中的用户接口特征的屏幕截图的图。
[0022]图13示出了例示DSGRCE的一个实施方式中的用户接口特征的屏幕截图的图。
[0023]图14示出了例示DSGRCE的一个实施方式中的用户接口特征的屏幕截图的图。
[0024]图15示出了例示DSGRCE的一个实施方式中的用户接口特征的屏幕截图的图。
[0025]图16示出了例示DSGRCE的一个实施方式中的用户接口特征的屏幕截图的图。
[0026]图17示出了例示DSGRCE的一个实施方式中的用户接口特征的屏幕截图的图。
[0027]图18示出了例示DSGRCE的一个实施方式中的用户接口特征的屏幕截图的图。
[0028]图19示出了例示DSGRCE的一个实施方式中的用户接口特征的屏幕截图的图。
[0029]图20示出了例示DSGRCE的一个实施方式中的用户接口特征的屏幕截图的图。
[0030]图21示出了例示DSGRCE的一个实施方式中的示例性DSGRCE协调器的框图。
具体实施方式
[0031]简介
[0032]DSGRCE介绍了一种规则编译器，其利用以领域专用语言(DSL)编写的规则声明(规则)和以宿主语言编写的单一(例如，相对于DSL)成分(原子)库来创建功能齐全且性能良好的分布式系统。例如，所得到的分布式系统可以用于解决数值和分析的问题。在一些实现方式中，DSL可以使用宿主语言的语言构造和功能，诸如数据类型、公共函数和运算符。在一些实施方式中，规则可以用于实现高级业务逻辑(例如，临时的、快速改变的和不可重复使用的)，而原子可以用于实施低级单一数值算法(例如，稳定的和可重复使用的)。
[0033]在不同的实施方式中，DSGRCE提供的一些益处可以包括：
[0034]1.DSGRCE生成的系统包含虚拟部件。虚拟部件不与任何特定的硬件或软件挂钩，与物理系统部件(例如，与具体硬件、软件和支持人员挂钩的部件)相比，它们需要最少的人工精力来创建、配置、测试和调谐。使用这种自动生成的虚拟部件使得可以轻松且高效地开发和测试系统更新。开发人员可以将精力集中在使用规则和原子来描述分析的逻辑上，然后使用规则编译器重新生成整个分布式系统，并立即看到改变的结果。
[0035]2.规则编译器相对于计算硬件和环境是不可知的，并且支持并行和分布式计算。DSGRCE生成的系统可以在单台计算机、GPU等上运行，也可以在云计算环境中并行运行以用于性能和可扩展性。
[0036]3.规则的语法足够丰富以捕获不同的系统配置而无需单独的系统配置文件，这大大简化了发布和部署进程，并且有利于快速且可靠地更新整个系统。
[0037]4.由于系统成分是虚拟的，因此可以通过规则编译器生成与生产环境相同的任意数量的开发(dev)和测试环境。
[0038]5.由于规则和原子的组限定了当前的系统能力，因此可以通过添加新的规则和原本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种生成分布式系统的规则编译器装置，包括：存储器；处理器，所述处理器与所述存储器通信，并被配置成发出存储在所述存储器中的多个处理指令，其中，所述处理器发出指令以：(a)经由所述处理器获得分布式系统执行请求数据结构；(b)经由所述处理器确定通过所述分布式系统执行请求数据结构为被请求的计算所指定的输出规则和所述输出规则的规则参数组，其中，当前规则被初始化成所述输出规则；(c)经由所述处理器查询规则查找表数据结构，以基于所述当前规则的识别元组确定与所述当前规则对应的匹配规则组；(d)经由所述处理器从所述匹配规则组中选择最佳匹配规则，其中，所述最佳匹配规则的规则参数组与所述当前规则的规则参数组最佳对应；(e)经由所述处理器，通过添加与所述最佳匹配规则、所述最佳匹配规则的先例规则、以及每个先例规则的先例规则相对应的逻辑依赖图节点和逻辑依赖图边，生成逻辑依赖图数据结构；(f)经由所述处理器确定与所生成的逻辑依赖图数据结构相关联的执行复杂度度量值；(g)经由所述处理器确定要被用于执行所述被请求的计算的分布式工作者进程组；(h)经由所述处理器，基于所述执行复杂度度量值将所生成的逻辑依赖图数据结构划分成子图组，其中，为所述分布式工作者进程组中的每个工作者进程分配所述子图组中的子图；(i)经由所述处理器，利用分配至所述分布式工作者进程组中的每个工作者进程的子图初始化相应的工作者进程；(j)经由所述处理器，通过所述分布式工作者进程组中的工作者进程协调对所述被请求的计算的执行，其中，每个相应工作者进程计算被分配至相应工作者进程的子图中的逻辑依赖图节点的结果；以及(k)经由所述处理器，从所述分布式工作者进程组中被分配了包含与所述输出规则对应的逻辑依赖图节点的子图的工作者进程，获得与所述输出规则对应的逻辑依赖图节点的计算结果。2.根据权利要求1所述的装置，其中，所述规则查找表数据结构包含识别元组到规则数据结构的映射组。3.根据权利要求2所述的装置，其中，规则数据结构包括引用相关联的具体原子数据结构的数据字段，所述具体原子数据结构实现通用原子接口的正演计算操作以计算结果。4.根据权利要求3所述的装置，其中，规则数据结构包括引用工厂函数的数据字段，所述工厂函数创建了相关联的具体原子数据结构的实例。5.根据权利要求1所述的装置，其中，识别元组包括有序列表，所述有序列表包括规则的名称空间和规则名称。6.根据权利要求1所述的装置，其中，识别元组包括基于有序列表所计算的散列值，所述有序列表包括规则的名称空间和规则名称。7.根据权利要求1所述的装置，其中，所述匹配规则组中存在单个规则，以及所述单个
规则被选择为所述最佳匹配规则。8.根据权利要求1所述的装置，其中，所述匹配规则组中存在多个规则，以及具有最小继承距离的规则被选择为所述最佳匹配规则。9.根据权利要求8所述的装置，其中，存在具有最小继承距离的多个规则，并基于规则参数的位置、规则参数的类型中的一者使用最终决胜技术选择所述最佳匹配规则。10.根据权利要求1所述的装置，其中，用来(e)生成所述逻辑依赖图数据结构的指令还包括指令以：(e1)经由所述处理器确定所述最佳匹配规则的逻辑依赖图节点识别符；(e2)或者，在经由所述处理器确定所述逻辑依赖图数据结构中还不存在所述逻辑依赖图节点识别符后：经由所述处理器，将与所述最佳匹配规则对应的新逻辑依赖图节点添加到所述逻辑依赖图数据结构，其中，所述新逻辑依赖图节点被分配所述逻辑依赖图节点识别符；当经由所述处理器确定所述当前规则不是所述输出规则之后，在所述新逻辑依赖图节点和与所述最佳匹配规则的依赖规则对应的逻辑依赖图节点之间添加逻辑依赖图边；经由所述处理器确定所述最佳匹配规则的先例规则组，其中，所述最佳匹配规则为所述先例规则组中的先例规则的依赖规则；以及经由所述处理器通过以下来处理所述先例规则组中的每个相应先例规则：将所述当前规则设置成相应的先例规则，并且重复元素(c)
‑
(e)；以及经由所述处理器返回至处理所述最佳匹配规则的依赖规则的先例规则，直到所述输出规则的先例规则被处理；(e3)或者，在经由所述处理器确定所述逻辑依赖图节点识别符已经存在于所述逻辑依赖图数据结构中之后：经由所述处理器，在与所述逻辑依赖图节点识别符相关联的现有逻辑依赖图节点和与所述最佳匹配规则的依赖规则对应的逻辑依赖图节点之间添加逻辑依赖图边；以及经由所述处理器返回至处理所述最佳匹配规则的依赖规则的先例规则。11.根据权利要求1所述的装置，其中，逻辑依赖图节点是包括数据字段的数据结构，该数据字段引用了对应规则的识别元组。12.根据权利要求1所述的装置，其中，逻辑依赖图边是引用另一逻辑依赖图节点的逻辑依赖图节点中的数据字段。13.根据权利要求1所述的装置，其中，所述执行复杂度度量值基于以下中的至少一者被确定：逻辑依赖图中的节点数、逻辑依赖图节点的输出张量大小之和、与逻辑依赖图关联的网络数据传输大小、所述被请求的计算的计算时间。14.根据权利要求1所述的装置，其中，所述分布式工作者进程组的基数基于可用工作进程的指定固定数量被确定。15.根据权利要求1所述的装置，其中，所述分布式工作者进程组的基数基于所述执行复杂度度量值和标定参数值被确定，其中，所述标定参数值基于下述中的至少一者被确定：目标处理时间、目标可用存储器、目标成本、目标数据传输大小。16.根据权利要求15所述的装置，其中，所述分布式工作者进程组的基数还基于平均工作者执行能力被确定。
17.根据权利要求1所述的装置，其中，被分配至每个相应工作者进程的子图中的节点的数量基于相应工作者的工作者执行能力被确定，其中，工作者执行能力基于下述中的至少一者被确定：处理器速度、存储器大小、网络速度。18.根据权利要求1所述的装置，其中，在所生成的逻辑依赖图数据结构中的至少一些逻辑依赖图节点在被分配至不同工作者进程的多个子图中被复写。19.根据权利要求1所述的装置，其中，所生成的逻辑依赖图数据结构包括利用内部逻辑依赖图数据结构的打包逻辑依赖图节点，其中，所述内部逻辑依赖图数据结构使用关联的打包原子数据结构被构造。20.根据权利要求19所述的装置，其中，所述内部逻辑依赖图数据结构与所述分布式工作者进程组中被分配了包含所述打包逻辑依赖图节点的子图的工作者进程在相同的存储器空间中。21.根据权利要求19所述的装置，其中，所述内部逻辑依赖图数据结构被分布于所述分布式工作者进程组中的多个工作者进程。22.根据权利要求1所述的装置，还包括：所述处理器发出指令以：提供所述逻辑依赖图数据结构的图表示；获取用户对所述图表示中的目标节点的选择；确定所述逻辑依赖图数据结构中与所述图表示中用户所选择的目标节点...

【专利技术属性】
技术研发人员：李亚东，
申请(专利权)人：李亚东，
类型：发明
国别省市：