用于数据处理和计算的系统和方法技术方案

数据处理设备和计算机实现的方法被配置为并行执行数据中枢进程(6)以及计算模块(7)形式的多个进程，该数据中枢进程(6)包括至少一个将输入数据分段成数据片段的分段子进程(61)和至少一个为数据片段提供键从而创建键控数据片段的键控子进程(62)，其中数据中枢进程(6)将键控数据片段存储在共享存储器设备(4)中作为共享的键控数据片段，其中每个计算模块(7)被配置为访问至少一个共享存储器设备(4)以寻找特定于模块的数据片段，特定于模块的数据片段是用特定于计算模块(7)中的至少一个的至少一个键进行键控的共享的键控数据片段，并对特定于模块的数据片段执行机器学习方法，所述机器学习方法包括使用至少一个预训练的神经元网络(71)的数据解释和分类方法，并且将所执行的机器学习方法的结果输出到共享存储器设备(4)或另一个计算模块。储器设备(4)或另一个计算模块。储器设备(4)或另一个计算模块。

【技术实现步骤摘要】
【国外来华专利技术】用于数据处理和计算的系统和方法


[0001]本专利技术涉及数据处理和机器学习领域，并且具体地涉及采用机器学习的方法来处理任何种类的数据的数据处理，所述数据例如表示文本、图形数据(诸如图片或电影)或声音数据(诸如口语(理解和创造语言))，特别是组合类型的数据(诸如组合的图形数据和文本)，更一般地涉及一种具有权利要求1的前序部分的特征的数据处理设备、一种具有权利要求14的前序部分的特征的方法以及计算机程序。

技术介绍

[0002]US 6,879,946 B2公开了一种使用属性超图表示(AHR)来建模、变换和操纵对象的智能2D和3D对象和场景建模、变换和操纵的计算机化的方法。给定3D对象或场景的特征来构造AHR的过程与使用函子(functor)将不同类别彼此映射对应。不同类别表示3D对象或场景的例如几何、物理和图形表示。
[0003]US 6,964,037 B1公开了一种用于确定遗传图的余限(colimit)的计算机实现的方法。余限操作将概念粘合在一起，形成沿着共享子概念的共享并集。
[0004]US 7,319,951 B2公开了一种使用类别理论和认知科学为内容数据设计语义描述的方法。
[0005]US 10,360,503 B2公开了一种用于使用来自类别理论的概念来导出本体的系统。
[0006]这些文献不使用神经元网络作为机器学习方法，而是通常使用巨大的数据库。巨大的数据库的实施非常耗费硬件。
[0007]Tai
‑
Danae Bradley所著的文献“What is applied category theory？”(参见arXiv:1809.05923v2)涉及将类别理论应用于自然语言处理等领域。这种方法使用统计方法(参见第3.2章)，这不是轻松处理自然语言的最佳工具，因为这种方法在某种意义上过于僵硬，无法处理“软”自然语言，使得需要大量训练。
[0008]所需要的是更适合处理不同类型的数据(例如，诸如图形数据、文本、自然语言和组合类型的数据)的数据处理设备和处理数据的方法，使得它们提供更好的结果并且比现有技术具有更低的硬件要求。

技术实现思路

[0009]本专利技术的目的是提供一种数据处理设备和用于处理数据的方法，其可以处理不同类型的数据，特别是组合类型的数据，优选地以至少部分无监督的方式，并且具有比现有技术更低的硬件要求。
[0010]本公开的一个目的涉及根据权利要求1的数据处理设备，其能够被配置用于深度学习的不同方面，诸如计算机视觉(图像识别)、自然语言处理(语音识别)、机器人、车辆等的计算机控制的处置，以及认知计算的其它领域，诸如组合类型的数据(例如，图形数据与文本的组合)的处理。
[0011]本专利技术的另一个目的涉及根据权利要求14的方法，该方法能够实现深度学习的不
同方面，诸如计算机视觉(图像识别)、自然语言处理(语音识别)、机器人、车辆等的计算机控制的处置，以及认知计算的其它领域，诸如组合类型的数据(例如，图形数据与文本的组合)的处理。
[0012]本专利技术的又一个目的涉及根据权利要求27的计算机程序，当该程序由数据处理设备执行时，使得数据处理设备根据权利要求1或根据直接或间接地从属于其的任何权利要求进行配置或者执行权利要求14的方法。
[0013]本专利技术的实施例在从属权利要求中定义。
[0014]本专利技术建议使用大量计算模块，这在没有高硬件要求的情况下是可能的，因为通常在任何给定时间，所有计算模块中只有一小部分将处于活动状态并消耗相关量的CPU处理能力。空闲的计算模块消耗很少的CPU处理能力。大量的计算模块使得能够灵活地使用给定的数据处理设备，因为个体计算模块或计算模块的组可以针对不同类型的数据(例如，图形数据或自然语言数据)进行专门化，甚至对于数据的不同子类型(例如，不同几何对象形式的图形数据、不同的自然语言，...)进行专门化。
[0015]每个计算模块可以是简单的构造，例如仅具有一个或几个人工神经元网络以及输入和输出接口，但是在一些实施例中可以存在更复杂的构造，例如涉及具有关于数据处理的不同功能的分层结构层。
[0016]在一些实施例中，类别构造的使用允许数据处理设备至少部分地进行无监督学习，因为至少一些未知概念可以通过使用诸如交换图之类的类别构造来逻辑地导出。
[0017]在一些实施例中，通过将随机信号输入到至少一些计算模块的至少一个神经元网络的一个或几个人工神经元中，数据处理设备可以想到新的概念。这些新的概念可以由数据处理设备通过使用类别构造和/或通过使用外部信息(诸如教导者的确认或从外部数据库提取信息)在内部进行核实。一旦新的概念得到核实，数据处理设备就可以使用它来分析数据和/或进行无监督学习。
[0018]术语：
[0019]术语“数据处理”被理解为涵盖用于任何种类的目的的捕获数据、执行数据分析和输出数据中的至少一种。
[0020]术语“数据分析”被理解为涵盖用于任何种类的目的的检查、变换、建模、解释、分类、可视化数据。
[0021]在本公开的上下文中使用的术语“处理实体”描述了可以独立读取和执行程序指令的CPU的最小实体。每个处理实体在操作系统看来都是可以以并行方式被寻址的独立处理器。每个CPU提供至少一个处理实体，但在高性能计算的上下文中，现代计算机系统通常具有多于一个处理实体。例如，CPU可以是具有多个核的多核处理器。核是CPU内部独立的实际处理单元，其可以独立于CPU的其它核读取和执行程序指令。另外，每个核可以允许多线程，即，一个物理核对操作系统来说表现为多个处理实体，有时称为“硬件线程”。在其它情况下，CPU的每个核可以是单个处理实体，或者CPU本身可以是单个处理实体。此外，应该理解的是，假定术语CPU涵盖GPU。
[0022]术语“机器学习”意在表示数据处理设备至少部分地通过暴露于数据而无需遵循明确编程的指令来实现期望性能的能力，例如，代替地依赖于模式和/或推理。机器学习方法包括使用人工神经元网络(在本公开中称为神经元网络)。
[0023]应该理解的是，在本公开的上下文中，“不同的”神经元网络可以指类型不同的网络(例如，经典或量子通用ANN或更具体的ANN，如多层前馈NN、RNN，诸如LSTM，...)和/或网络的特定设置(例如，神经元的数量、层数、层的类型、每层神经元的数量、神经元之间的连接、网络的其它参数，...)的网络。
[0024]术语“随机信号”是指在任何给定时刻取随机值并且只能随机建模的信号。
[0025]关于范畴论的数学语言，应用通常的术语。例如，对于范畴论的文档，可以参考以下文本：
[0026]Saunders Mac Lane，“Categories for the Working Mathematician”，第二版，1998年Springer
[0027]Robert Goldblatt，“Topoi”，修订版，2006年Dover Publications...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种数据处理设备(1)，包括：
·
至少一个第一接口(2)，用于接收输入数据(ID)
·
至少一个第二接口(3)，用于输出输出数据(OD)
·
至少一个共享存储器设备(4)，数据能够写入其中并且能够从其中读取数据
·
至少一个计算设备(5)，所述至少一个第一接口(2)和所述至少一个第二接口(3)以及所述至少一个共享存储器设备(4)连接到所述至少一个计算设备(5)，并且所述至少一个计算设备(5)被配置为：
‑
从所述至少一个第一接口(2)接收输入数据(ID)
‑
将输出数据(OD)发送到所述至少一个第二接口(3)
‑
从所述至少一个共享存储器设备(4)读取数据和向所述至少一个共享存储器设备(4)写入数据，其特征在于，所述至少一个计算设备(5)被配置为并行执行多个进程，所述多个进程至少包括：
‑
至少一个数据中枢进程(6)，所述至少一个数据中枢进程(6)从所述至少一个第一接口(2)和/或所述至少一个共享存储器设备(4)接收输入数据(ID)，并且包括至少一个键控子进程(62)，所述至少一个键控子进程(62)向输入数据(ID)的数据片段(S
i
)提供键(K
i
)，从而创建键控数据片段(KS
i
)，其中所述至少一个数据中枢进程(6)将键控数据片段(KS
i
)存储在所述至少一个共享存储器设备(4)中作为共享的键控数据片段(KS
i
)
‑
计算模块(7)形式的多个进程，其中每个计算模块(7)被配置为：*访问所述至少一个共享存储器设备(4)以查找特定于模块的数据片段，特定于模块的数据片段是用特定于计算模块(7)中的至少一个计算模块的至少一个键(K
i
)进行键控的共享的键控数据片段(KS
i
)*对特定于模块的数据片段执行机器学习方法，所述机器学习方法包括使用至少一个人工神经元网络(71)的数据解释和分类方法*将所执行的机器学习方法的结果输出到所述至少一个共享存储器设备(4)和至少一个其它计算模块(7)中的至少一个。2.如权利要求1所述的数据处理设备，其中所述多个计算模块(7)的至少一部分由具有分层垂直结构的计算模块(7)形成，所述分层垂直结构具有层(I
‑
VI)，和/或所述多个计算模块(7)的至少一部分通过计算组(16)的方式形成为水平结构。3.如权利要求1或权利要求2所述的数据处理设备，其中提供至少一个路由进程(28)，所述至少一个路由进程(28)将由计算模块(7)中的至少一个计算模块提供的输出指引到至少一个其它计算模块(7)和/或共享存储器设备(4)。4.如前述权利要求中的至少一项所述的数据处理设备，其中所述至少一个数据中枢进程(6)包括至少一个分段子进程(61)，所述至少一个分段子进程(61)将输入数据(ID)分段为数据片段(S
i
)，并保留共享的键控数据片段(KS
i
)是从相同输入数据(ID)中分段的信息。5.如权利要求4所述的数据处理设备，其中所述至少一个数据中枢进程(6)将键控数据片段(KS
i
)存储在所述至少一个共享存储器设备(4)中作为共享的键控数据片段(KS
i
)，并保留共享的键控数据片段(KS
i
)是通过使用机器学习技术从相同输入数据(ID)中分段的信
息，所述机器学习技术优选地是神经元网络。6.如前述权利要求中的至少一项所述的数据处理设备，其中数据处理设备(1)被配置为重复地检查所述多个计算模块(7)的至少一部分的神经元网络(71)的突触(24)的权重(w)，以确保它们不发散，优选地，重复地检查所述多个计算模块(7)全部的神经元网络(71)的突触(24)的权重(w)。7.如前述权利要求中的至少一项所述的数据处理设备，其中所述多个计算模块(7)的至少一部分被配置为表示类别构造，所述类别构造优选地选自至少包括以下的组：对象、态射、函子、交换图、非交换态射或函子、自然变换、拉回、前推、投影极限、归纳极限、子对象分类器。8.如前述权利要求所述的数据处理设备，其中数据处理设备(1)被配置为通过使用交换图确定未知对象和/或态射来进行无监督学习。9.如前两项权利要求中的一项所述的数据处理设备，其中数据处理设备(1)被配置为通过使用非交换态射或函子来创建空间和/或时间上的朝向感。10.如权利要求7至权利要求9中的至少一项所述的数据处理设备，其中随机信号发生器(27)被配置为将随机信号(RANDOM)输入到至少一些计算模块(7)的至少一个神经元网络(71)的至少一些人工神经元(21)，并且其中优选地提供随机信号(RANDOM)用于创建新概念，特别优选地是通过使用投影极限创建新概念。11.如权利要求7至权利要求10中的至少一项所述的数据处理设备，其中随机信号发生器(27)的随机信号(RANDOM)被输入到表示投影极限的一组计算模块(7)的至少一个神经元网络(71)的至少一些人工神经元(21)以生成随机数据集，所述随机数据集用于测试假设并近似模拟自然逻辑的全称量词12.如权利要求7至权利要求11中的至少一项所述的数据处理设备，其中数据处理设备(1)被配置为将相同的自然语言描述归因于示...

【专利技术属性】
技术研发人员：K，
申请(专利权)人：塞菲尔解决方案有限公司，
类型：发明
国别省市：