使用沙漏预测器生成对象的方法技术

公开了一种用于生成2D或3D对象的计算机实现的方法，包括在第一组训练数据上训练自动编码器以识别第一组潜变量并生成第一组输出数据；在第二组训练数据上训练沙漏预测器，其中沙漏预测器编码器将一组相关但不同的训练输入数据转换为第二组潜变量，其解码成与第一组输出数据相同类型的第二组输出数据；并且使用沙漏预测器基于与第二组输入数据相同类型的2D或3D对象来预测与第一组输出数据相同类型的2D或3D对象。型的2D或3D对象。型的2D或3D对象。

【技术实现步骤摘要】
【国外来华专利技术】使用沙漏预测器生成对象的方法


[0001]本公开总体上涉及一种用于通过使用来自相似类型的对象和相关对象的信息的沙漏预测器来生成二维或三维对象的系统和方法。本公开的各种实施例涉及将这些方法应用于牙科、正畸和耳部相关对象。

技术介绍

[0002]机器学习可用于从大组数据中得出信息并使用该数据生成新对象。但是，许多用于生成新对象的方法仅使用相似类型的对象。这些方法没有考虑不是来自对象本身的相关数据，因此可能会遗漏有关环境和其他因素的重要考虑。

技术实现思路

[0003]公开了一种被配置为生成输出数据的计算机实现的方法。该方法包括：
[0004]在第一组训练输入数据上训练自动编码器以识别第一组潜变量并生成第一组输出数据，其中，自动编码器包括第一编码器和第一解码器，其中，第一编码器将第一组输入数据转换为第一组潜变量，其中，第一解码器将第一组潜变量转换为第一组输出数据，其中，第一组输出数据至少与第一组训练输入数据基本相同；
[0005]训练沙漏预测器以返回第二组潜变量，其中，沙漏预测器包括第二编码器和第一解码器，其中，第二编码器将第二组训练输入数据转换为第二组潜变量，其中，第二组潜变量具有与第一组潜变量可比较的数据格式，第一解码器将第二组潜变量转换为至少与一组训练目标数据基本相同的第二组输出数据，并且第二组训练输入数据与第一组训练输入数据不同；和
[0006]对第三组输入数据使用沙漏预测器以生成第三组输出数据，其中，第三组输出数据是与第一组输出数据的数据格式可比较的数据格式。
[0007]典型的机器学习方法基于现有的相同类型的对象生成新对象。例如，可以通过在现有牙冠的大数据组上训练机器学习方法来生成牙冠。然而，以这种方式生成的牙冠并没有考虑到牙科环境的独特情况，例如可用空间。沙漏预测器添加来自牙科环境的信息以生成类似于牙科专业人员可针对一组独特的牙科环境制作的牙冠的牙冠。该实施例是沙漏预测器的灵活性的单个示例，因为沙漏预测器可以与任何相关的输入数据组一起使用。
[0008]沙漏预测器可以被配置为不仅基于相似对象而且基于相关对象来生成对象。例如，一个实施例使用沙漏预测器基于来自牙科患者的牙科环境生成牙冠。牙冠是一种牙齿修复体，它盖住或覆盖牙齿，使其恢复到正常的形状、大小或功能。牙科环境是牙冠或牙冠预备物周围对象的集合，包括但不限于：邻牙、对牙、牙龈、颌和/或预备物。目前，牙冠通常是根据牙科专业人士的判断手工制作或使用CAD软件手动设计的。这是耗时的，并且高度依赖于牙科专业人员的个人判断。
[0009]创建沙漏预测器的第一步骤是训练自动编码器。自动编码器获取输入数据，将输入数据编码为一组潜变量，然后将潜变量解码为输出数据，其中输出数据至少与输入数据
基本相同，如下所述。它们经常用于去噪应用，例如从数码照片中去除伪影。对象本身可能难以用作输入数据，因此，可以替代地使用对象的表示。例如，2D图像可以表示牙齿。
[0010]一个实施例使用变分自动编码器。变分自动编码器是一种自动编码器，其中潜变量是从概率分布生成的，而不是直接从编码器生成的。使用概率分布允许对数据进行内插，以便在没有类似输入数据的情况下进行合理的估计。例如，该概率分布可以从均值和标准偏差向量或方差的对数生成。
[0011]为了训练自动编码器，第一编码器将第一组训练输入数据转换为第一组潜变量，然后第一解码器将第一组潜变量转换为第一组输出数据。编码器和解码器可以是神经网络。神经网络的示例包括但不限于卷积神经网络和密集神经网络。
[0012]在涉及生成牙冠的实施例中，牙冠可以由采样矩阵表示。在下面讨论的过程中，采样矩阵表示3D对象。采样矩阵使得神经网络能够应用于三维对象，并且能够对多个三维对象给予一致对待，从而可以对它们进行比较。
[0013]自动编码器可以使用多个采样矩阵作为第一组训练输入数据。每个采样矩阵可以表示为第一组潜变量。在本实施例中，可以存在至少三个潜变量，每个潜变量可以是标量数。然后第一解码器将第一组潜变量中的每一个解码回采样矩阵。
[0014]当第一组输出数据与第一组输入数据至少基本相同时，训练完成。在自动编码器用于生成牙冠的实施例中，这可以通过生成的牙冠和原始牙冠表面上的点之间的平均距离来衡量，并且足够相似的阈值可以是等于或小于0.1毫米的平均距离。
[0015]训练自动编码器使第一组潜变量能够参数化一种类型的对象，并允许将潜变量被解码回采样矩阵，该矩阵对应于底层对象(underlying object)的表示。
[0016]然而，自动编码器本身只生成与输入数据相同类型的输出数据，不考虑其他约束。例如，创建牙冠的自动编码器可以只生成牙冠，而不考虑附加信息，例如牙冠的相邻牙齿。第二步，训练沙漏预测器，允许在生成新对象时并入附加信息。
[0017]沙漏预测器保持来自自动编码器的第一解码器不变。但是，它使用第二组训练数据，其中第二组训练输入数据具有与第一组训练数据不同但相关的底层对象。尽管这些数据组可能不是同一类型的对象，但它们可彼此相关，因为每个数据组具有一些关于另一数据组的信息。训练目标数据与第一组训练输入数据具有相同类型的底层对象。
[0018]例如，在制作牙冠的实施例中，第二组训练输入数据是从牙冠或预备部位的牙周围环境得出的一组采样矩阵，并且训练目标数据是适合这些周围环境的牙冠。具有一组数据将告诉我们有关另一组数据的一些信息，例如，针对一组特定周围环境设计的牙冠的大小将会揭示关于相邻牙齿之间距离的一些信息。
[0019]为了训练沙漏预测器，第二组训练输入数据通过第二编码器进行编码，以返回第二组潜变量。该第二组潜变量具有与第一组潜变量相同的数据格式。在生成牙冠的实施例中，潜变量组的数据格式是标量数的向量。第二组潜变量然后由第一解码器解码以返回第二组输出数据，其具有与第一组输出数据相同类型的底层对象。第二组输出数据可以至少基本匹配训练目标数据。请注意，这些步骤训练第二编码器返回第二组潜变量，这些潜变量可以被解码为与第一组输出数据相同类型的对象。
[0020]在生成牙冠的实施例中，可以使用牙冠周围环境的表示来训练第二编码器返回解码成牙冠的潜变量。当生成的牙冠至少基本上与初始牙冠相同时，训练可以完成，例如，通
过与上述用于训练自动编码器的步骤相同的度量。
[0021]一旦沙漏预测器被训练，它就可以用于生成第三组输出数据，其与第一组训练输入数据具有相同类型的底层对象，其中与底层对象相同类型的第三组输入数据作为第二组训练数据。
[0022]对于生成牙冠的实施例，这意味着给定一组牙周围环境，可以生成牙冠，该牙冠预测牙科专业人员将针对这些牙周围环境创建什么。沙漏预测器应用灵活；如下所述，它可以针对不同情况进行训练，生成不同类型的对象。
[0023]在一个实施例中，沙漏预测器可用于基于治疗前数字2D图像生成期望牙科设置的提出的数字2D图像。
[0024]期望的牙科设置表示为患者提出的牙科设置，并可用于设计牙齿修复本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于基于输出数据生成对象的计算机实现的方法，包括：在第一组训练输入数据上训练自动编码器以识别第一组潜变量并生成第一组输出数据，其中，所述自动编码器包括第一编码器和第一解码器，其中，所述第一编码器将所述第一组输入数据转换为第一组潜变量，其中，所述第一解码器将所述第一组潜变量转换为所述第一组输出数据，其中，所述第一组输出数据至少与所述第一组训练输入数据基本相同；训练沙漏预测器以返回第二组潜变量，其中，所述沙漏预测器包括第二编码器和所述第一解码器，其中，所述第二编码器将第二组训练输入数据转换为所述第二组潜变量，其中，所述第二组潜变量具有与所述第一组潜变量可比较的数据格式，通过所述第一解码器将所述第二组潜变量转换为至少与一组训练目标数据基本相同的第二组输出数据，并且所述第二组训练输入数据不同于所述第一组训练输入数据；和对第三组输入数据使用所述沙漏预测器以生成第三组输出数据，其中，所述第三组输出数据是与所述第一组输出数据可比较的数据格式，以及基于所述第三组输出数据生成所述对象。2.根据权利要求1所述的方法，其中，所述沙漏预测器能够用于基于治疗前数字2D图像生成期望牙齿设置的提出的数字2D图像。3.根据前述权利要求中的一项或多项所述的方法，其中，所述第一组潜变量和/或所述第二组潜变量被用作输入数据和/或输出数据的参数化。4.根据前述权利要求中的一项或多项所述的方法，其中，所述第一组训练输入数据、第二组训练输入数据、所述一组训练目标数据和/或第三组输入数据基于三维对象，例如3D对象的三维扫描。5.根据前述权利要求中的一项或多项所述的方法，其中，所述第一组训练输入数据、所述第二组训练输入数据、所述第三组输入数据、所述一组训练目标数据、所述第一组输出数据、所述第二组输出数据和/或所述第三组输出数据包括以下中的一个或多个：所述对象的2D图像、深度图、伪图像、点云、3D网格和/或体积数据。6.根据前述权利要求中的一项或多项所述的方法，其中，所述第一组训练输入数据、所述第二组训练输入数据、所述第三组输入数据、所述一组训练目标数据、所述第一组输出数据、所述第二组输出数据和/或所述第三组输出数据是对应的3D网格，对应于采样矩阵，其中，所述采样矩阵是通过包括以下的方法生成的：将初始三维网格变换为平面网格，所述初始三维网格包括第一组顶点和边，并且所述平面网格包括第二组顶点和边，其中：
‑
第二组顶点中的每个顶点是来自第一组顶点的顶点的变换，并且包括来自第一组顶点的顶点的值，并且
‑
第二组边中的每个边是来自第一组边的边的变换，并且包括来自第一组边的边的值；对所述平面网格进行采样以生成多个样本，使得所述多个样本中的每个样本包括：
‑
包括三个数值的三维坐标，其表示三维空间中的点，其中，所述三个数值直接从所述初始三维网格得出和/或获取，以及
‑
包括表示所述样本相对于所述多个样本中的其他样本的位置的数值的坐标；以及基于所述多个样本...

【专利技术属性】
技术研发人员：J，
申请(专利权)人：三形状股份有限公司，
类型：发明
国别省市：