用于口内扫描的异物对象识别以及图像增强和/或滤波制造技术

在生成牙齿部位的虚拟3D模型的方法中，在口内扫描期间接收包括牙齿部位的多个图像的扫描数据。执行图像的分析。基于该分析在图像中识别可能具有已知特性的异物对象的表示。基于多个图像来生成牙齿部位的虚拟3D模型。通过将关于异物对象的附加数据添加到口内图像和/或虚拟3D模型或者从口内图像和/或虚拟3D模型中去除异物对象的数据来修改牙齿部位的图像和/或虚拟3D模型。如果图像被修改，则可以在生成虚拟3D模型之前对其进行修改，并且可以使用经修改的图像来生成虚拟3D模型。经修改的图像来生成虚拟3D模型。经修改的图像来生成虚拟3D模型。

【技术实现步骤摘要】
【国外来华专利技术】用于口内扫描的异物对象识别以及图像增强和/或滤波


[0001]本公开的实施例涉及口内扫描的领域，并且尤其涉及一种用于对在口内扫描期间生成的口内图像进行实时滤波的系统和方法。

技术介绍

[0002]在被设计为用于在口腔中插入牙科假体的修复程序中，在许多情况下应该准确测量并仔细研究要植入的假体的牙齿部位(dental site)，以便诸如牙冠、义齿(denture)或桥等假体可以例如被适当地设计和确定尺寸以适配到位。例如，良好的适配使机械应力能够在假体和颌之间正确传递，并防止经由假体和牙齿部位之间的界面感染牙龈。
[0003]一些程序还要求制造可移除的假体来替换一颗或多颗缺失的牙齿(例如，部分或全部义齿)，在这种情况下，需要准确地复制缺失牙齿区域的表面轮廓(contour)，以便所得到的假体适配在无牙区上，对软组织施加均匀的压力。
[0004]在一些实践中，牙齿部位由牙科医生准备，并且使用已知方法来构建牙齿部位的阳物理模型。或者，可以扫描牙齿部位以提供牙齿部位的3D数据(即，以口内图像的形式，例如高度图)。在任何一种情况下，牙齿部位的虚拟或真实模型都被发送到牙科实验室，该实验室基于模型制造假体。然而，如果模型在某些区域有缺陷或未被限定，或者如果准备没有针对容纳假体进行最佳配置，则假体的设计可能不是最佳的。例如，如果由准备所暗示的用于紧密适配的基底冠的插入路径会导致假体与相邻牙齿发生碰撞，则必须改变基底冠的几何形状以避免碰撞，这可能导致基底冠设计不太理想。此外，如果准备的包含终点线的区域缺乏限定，则可能无法适当地确定终点线，因此可能无法适当地设计基底冠的下边缘。事实上，在某些情况下，模型会被拒绝，然后牙科医生重新扫描牙齿部位，或重新进行准备，以便可以生产出合适的假体。
[0005]在正畸程序中，提供一个或两个颌的模型可能很重要。在虚拟地设计此类正畸程序的情况下，口腔的虚拟模型也是有益的。这种虚拟模型可以通过直接扫描口腔获得，或者通过产生牙列的物理模型，然后利用合适的扫描仪扫描模型来获得。
[0006]因此，在修复和正畸程序中，获得口腔中牙齿部位的三维(3D)模型是要执行的初始程序。当3D模型是虚拟模型时，牙齿部位的扫描越完整和越准确，虚拟模型的质量就越高，从而设计出(一个或多个)最佳假体或正畸治疗器械的能力就越大。
[0007]在口内扫描阶段(session)期间，通常会存在处于患者的口腔内的异物对象(foreign object)。此类异物对象可能降低生成的虚拟模型的准确度。例如，假设异物对象是牙弓的一部分，图像处理算法可能基于异物对象的形状来调整牙弓的一个或多个区的形状。此外，异物对象可能在不同口内图像的生成之间移动，这可能干扰图像配准。

技术实现思路

[0008]在本公开的第一方面中，一种方法包括：在牙齿部位的口内扫描期间接收包括口内图像的扫描数据；基于对扫描数据的分析在口内图像中识别(identify)异物对象的表
示；通过从口内图像中去除异物对象的表示来修改口内图像；在口内扫描期间接收包括牙齿部位的多个附加口内图像的附加扫描数据；以及使用经修改的口内图像和多个附加口内图像来生成牙齿部位的虚拟三维(3D)模型。
[0009]本公开的第二方面可以扩展本公开的第一方面。在本公开的第二方面中，该方法还包括：在牙齿部位的多个附加口内图像的一个或多个附加口内图像中识别异物对象的附加表示；以及通过从一个或多个附加口内图像去除异物对象的附加表示来修改一个或多个附加口内图像，其中，异物对象是在口内图像和一个或多个附加口内图像中在牙齿部位处具有相同位置的静止对象(stationary object)。
[0010]本公开的第三方面可以扩展本公开的第一方面或第二方面。在本公开的第三方面中，该方法还包括：分析扫描数据以确定以下中的至少一个：异物对象的反射率(reflectivity)、异物对象的衍射(diffraction)、异物对象对光波长的反应性、异物对象的纹理、异物对象的表面图案、异物对象的颜色或异物对象的形状；以及基于以下中的至少一个来识别异物对象的表示：异物对象的反射率、异物对象的衍射、异物对象对光波长的反应性、异物对象的纹理、异物对象的表面图案、异物对象的颜色或异物对象的形状。
[0011]本公开的第四方面可以扩展本公开的第一方面至第三方面。在本公开的第四方面中，该方法还包括：对口内图像执行图像处理以确定口内图像中的多个形状，该多个形状包括异物对象的形状；将口内图像中的多个形状与参考对象的多个已知形状进行比较；以及确定异物对象的形状与参考对象的已知形状相匹配作为比较的结果。
[0012]本公开的第五方面可以扩展本公开的第四方面。在本公开的第五方面中，该方法还包括：在牙齿部位的口内扫描之前执行以下操作：进入训练模式；在训练模式期间接收异物对象的多个图像；基于多个图像生成异物对象的虚拟模型；以及将异物对象的虚拟模型或异物对象的多个图像中的至少一个添加到参考对象库中，该参考对象库包括参考对象的多个已知形状。
[0013]本公开的第六方面可以扩展本公开的第一方面至第五方面。在本公开的第六方面中，该方法还包括：执行口内图像的图像处理以在口内图像中识别多个纹理或多个表面图案中的至少一个；确定非自然地出现在牙齿部位处的多个纹理中的纹理或多个表面图案中的表面图案中的至少一个；以及确定口内图像的具有非自然地出现在牙齿部位处的纹理或表面图案中的至少一个的区域的轮廓，其中，从口内图像中去除口内图像的在轮廓内的区域。
[0014]本公开的第七方面可以扩展本公开的第六方面。在本公开的第七方面中，确定非自然地出现在牙齿部位处的纹理或表面图案中的至少一个包括以下中的至少一个：a)将口内图像中识别出的多个纹理与参考对象的多个已知纹理进行比较，并且确定至少一个纹理与参考对象的已知纹理相匹配作为比较的结果；b)将口内图像中识别出的多个表面图案与参考对象的多个已知表面图案进行比较，并且确定至少一个表面图案与参考对象的已知表面图案相匹配作为比较的结果；c)将口内图像中识别出的多个纹理与自然地出现在牙齿部位处的多个已知纹理进行比较，并且确定至少一个纹理与自然地出现在口中的任何已知纹理不匹配作为比较的结果；或者d)将口内图像中识别出的多个表面图案与自然地出现在牙齿部位处的多个已知表面图案进行比较，并且确定至少一个表面图案与自然地出现在口中的任何已知表面图案不匹配作为比较的结果。
[0015]本公开的第八方面可以扩展本公开的第一方面至第七方面。在本公开的第八方面中，该方法还包括：执行口内图像的图像处理以在口内图像中识别多个颜色；确定多个颜色中非自然地出现在牙齿部位处的至少一个颜色；以及确定口内图像的具有非自然地出现在牙齿部位处的至少一个颜色的区域的轮廓，其中，从口内图像中去除口内图像的在轮廓内的区域。
[0016]本公开的第九方面可以扩展本公开的第八方面。在本公开的第九方面中，该方法还包括：确定非自然地出现在牙齿部位处的至少一个颜色包括对口内图像的每个像素或体素执行以下操作：本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：接收包括牙齿部位的多个图像的口内扫描数据；基于所述多个图像生成所述牙齿部位的虚拟三维3D模型；对所述牙齿部位的图像执行分析；在所述图像中识别参考对象的表示，其中，所述参考对象具有一个或多个已知特性；以及通过基于所述参考对象的一个或多个已知特性将关于所述参考对象的附加数据添加到所述图像或所述虚拟3D模型中的至少一个来修改所述牙齿部位的所述图像或所述虚拟3D模型中的至少一个。2.根据权利要求1所述的方法，其中，所述图像是用于生成所述虚拟3D模型的牙齿部位的所述多个图像中的一个，其中，通过将关于所述参考对象的附加数据添加到所述图像来修改所述图像，并且其中，被修改的图像用于生成所述牙齿部位的虚拟3D模型。3.根据权利要求2所述的方法，还包括：对所述图像执行图像处理以确定在所述图像中表示的可能对象，其中，所述可能对象包括一个或多个物理特性；将所述可能对象的一个或多个物理特性与所述参考对象的一个或多个已知特性进行比较；作为所述比较的结果，确定所述可能对象的一个或多个物理特性与所述参考对象的一个或多个已知特性相匹配；以及确定所述可能对象是所述参考对象。4.根据权利要求3所述的方法，其中，所述一个或多个物理特性包括反射率、衍射、对光波长的反应性、纹理、表面图案、颜色或形状中的至少一个。5.根据权利要求1所述的方法，其中，执行所述图像的分析包括将所述图像输入到机器学习模型中，所述机器学习模型被训练为识别一种或多种类型的参考对象，其中，所述机器学习模型输出所述参考对象在所述图像中的表示的指示。6.根据权利要求1所述的方法，还包括：通过将所述虚拟3D模型投影到平面上来生成要被执行分析的图像。7.根据权利要求6所述的方法，还包括：在口内扫描期间，基于经修改的图像生成所述牙齿部位的视图，其中，所述视图包括基于关于所述参考对象的附加数据的所述参考对象的略图；在所述口内扫描期间接收所述牙齿部位的多个附加图像；基于所述多个附加图像替换所述参考对象的形状的一个或多个部分；以及更新所述牙齿部位的视图，经更新的视图示出所述参考对象的形状的已被替换的那些部分。8.根据权利要求1所述的方法，其中，识别所述参考对象的表示包括：使用机器学习模型处理所述图像，所述机器学习模型已经被训练为识别牙齿部位处的一个或多个异物对象；以及接收所述机器学习模型的输出，其中，所述输出包括二元掩膜，所述二元掩膜具有与所述图像中的像素或体素的数量相等的元素的数量，其中，与作为所述参考对象的部分的像
素或体素相关联的元素具有第一值，并且其中，与不是所述参考对象的部分的像素或体素相关联的元素具有第二值。9.根据权利要求1所述的方法，还包括：在接收所述口内扫描数据之前执行以下操作：进入训练模式；在所述训练模式期间接收所述参考对象的多个图像；基于所述参考对象的多个图像生成所述参考对象的虚拟模型；以及将所述参考对象的虚拟模型或所述参考对象的多个图像之中的至少一个添加到参考对象库，所述参考对象库包括多个参考对象的条目。10.根据权利要求1所述的方法，还包括：接收所述参考对象在所述牙齿部位处的指示，所述指示包括所述参考对象的标识；使用所述参考对象的标识来查询包括对于多个参考对象的条目的参考对象库；接收对所述查询的回应，所述回应包括与所述参考对象相关联的数据；以及使用所述数据来在所述图像中识别参考对象。11.根据权利要求1所述的方法，其中，所述一个或多个已知特性包括以下中的至少一个：所述参考对象的已知反射率、所述参考对象的已知衍射、所述参考对象对光波长的已知反应性、所述参考对象的已知纹理、所述参考对象的已知表面图案、所述参考对象的已知颜色或所述参考对象的已知形状。12.根据权利要求1所述的方法，还包括：确定与所述参考对象相关联的置信度值；确定所述置信度值低于置信度阈值；呈现对以下各项的选项：a)将关于所述参考对象的附加数据添加到所述图像或所述虚拟3D模型中的至少一个，或b)使所述参考对象在所述图像或所述虚拟3D模型中的至少一个中的表示保持不变；以及接收对将关于所述参考对象的附加数据添加到所述图像或所述虚拟3D模型中的至少一个的用户选择。13.根据权利要求1所述的方法，其中，所述参考对象包括导致所述参考对象的口内扫描具有降低的准确度的形状或材料中的至少一个。14.一种包括指令的非瞬时性计算机可读介质，所述指令在由处理装置执行时使所述处理装置执行包括以下各项的操作：接收包括牙齿部位的口内图像的口内扫描数据；执行所述口内图像的分析以a)识别在所述口内图像中表示的异物对象，以及b)确定所述异物对象是具有一个或多个已知特性的参考对象的实例；通过基于所述参考对象的一个或多个已知特性将关于所述异物对象的附加数据添加到所述口内图像来修改所述口内图像；接收附加的口内扫描数据，所述附加的口内扫描数据包括所述牙齿部位的多个附加口内图像；以及基于经修改的口内图像和所述多个附加口内图像生成所述牙齿部位的虚拟三维3D模型。15.根据权利要求14所述的非瞬时性计算机可读介质，其中，执行所述口内图像的分析
包括：对所述口内图像执行图像处理以确定所述口内图像中的多个可能对象，其中，所述多个可能对象中的每一个包括一个或多个物理特性；对于所述多个可能对象中的每一个，将所述可能对象的一个或多个物理特性与参考对象的多个已知特性进行比较；作为所述比较的结果，确定所述多个可能对象中的可能对象的一个或多个物理特性与所述参考对象的一个或多个已知特性相匹配；以及确定所述可能对象是所述口内部位处的异物对象。16.根据权利要求15所述的非瞬时性计算机可读介质，其中，所述一个或多个物理特性包括反射率、衍射、对光波长的反应性、纹理、表面图案、颜色或形状中的至少一个。17.根据权利要求14所述的非瞬时性计算机可读介质，其中，在口内扫描期间接收所述口内扫描数据和所述附加的口内扫描数据，其中，所述附加数据包括所述异物对象的形状，并且其中，所述形状的至少一部分未在所述口内图像中示出，所述操作还包括：在所述口内扫描期间，基于经修改的口内图像生成所述牙齿部位的视图，其中，所述视图包括基于关于所述异物对象的附加数据的所述异物对象的略图；基于所述多个附加口内图像替换所述异物对象的形状的一个或多个部分；以及更新所述牙齿部位的视图，经更新的视图示出所述异物对象的形状的已被替换的那些部分。18.根据权利要求17所述的非瞬时性计算机可读介质，其中，在所述虚拟3D模型中表示的所述异物对象的至少一部分基于关于所述异物对象的附加数据而不是基于接收到的口内图像。19.根据权利要求14所述的非瞬时性计算机可读介质，所述操作还包括：在接收所述口内扫描数据之前执行以下操作：进入训练模式；在所述训练模式期间接收异物对象的多个图像；基于所述多个图像生成异物对象的虚拟模型；以及将异物对象的虚拟模型或异物对象的所述多个图像中的至少一个添加到参考对象库，所述参考对象库包括多个参考对象的条目。20.根据权利要求14所述的非瞬时性计算机可读介质，所述操作还包括：接收所述异物对象在牙齿部位处的指示，所述指示包括所述异物对象的标识；使用所述异物对象的标识查询包括多个参考对象的条目的参考对象库；接收对所述查询的响应，所述响应包括异物对象的一个或多个已知特性，所述一个或多个已知特性包括以下中的至少一个：异物对象的已知反射率、异物对象的已知衍射、异物对象对光波长的已知反应性、异物对象的已知纹理、异物对象的已知表面图案、异物对象的已知颜色或异物对象的已知形状；以及使用异物对象的所述一个或多个已知特性来在所述口内图像中识别异物对象。21.根据权利要求14所述的非瞬时性计算机可读介质，所述操作还包括：在修改所述口内图像之前执行以下操作：确定与异物对象相关联的置信度值；
确定所述置信度值低于置信度阈值；呈现对以下各项的选项：a)将关于所述异物对象的附加数据添加到所述口内图像，或b)使所述异物对象在所述口内图像中的表示保持不变；以及接收对将关于所述异物对象的附加数据添加到所述口内图像的用户选择。22.根据权利要求21所述的非瞬时性计算机可读介质，所述操作还包括：将对于所述异物对象的条目添加到已知异物对象的参考对象库。23.一种系统，包括：手持式扫描仪，其用于执行口内扫描；以及包括指令的非瞬时性计算机可读介质，所述指令在由处理器执行时，使所述处理器执行包括以下各项的操作：接收与牙齿部位的口内扫描相关联的口内图像；基于以下中的至少一个来在所述口内图像中识别异物对象的表示：所述异物对象的反射率、所述异物对象的衍射、所述异物对象对光波长的反应性、所述异物对象的纹理、所述异物对象的表面图案、所述异物对象的颜色、或所述异物对象的形状；通过向所述口内图像添加所述异物对象的更完整的表示来修改所述口内图像；在所述口内扫描期间接收所述牙齿部位的多个附加口内图像；以及使用经修改的口腔内图像和所述多个附加口内图像生成所述牙齿部位的虚拟三维3D模型。24.一种方法，包括：在牙齿部位的口内扫描期间接收包括口内图像的扫描数据；基于对所述扫描数据的分析来在所述口内图像中识别异物对象的表示；通过从所述口内图像中去除所述异物对象的表示来修改所述口内图像；在所述口内扫描期间接收包括所述牙齿部位的多个附加口内图像的附加扫描数据；以及使用经修改的口内图像和所述多个附加口内图像生成所述牙齿部位的虚拟三维3D模型。25.根据权利要求24所述的方法，还包括：在所述牙齿部位的多个附加口内图像的一个或多个附加口内图像中识别所述异物对象的附加表示；以及通过从所述一个或多个附加口内图像去除所述异物对象的附加表示来修改所述一个或多个附加口内图像；其中，所述异物对象是在所述口内图像和所述一个或多个附加口内图像中在所述牙齿部位处具有相同位置的静止对象。26.根据权利要求24所述的方法，还包括：分析所述扫描数据以确定以下中的至少一个：所述异物对象的反射率、所述异物对象的衍射、所述异物对象对光波长的反应性、所述异物对象的纹理、所述异物对象的表面图案、所述异物对象的颜色、或所述异物对象的形状；以及基于以下中的至少一个来识别所述异物对象的表示：所述异物对象的反射率、所述异物对象的衍射、所述异物对象对光波长的反应性、所述异物对象的纹理、所述异物对象的表
面图案、所述异物对象的颜色、或所述异物对象的形状。27.根据权利要求24所述的方法...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：阿莱恩技术有限公司，
类型：发明
国别省市：