使用手机摄像头在家跟踪进度制造技术

本文提供了用于在正畸治疗期间监测对象牙齿的系统和方法。广角(例如，鱼眼)图像示出了对象牙列的两个牙弓的咬合视图，并且可以被输入到监测系统中，该监测系统被配置为将该图像与治疗计划进行比较，以确定对象牙齿的当前位置有多接近地遵循根据正畸治疗计划的预期位置或期望位置。位置或期望位置。位置或期望位置。

【技术实现步骤摘要】
【国外来华专利技术】使用手机摄像头在家跟踪进度
[0001]优先权声明
[0002]本专利申请要求2020年2月11日提交的题为“AT HOME PROGRESS TRACKING USING WIDE ANGLE CAMERA(使用广角摄像头在家跟踪进度)”的第62/975,148号美国临时专利申请的优先权，该美国临时专利申请的全部内容通过引用的方式并入本文。
[0003]援引并入
[0004]本说明书中提及的所有出版物和专利申请均以引用的方式整体并入本文，其程度与每个单独的出版物或专利申请被具体且单独地表示以引用的方式并入的程度相同。

技术介绍

[0005]正畸程序通常涉及将个体牙齿重新定位成期望的排列，以便矫正咬合不正和/或改善美学。为了实现这些目标，可以由正畸医师和/或个体自己将诸如牙箍、壳体矫治器等正畸器具施加到个体牙齿。器具可以被配置为在一颗或多颗牙齿上施加力，以便根据治疗计划实现期望的牙齿移动。
[0006]正畸矫治器可以包括在牙齿上可移除和/或可替换的装置。正畸矫治器可以作为正畸治疗计划的一部分提供。在一些涉及可移除和/或可替换的矫治器的正畸治疗计划中，可以在治疗过程中向个体提供多个正畸矫治器，以对个体牙齿进行增量式位置调整。正畸矫治器可以具有带内腔的聚合物槽，该内腔被成形为容纳牙齿并将牙齿从一个牙齿排列弹性地重新定位成接替的牙齿排列。正畸矫治器可以包括在牙齿上施加重新定位力的“主动”区域和将牙齿保持在其当前状态的“被动”区域。
[0007]治疗计划通常使用从个体牙齿的扫描或牙齿模具创建的3D牙齿模型。3D牙齿模型可以包括例如3D牙齿的原始牙齿点云、牙齿网格或简化的参数表示。
[0008]在涉及一系列牙齿矫治器的治疗计划的过程期间，不时地检查对象的牙齿以确认它们正在根据治疗计划以预期和/或期望的方式移动是有益的，这些牙齿矫治器被配置为将对象的牙齿移动成期望的构造。

技术实现思路

[0009]本文描述的是可以提供低成本且简化的方式以在治疗计划的一个或多个阶段确认治疗计划的方法和设备。特别地，这些方法和设备可以为患者或护理人员提供技术(例如，方法)和设备，以辅助跟踪或监测治疗计划而不需要使用昂贵或复杂的装置。例如，本文描述的是可以与患者或护理人员的个人电话一起使用的方法和设备。在一些示例中，附件或其他装置可以耦接到患者或护理人员的电话；这些附件装置可以适于与软件、硬件或固件一起使用，以辅助拍摄质量足够高的图像(或引导用户对象拍摄图像)，使得图像可以在治疗计划中准确地跟踪患者的牙齿。
[0010]本文特别关注的是用于辅助在本文中统称为“用户对象”的对象(例如，患者或护理人员，例如，父母、监护人等)收集一个或多个图像的方法和设备，该一个或多个图像具有足够的尺寸并具有关于距牙齿的距离等的足够信息，以便捕获足够的牙列，使得可以由一
个或多个自动化代理(包括机器学习代理、其他软件等)和/或人工代理(例如，技术员、牙科专业人员等)轻松地对牙列进行分析。尽管用户对象可能不同于用户专家，但用户对象可以是专业用户。例如，专业用户可以对患者使用本文描述的方法和/或设备，因此既充当用户对象又充当专业用户。
[0011]在一些示例中，可以指导用户对象使用电话摄像头拍摄患者牙齿和/或口腔的多个图像。在一些示例中，可以校准或设置电话摄像头，使得可以组合所得到的图像以形成整个上颌、下颌或上颌和下颌两者的一个或多个图像，并且电话摄像头可以处理所得到的一个或多个图像以标识、记录和/或跟踪对象上颌和/或下颌内一颗或多颗牙齿的移动。在一些示例中，可以包括一个或多个适配器(例如，附件)，该一个或多个适配器包括光学组件，例如一个或多个镜头等。在一些示例中，一个或多个镜头可以是广角(例如，“鱼眼”)镜头。
[0012]例如，这些方法和设备(例如，系统、装置等)中的任何一个可以使用对象操作的广角(例如，鱼眼)成像系统来捕获对象牙列的一个或多个图像(或在某些情况下，仅单个图像)，并确定(和/或向对象指示)对象是否需要去看牙齿计划提供方以修改或调整治疗计划。
[0013]本文描述的是用于在治疗过程期间监测牙科对象的进展的方法和系统。在治疗过程期间的任何特定时间点，可以从在开始治疗之前准备好的对象牙齿的三维(3D)模型及时拟定(project)对象牙齿在该时间点的预期位置的三维模型。在治疗过程期间，具有广角(例如，鱼眼)镜头的摄像头可用于拍摄对象牙齿(通常是一个或两个颌的咬合面)的二维(2D)图像(包括作为单个图像)。2D图像可以包括对象牙列的两个牙弓或单个(例如，上或下)牙弓的咬合视图。2D图像表示对象牙齿在正畸治疗中特定点的实际位置。在本文中该2D图像可以称为“原始图像”或输入2D图像。
[0014]可以将输入2D图像提供给监测系统，该监测系统被配置为确定具有广角镜头的摄像头的摄像头参数(在本文中也称为虚拟摄像头参数)，该摄像头用于拍摄输入2D图像。虚拟摄像头参数包括摄像头的固有参数(例如，摄像头的光学参数)和摄像头的非固有参数(例如，拍摄图像时摄像头在空间中的位置)。非固有参数可以相对于牙齿来确定。监测系统可以使用这些摄像头参数从对象牙齿的3D模型生成渲染2D图像，其中，3D模型可能对应于治疗计划的特定时间或阶段的对象牙齿。通常，治疗计划的该特定时间或阶段可以对应于拍摄输入2D图像时对象正在经历的当前实际时间或阶段，从而允许在治疗计划期间将牙齿的预期位置(来自3D模型)与牙齿的实际位置(来自输入2D图像)进行比较。然而，在一些示例中，可能期望将对象牙齿的当前位置(例如，来自输入2D图像)与治疗计划的一个或多个其他阶段(包括牙齿的初始位置)进行比较；在这种情况下，用于生成渲染2D图像的3D模型可能替代地对应于治疗计划的另一个阶段或开始治疗计划之前对象牙齿的初始位置。
[0015]监测系统可以将输入2D图像与渲染2D图像进行比较，以确定对象牙齿的实际或当前位置有多接近地遵循根据正畸治疗计划的预期位置或期望位置。本文描述的方法和系统可以通过以下方式以快速且有效的方式来进行该比较：确定输入2D图像和渲染2D图像两者中牙齿中心的位置，并且将输入2D图像中对应牙齿的廓影与渲染2D图像中对应牙齿的廓影进行比较。这些步骤可以在分割输入2D图像和渲染2D图像中的牙齿之后执行。在一些示例中，3D牙齿模型可以包括每颗牙齿的分割信息，该分割信息用于分割渲染2D图像。渲染2D图像可以与输入2D图像单独地分割。在一些示例中，渲染2D图像的分割(可以预期与渲染2D图
像大致相似)可用于帮助分割输入2D图像。
[0016]可以使用任何适当的方法从输入2D图像确定2D牙齿中心。例如，可以手动地或自动地或半自动地标识牙齿的2D中心。在一些示例中，机器学习(例如，形成经训练的网络)可用于从广角(例如，鱼眼)图像提供的咬合视图中找到牙齿的2D中心。类似地，可以使用任何适当的技术来确定渲染2D图像的牙齿中心。在一些示例中，可以在使用虚拟摄像头参数生成渲染2D图像之前从牙齿的3D模型中标识渲染2D图像的牙齿中心。或者，在一些示例本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，所述方法包括：接收对象牙齿的输入2D图像，所述输入2D图像包括对象上颌和/或下颌在当前治疗阶段的广角咬合视图；确定与所述输入2D图像对应的虚拟摄像头参数；接收对象上颌和/或下颌在计划的治疗阶段的3D模型；利用所述虚拟摄像头参数从所述3D模型生成对象牙齿的渲染2D图像；确定来自所述输入2D图像和所述渲染2D图像的对象牙齿之间的差异；以及基于来自所述输入2D图像和所述渲染2D图像的对象牙齿之间的差异，输出差异指示符，所述差异指示符指示对象的当前牙齿与计划的治疗阶段之间的差异。2.根据权利要求1所述的方法，其中，确定来自所述输入2D图像和所述渲染2D图像的对象牙齿之间的差异，包括：对所述对象上颌和/或下颌的各个牙齿进行配准。3.根据权利要求2所述的方法，其中，对各个牙齿进行配准，包括：在所述渲染2D图像与所述输入2D图像之间匹配牙齿廓影投影。4.根据权利要求2所述的方法，其中，对各个牙齿进行配准，包括：在所述渲染2D图像与所述输入2D图像之间匹配牙尖和/或费雪投影。5.根据权利要求2所述的方法，其中，对各个牙齿进行配准，包括：使用机器学习代理来确定来自所述输入2D图像和所述渲染2D图像的对象牙齿之间的差异。6.根据权利要求1所述的方法，还包括：指示用户对象打印校准图案，并且利用用户对象的摄像头拍摄所述校准图案的一个或多个图像。7.根据权利要求1所述的方法，其中，接收所述输入2D图像，包括：引导对象拍摄所述广角咬合视图。8.根据权利要求1所述的方法，其中，所述差异指示符是以下中的一项或多项：差异图、差异分数和/或差异值集。9.根据权利要求1所述的方法，其中，确定所述虚拟摄像头参数，包括：从所述输入2D图像迭代地确定所述虚拟摄像头参数。10.根据权利要求1所述的方法，其中，接收所述对象牙齿的输入2D图像，包括：接收对象上颌和下颌两者的鱼眼视图。11.根据权利要求1所述的方法，其中，确定来自所述输入2D图像和所述渲染2D图像的对象牙齿之间的差异，包括：使用牙齿中心确定平移差异，包括将经训练的机器学习模型应用于所述输入2D图像和所述渲染2D图像。12.根据权利要求1所述的方法，还包括：基于所述差异指示符确定差异分数，并且如果所述差异分数超过阈值，则向对象的牙科保健提供方发出警报。13.根据权利要求1所述的方法，还包括：基于所述差异指示符更新正畸治疗计划。14.根据权利要求1所述的方法，还包括：使用所述差异指示符来计算将所述对象牙齿从当前位置移动到期望位置所需的新的牙齿移动。15.根据权利要求14所述的方法，还包括：利用所述新的牙齿移动来更新正畸治疗计划。16.一种方法，所述方法包括：接收对象牙齿的输入2D图像，所述输入2D图像包括对象上颌和/或下颌在当前治疗阶
段的广角咬合视图；确定与所述输入2D图像对应的虚拟摄像头参数；接收对象上颌和/或下颌在计划的治疗阶段的3D模型；利用所述虚拟摄像头参数从所述3D模型生成所述对象牙齿的渲染2D图像；使用牙齿中心来确定来自所述输入2D图像和所述渲染2D图像的对象牙齿之间的平移差异；使用所述对象牙齿的廓影来确定来自所述输入2D图像和所述渲染2D图像的对象牙齿之间的旋转差异；以及输出差异指示符，所述差异指示符指示对象的当前牙齿与计划的治疗阶段之间的差异。17.一种系统，所述系统包括：一个或多个处理器；摄像头；广角镜头；以及耦接到所述一个或多个处理器的存储器，所述存储器被配置为存储计算机程序指令，所述计算机程序指令，在由所述一个或多个处理器执行时，执行一种计算机实施的方法，所述方法包括：接收对象牙齿的输入2D图像，所述输入2D图像包括对象上颌和/或下颌在当前治疗阶段的广角咬合视图；确定与所述输入2D图像对应的虚拟摄像头参数；接收对象上颌和/或下颌在计划的治疗阶段的3D模型；利用所述虚拟摄像头参数从所述3D模型生成所述对象牙齿的渲染2D图像；使用牙齿中心来确定来自所述输入2D图像和所述渲染2D图像的对象牙齿之间的差异；以及基于来自所述输入2D图像和所述渲染2D图像的对象牙齿之间的差异，输出差异指示符，所述差异指示符指示对象的当前牙齿与计划的治疗阶段之间的差异。18.根据权利要求17所述的系统，其中，所述计算机实施的方法还包括：使用所述对象牙齿的廓影来确定来自所...

【专利技术属性】
技术研发人员：S，
申请(专利权)人：阿莱恩技术有限公司，
类型：发明
国别省市：