【技术实现步骤摘要】
【国外来华专利技术】包括机器学习并使用其结果的人工智能配准和标记检测
[0001]相关申请的交叉引用
[0002]本申请涉及2019年9月20日提交的美国专利申请序列No.62/903,630并要求其优先权，其全部公开内容通过引用整体并入本文。
[0003]本公开一般而言涉及计算机成像、计算机视觉和/或医学成像领域，特别是涉及用于人工智能(“AI”)配准(在本文中也称为“配准”)和标记检测和/或用于使用一种或多种成像模态的设备/装置、系统、方法和存储介质，其中成像模态包括但不限于血管造影、光学相干断层扫描(OCT)、多模态OCT(MM
‑
OCT)、近红外荧光(NIRAF)、OCT
‑
NIRAF等。OCT应用的示例包括成像、评估和诊断生物对象，包括但不限于用于胃肠道、心脏和/或眼科应用，并经由一种或多种光学仪器获得，光学仪器包括但不限于一个或多个光学探头、一个或多个导管、一个或多个内窥镜、一个或多个胶囊和一个或多个针头(例如，活检针)。本文讨论用于在(一种或多种)人工智能应用中利用使用和/或控制一种或多种成像模式的装置或系统来表征、检查和/或诊断和/或测量样本或对象的粘度的一种或多种设备、系统、方法和存储介质。
技术介绍
[0004]已经开发了光纤导管和内窥镜以进入内部器官。例如，在心脏病学中，已开发出OCT(光学相干断层扫描)来通过导管捕获和可视化血管的深度分辨图像。可以包括护套、线圈和光学探头的导管可以被导航到冠状动脉。
[0005]光学相干断层扫描(OCT)是一种用于获得组...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种人工智能训练装置，包括：存储器；与所述存储器通信的一个或多个处理器，所述一个或多个处理器操作以：获取或接收血管造影图像数据；为获取的所有血管造影图像数据建立基本事实；将获取的血管造影图像数据拆分成训练、验证和测试集或组；为模型训练选择一个或多个超参数值，所述一个或多个超参数值至少包括以下中的一个或多个：模型体系架构、学习速率和参数值的初始化；用训练集或组中的数据训练模型，并用验证集或组中的数据评估模型；确定经训练的模型的性能是否足够；以及在经训练的模型的性能不够的情况下，于是重复选择一个或多个超参数值、模型训练和评估以及确定的过程，或者，在经训练的模型的性能足够的情况下，选择经训练的模型并将经训练的模型保存到所述存储器。2.如权利要求1所述的装置，其中所述一个或多个处理器还操作以将基本事实数据拆分成用于训练、验证和测试的集或组。3.如权利要求1所述的装置，其中以下中的一项或多项：(i)参数包括一个或多个超参数；(ii)保存的经训练的模型被用作创建的识别器或检测器，以用于识别或检测血管造影图像数据中的标记或不透射线标记；(iii)模型是以下中的一个或组合：分割模型、具有后处理的分割模型、具有预处理的模型、具有后处理的模型、具有预处理的分割模型、深度学习或机器学习模型、语义分割模型或分类模型、对象检测或回归模型、具有预处理或后处理的对象检测或回归模型、语义分割模型和对象检测或回归模型的组合、使用重复分割模型技术的模型、使用特征金字塔的模型、使用重复对象检测或回归模型技术的模型、深度卷积神经网络模型、能够考虑跨图像或帧的时间关系的具有长短期记忆的递归神经网络模型、能够考虑跨图像或帧的时间关系的模型、能够考虑血管中回拉期间包括标记移动或位置的时间关系的模型、能够使用关于规程的先验知识并将先验知识结合到机器学习算法或损失函数中的模型、能够考虑不同的图像分辨率的使用特征金字塔的模型、和/或使用残差学习技术的模型；(iv)基本事实包括以下中的一项或多项：每个血管造影帧中目标标记的主轴的两个端点的位置、光学相干断层扫描(OCT)回拉期间捕获的每个血管造影帧中目标标记的主轴的两个端点的位置、包括具有一定宽度的连接两个端点位置的线作为分割模型的正区域的蒙版、包括在所获取或接收的血管造影图像数据中的所有标记、两个边缘位置的质心、用于回归或对象检测模型的两个边缘位置的质心、以及由装置的专家或用户以图形方式注释的所获取或接收的血管造影图像数据的每一帧中的两个标记位置；(v)所述一个或多个处理器还操作以使用一个或多个神经网络或卷积神经网络来进行以下中的一项或多项：训练模型，确定经训练的模型的性能是否足够，和/或检测标记或不透射线标记，选择模型，以及估计模型的泛化误差；(vi)所述一个或多个处理器还操作以用测试集或组中的数据估计经训练的模型的泛化误差；和/或
(vii)所述一个或多个处理器还操作以用测试集或组中的数据估计多个经训练的模型的泛化误差，并基于其在验证集或组上的性能选择一个模型。4.如权利要求1所述的装置，其中所述一个或多个处理器还操作以执行以下中的一项或多项：(i)基于创建的识别器或检测器来检测或识别血管造影图像数据中的标记或不透射线标记；(ii)使用机器学习或深度学习的应用来计算或提高标记检测成功率；(iii)基于与模型相关联的标记检测成功率来决定要被训练的模型；(iv)基于经训练的模型计算配准成功率和/或确定检测到的标记的位置是否正确；和/或(v)使用标记的预测位置与实际位置之间的均方根误差来评估标记检测成功率和/或配准成功率。5.如权利要求1所述的装置，其中所述一个或多个处理器操作以执行以下中的一项或多项：(i)将所获取或接收的血管造影图像数据拆分成具有以下比率或百分比的数据集：70％训练数据、15％验证数据和15％测试数据；(ii)随机地拆分所获取或接收的血管造影图像数据；(iii)使用以下基础之一随机地拆分所获取或接收的血管造影图像数据：回拉基础或帧基础；(iv)基于或使用特定或预定数据类型的新集合来拆分所获取或接收的血管造影图像数据；(v)基于或使用特定或预定数据类型的新集合来拆分所获取或接收的血管造影图像数据，该新集合是以下中的一项或多项：新的基于回拉的数据集，新的基于帧的数据集，新的临床数据，新的动物数据，新的潜在附加训练数据，用于第一类型导管的、具有与用于所获取或接收的血管造影图像的导管的标记相似的标记的新数据，具有与光学相干断层扫描(OCT)导管的标记相似的标记的新数据；和/或(vi)使用动物数据训练模型，并将模型应用于人类数据和/或临床数据。6.如权利要求1所述的装置，其中所述一个或多个处理器还操作以执行以下中的一项或多项：(i)采用数据质量控制；(ii)允许用户手动选择训练样本或训练数据；(iii)允许用户识别要检测的标记或目标，并将此类样本用作用于训练的数据点；(iv)使用在光学相干断层扫描(OCT)回拉以进行测试期间和/或在导管或探头的回拉以进行测试期间捕获的任何血管图像；和/或(v)在显示器上显示血管造影数据以及用于一种或多种成像模态中的每种成像模态的图像，其中所述一种或多种成像模态包括以下中的一种或多种：断层扫描图像；光学相干断层扫描(OCT)图像；荧光图像；近红外荧光(NIRAF)图像；预定视图、地毯视图和/或指示器视图中的近红外荧光(NIRAF)；三维(3D)渲染；血管的3D渲染；半管视图或显示中的血管的3D渲染；对象的3D渲染；管腔轮廓；管腔直径显示；纵向视图；计算机断层扫描(CT)；磁共振成
像(MRI)；血管内超声(IVUS)；X射线图像或视图；以及血管造影视图。7.如权利要求1所述的装置，其中所述一个或多个处理器还操作以执行以下中的一项或多项：(i)执行预处理；(ii)通过归一化图像来执行预处理；和/或(iii)通过在训练开始之前对每个个体血管帧的图像进行归一化和/或在每次训练迭代内对输入到模型的每批血管帧的图像进行归一化，来执行预处理。8.如权利要求1所述的装置，其中所述一个或多个处理器操作以执行以下中的一项或多项：(i)基于输入和输出来决定要被训练的模型；(ii)在输入是个体血管帧、并且输出是分割或掩蔽的图像的情况下，决定模型为分割或语义分割模型或者分类模型；(iii)在输入是个体血管帧、并且输出是其中定界标记区域的前景像素具有正值并且背景像素具有零值的分割或掩蔽的图像的情况下，决定模型是分割或语义分割模型或者分类模型；(iv)在输入是个体血管帧、并且输出是标记位置的坐标或目标标记的坐标的情况下，决定模型是对象检测或回归模型；和/或(v)在输入包括个体血管帧的组合、并且输出包括以下中的一项或多项的组合的情况下，决定模型是使用语义分割模型的一个或多个特征并使用对象检测或回归模型的一个或多个特征的组合体系架构模型：分割或掩蔽的图像，其中界定标记区域的前景像素具有正值并且背景像素具有零值的分割或掩蔽的图像，以及标记位置的坐标或目标标记的坐标。9.如权利要求8所述的装置，其中分割模型在获得分割或掩蔽的图像之后使用后处理以确定标记位置的坐标点。10.一种人工智能检测装置，包括：一个或多个处理器，所述一个或多个处理器操作以：获取或接收血管造影图像数据；接收经训练的模型或从存储器中加载经训练的模型；将经训练的模型应用于所获取或接收的血管造影图像数据；选择一个血管造影帧；用经训练的模型检测所选择的血管造影帧上的标记位置，检测到的标记位置定义检测到的结果；检查标记位置是否正确或准确；在标记位置不正确或不准确的情况下，于是修改检测到的结果或检测到的标记位置，并重复检查标记位置是否正确或准确，或者在标记位置正确或准确的情况下，于是检查是否对于正确性或准确性检查了所有血管造影帧；以及在没有对于正确性或准确性检查所有血管造影帧的情况下，于是选择另一个血管造影帧，并对于所述另一个血管造影帧重复检测标记位置并检查标记位置是否正确或准确。11.如权利要求10所述的装置，其中所述一个或多个处理器还操作以执行以下中的一项或多项：
(i)在对于正确性或准确性检查了所有血管造影帧的情况下，于是基于检测到的标记位置执行配准；(ii)在显示器上显示检测到的标记位置；(iii)在显示器上显示检测到的标记位置，使得检测到的标记位置覆盖在血管造影数据上；(iv)在显示器上显示经修改的检测到的结果和/或经修改的标记位置；(v)将具有标记或不透射线标记的血管内成像导管插入对象或样本中；和/或(vi)在血管内成像导管的回拉操作期间获取或接收血管造影图像数据。12.如权利要求11所述的装置，其中对象或样本包括以下中的一项或多项：血管、目标标本或对象、和/或患者。13.如权利要求11所述的装置，其中所述一个或多个处理器还操作以使用一个或多个神经网络或卷积神经网络来执行以下中的一项或多项：加载经训练的模型、选择血管造影帧、检测每一帧的标记位置、确定检测到的标记位置是否准确或正确、修改每一帧的检测到的结果或检测到的标记位置、在显示器上显示检测到的标记位置、执行配准、插入血管内图像、和/或在回拉操作期间获取或接收血管造影图像数据。14.如权利要求11所述的装置，其中所述一个或多个处...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。