基于注释信息的分类和定位制造技术

本发明专利技术提供了用于基于注释信息来分类和定位的系统和技术。在一个示例中，系统基于训练数据和多个图像来训练卷积神经网络。训练数据与来自至少一个成像设备的多个患者相关联。该多个图像与来自多个对象的多个掩模相关联。卷积神经网络包括解码器，该解码器由至少一个上采样层和至少一个卷积层组成。该系统还基于该多个掩模来生成损失函数，其中该损失函数被迭代地反向传播以调谐该卷积神经网络的参数。该系统还基于卷积神经网络预测输入图像的分类标签。类标签。类标签。

【技术实现步骤摘要】
【国外来华专利技术】基于注释信息的分类和定位


[0001]本公开整体涉及人工智能。

技术介绍

[0002]人工智能(AI)可以用于数字图像的分类和/或分析。例如，AI可以用于图像识别。在某些技术应用中，AI可以用于增强成像分析。在一个示例中，可以采用基于感兴趣区域的深度神经网络来定位数字图像中的特征。然而，使用常规人工技术通常难以实现数字图像的分类和/或分析的准确性和/或效率。此外，用于数字图像分类和/或分析的常规人工技术通常需要劳动密集型过程，诸如像素注释、体素水平注释等。因此，可以改进用于数字图像分类和/或分析的常规人工技术。

技术实现思路

[0003]以下内容提出了本说明书的简化
技术实现思路
以便提供对本说明书的某些方面的基本理解。该
技术实现思路
不是对本说明书的详尽概述。它既不旨在标识本说明书的关键或重要元素，也不旨在描述本说明书的特定具体实施的任何范围或权利要求的任何范围。其唯一目的是以简化形式呈现本说明书的一些概念，作为稍后呈现的更详细描述的序言。
[0004]根据一个实施方案，一种系统包括训练组件、损失函数组件和分类组件。训练组件基于训练数据和多个图像训练卷积神经网络。训练数据与来自至少一个成像设备的多个患者相关联。该多个图像与来自多个对象的多个掩模相关联。卷积神经网络包括解码器，该解码器由至少一个上采样层和至少一个卷积层组成。损失函数组件基于该多个掩模来生成损失函数，其中该损失函数被迭代地反向传播以调谐该卷积神经网络的参数。分类组件基于卷积神经网络预测输入图像的分类标签。
[0005]根据另一个实施方案，提供了一种方法。该方法包括从至少一个成像设备接收与多个患者相关联的多个图像。该方法还包括接收来自多个对象的多个掩模，其中每个图像包括将感兴趣的对象与对应的类标签相关联的至少一个掩模。此外，该方法包括基于该多个图像和该多个掩模来训练卷积神经网络，其中该卷积神经网络包括解码器，该解码器由至少一个上采样层和至少一个卷积层、输出卷积特征图的预训练的分类器网络和输出对应评分图的分类/定位网络组成。该方法还包括基于多个掩模来生成损失函数。另外，该方法包括迭代地反向传播损失函数以调谐卷积神经网络的参数。该方法还包括基于卷积神经网络预测输入图像的分类标签。
[0006]根据又一个实施方案，提供了一种计算机可读存储设备。该计算机可读存储设备包括指令，该指令响应于执行而使得包括处理器的系统执行操作，该操作包括从至少一个成像设备接收与多个患者相关联的多个图像。处理器还执行操作，该操作包括接收来自多个对象的多个掩模，其中每个图像包括将感兴趣的对象与对应的类标签相关联的至少一个掩模。处理器还执行操作，该操作包括基于该多个图像和该多个掩模来训练卷积神经网络，其中该卷积神经网络包括解码器，该解码器由至少一个上采样层和至少一个卷积层、输出
卷积特征图的预训练的分类器网络和输出对应评分图的分类/定位网络组成。此外，处理器执行操作，该操作包括基于多个掩模生成损失函数。处理器还执行操作，该操作包括迭代地反向传播损失函数以调谐卷积神经网络的参数。处理器还执行操作，该操作包括基于卷积神经网络预测输入图像的分类标签。
[0007]以下具体实施方式和附图阐述了本说明书的某些例示性方面。然而，这些方面仅指示了可以采用本说明书原理的各种方式中的一些方式。当结合附图考虑时，根据以下对说明书的详细描述，本说明书的其他优点和新颖特征将变得显而易见。
附图说明
[0008]结合附图考虑以下具体实施方式，本专利技术的许多方面、具体实施、目标和优点将变得显而易见，在整个附图中，相同的附图标记表示相同的部件，并且其中：
[0009]图1示出了根据本文描述的各个方面和具体实施的示例性机器学习组件的高级框图；
[0010]图2示出了根据本文描述的各个方面和具体实施的另一个示例性机器学习组件的高级框图；
[0011]图3示出了根据本文描述的各个方面和具体实施的系统，该系统包括示例性机器学习组件和示例性医学成像诊断过程；
[0012]图4示出了根据本文描述的各个方面和具体实施的与分割-分类网络相关联的另一示例性系统；
[0013]图5示出了根据本文描述的各个方面和具体实施的与实现损失函数的分割-分类网络相关联的另一示例性系统；
[0014]图6示出了根据本文描述的各个方面和具体实施的示例性损失函数；
[0015]图7示出了根据本文描述的各个方面和具体实施的另一示例性多维可视化；
[0016]图8描绘了根据本文描述的各个方面和具体实施的用于基于注释信息来分类和/或定位的另一示例性方法的流程图；
[0017]图9是示出合适操作环境的示意性框图；并且
[0018]图10是样本计算环境的示意性框图。
具体实施方式
[0019]现在参考附图来描述本公开的各个方面，其中相同的附图标号始终用于表示相同的元件。在以下描述中，出于解释的目的，阐述了许多具体细节以便提供对一个或多个方面的透彻理解。然而，应当理解，可以在没有这些具体细节的情况下，或者在有其他方法、部件、材料等的情况下实践本公开的某些方面。在其他实例中，以框图形式示出了公知的结构和设备以有助于描述一个或多个方面。
[0020]本专利技术提供了基于注释信息提供分类和定位的系统和技术。例如，本文公开了一种新型端到端深度学习框架，以例如在给定的与感兴趣区域有关的掩模注释的情况下自动检测和/或定位医学图像中的疾病。分类和定位网络可以是完全卷积神经网络，并且可在推断期间输出图像级标签和定位图。因此，与仅使用图像级标签的常规分类相比，使用掩模信息时的分类和/或定位准确率可得到改善。在一个实施方案中，与上采样和/或卷积神经网
络层相关联的解码器可被端到端深度学习框架用于例如改善位置结果。此外，通过采用本文所述的新颖的端到端深度学习框架，可改善与图像数据相关联的一个或多个特征的检测和/或定位(例如，与医学成像数据相关联的患者的一个或多个状况的检测和/或定位)。此外，可以改善图像数据(例如，医学成像数据)的分类和/或分析的准确性和/或效率。另外，可以改善用于图像数据(例如，医学成像数据)的分类和/或分析的机器学习模型的有效性，可以改善执行用于图像数据(例如，医学成像数据)的分类和/或分析的机器学习模型的一个或多个处理器的性能，和/或可以改善执行用于图像数据(例如，医学成像数据)的分类和/或分析的机器学习模型的一个或多个处理器的效率。
[0021]首先参见图1，示出了根据本主题公开的一个方面的用于基于注释信息来分类和/或定位的示例性系统100。系统100可以由各种系统采用，诸如但不限于，医疗设备系统、医学成像系统、医学诊断系统、医学系统、医学建模系统、企业成像解决方案系统、高级诊断工具系统、模拟系统、图像管理平台系统、护理实施管理系统、人工智能系统、机器学习系统、神经网络系统、建模系统、航空系统、动力系统、分布式动力系统、能量管理系统、热管理系统、运输系统、石油和天然气系统、机械系统、机器系统、设备系统、基于云的系统、加热系统、H本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种机器学习系统，包括：存储器，所述存储器存储计算机可执行组件；处理器，所述处理器执行存储在所述存储器中的计算机可执行组件，其中所述计算机可执行组件包括：训练组件，所述训练组件基于训练数据和多个图像来训练卷积神经网络，其中所述训练数据与来自至少一个成像设备的多个患者相关联，其中所述多个图像与来自多个对象的多个掩模相关联，并且其中所述卷积神经网络包括由至少一个上采样层和至少一个卷积层组成的解码器；损失函数组件，所述损失函数组件基于所述多个掩模来生成损失函数，其中所述损失函数被迭代地反向传播以调谐所述卷积神经网络的参数；和分类组件，所述分类组件基于所述卷积神经网络预测输入图像的分类标签。2.根据权利要求1所述的机器学习系统，其中所述卷积神经网络包括输出卷积特征图的预训练的分类器网络。3.根据权利要求2所述的机器学习系统，其中所述卷积神经网络包括基于所述卷积特征图输出对应评分图的分类/定位网络。4.根据权利要求2所述的机器学习系统，其中来自所述多个掩模的掩模的尺寸与来自所述卷积特征图的卷积特征图的尺寸匹配。5.根据权利要求2所述的机器学习系统，其中来自所述多个掩模的掩模的尺寸基于最大池化过程与来自所述卷积特征图的卷积特征图的尺寸匹配。6.根据权利要求1所述的机器学习系统，其中所述损失函数组件采用所述解码器来生成所述定位图。7.根据权利要求1所述的机器学习系统，其中所述解码器是一组解码器，并且其中在所述卷积神经网络的训练期间确定包括在所述一组解码器中的解码器的数量。8.根据权利要求1所述的机器学习系统，其中所述损失函数组件基于与所述多个掩模相关联的类别的概率来生成所述损失函数。9.根据权利要求1所述的机器学习系统，其中所述计算机可执行组件还包括：可视化组件，所述可视化组件生成与所述输入图像的所述分类标签相关联的多维可视化。10.一种方法，包括使用操作地耦接到存储器的处理器来执行计算机可执行组件以执行以下动作：从至少一个成像设备接收与多个患者相关联的多个图像；接收来自多个对象的多个掩模，其中每个图像包括将感兴趣的对象与对应的类标签相关联的至少一个掩模；基于所述多个图像和所述多个掩模来训练卷积神经网络，其中所述卷积神经网络包括解码器，...

【专利技术属性】
技术研发人员：赵茜，张敏，戈帕尔，
申请(专利权)人：通用电气公司，
类型：发明
国别省市：