基于图像中的结构或材料分割的机器学习分类方法与系统技术方案

本发明专利技术提供一种基于图像中的结构或材料分割的机器学习分类方法与系统。用于对受试者的图像中的结构或材料进行分类的系统包括：分割器，其配置为形成图像中的结构或材料的一个或多个分割，并根据分割生成图像的一个或多个分割图，一个或多个分割图包括从一个或多个相应的预定义的类别集合中分配的分割图的像素或体素的类别；分类器，其实现经过训练的分类机器学习模型，该经过训练的分类机器学习模型配置为基于分割图生成一个或多个分类，并将表示结构或材料或者受试者落入相应分类的可能性的各分数分配给分类；以及输出部，其用于输出表示分类和分数的结果。

【技术实现步骤摘要】
基于图像中的结构或材料分割的机器学习分类方法与系统与相关申请的交叉引用本申请基于2019年6月21日提交的第16/448,474号美国专利申请，并要求其优先权，该申请提交的内容通过引用全部并入本文。
本专利技术涉及一种基于结构或材料分割的计算机视觉系统和方法，该系统和方法利用机器学习，特别是深度神经网络，用于对图像(例如，医学图像)进行分类(并监测其变化)。可能的医学成像应用包括：计算机断层扫描(ComputedTomography，CT)、磁共振(MagneticResonance，MR)、超声、高分辨率外周骨定量计算机断层扫描(High-ResolutionperipheralQuantitativeComputedTomography，HRpQCT)和病理扫描仪成像。
技术介绍
计算机视觉和图像处理技术已经应用于医学图像分析。一些计算机辅助系统通过两个步骤来实现分析：分割和定量计算。分割是通过区分图像中的像素(在2D图像中)或体素(在3D图像中)，将图像(如医学图像)中的结构或对象彼此分割(或区分)的过程。在分割的基础上，计算诸如体积、形状、密度的定量特征。例如，在脑部CT或MRI扫描中分割病变后计算病变的大小和形状；可以在髋部双能x线吸收测定法(Dual-energyX-rayAbsorptiometry，DXA)扫描中分割股骨颈后计算骨密度(bonemineraldensity)。医生将这些计算值与健康参考数据进行比较后，可以作出诊断或治疗决定。例如，T分数是患者骨密度与年轻正常参考平均值相比的标准分数。世界卫生组织(WorldHealthOrganization，WHO)将骨质疏松症定义为T分数为-2.5或更低，即骨密度低于30岁健康男性/女性平均值的2.5个标准差或更高。分割可以手动、半手动或自动实现。在手动分割的示例中，用户操作计算机在髋部DXA扫描上移动矩形框，从而选择股骨颈的区域。半手动分割可以由采用用户的初始化或输入的图像处理程序来执行。例如，用户可以操作计算机在腕部CT扫描上绘制近似的骨边界；然后程序将近似的边界调整为将骨骼从周围组织分割的轮廓。自动分割可以通过利用感兴趣对象的特征(例如，强度值、边缘和形状)来执行。在一个现有的示例中，基于体素值的阈值化方法被用于在CT扫描中将骨骼从周围组织分割。一些其他程序利用机器学习算法训练分类器来分割医学图像中的异常组织。例如，基于特征的机器学习算法(例如，支持向量机和决策树)可以用作通过利用肿瘤图像和正常图像作为训练数据的分类器。经过训练的分类器在整个新图像上逐个“窗口”滑动以分割肿瘤组织的任何图像区域。机器学习算法在这一领域显示出良好的准确性和效率。然而，无论是收集足够的训练数据，还是对训练数据进行注释，都是重大的挑战。训练图像必须由专家进行注释，这是繁琐而耗时的过程。此外，在一些应用中，准确地注释训练图像可能非常困难或者几乎不可能(甚至对专家来说)。例如，在骨质量评估中，由皮质骨和松质骨组成的任何样本都存在过渡区。过渡区包括与骨髓管相邻的内皮质和与皮质(皮质与内皮质表面连续)相邻的骨小梁。过渡区是骨重建的活跃场所。在骨微观结构评估中，识别和分割这一区域是很重要的，但由于图像分辨率的限制，专家基本上不可能准确、一致地注释这一区域。没有带注释的图像作为训练数据，分割模型就无法训练。在过去的几年中，深度学习或深度神经网络在许多视觉识别任务(例如，自然图像分类)上都超过了人类。在示例性CNN(卷积神经网络)实现中，网络包括输入层、隐藏层和输出层。图像通过输入层送入网络。对图像进行采样并应用卷积运算生成隐藏层。在网络中，每一层的输出用作下一层的输入。输出层全连接在将输出分类结果的端部。训练数据是带有分类标签的图像。训练过程得到神经网络的参数。在完成训练后，通过神经网络、利用得到的参数对新图像进行处理，以生成分类结果。例如，深度神经网络算法可以用于训练模型，以从光学相干断层扫描(OpticalCoherenceTomography，OCT)图像中确定糖尿病视网膜病变的状况(例如，无、轻度、中度、重度)。然而，这种端对端的解决方案在临床实践中带来两个问题。首先，端对端解决方案是黑匣子：输入是医学图像，输出是疾病或状况的分类。很难解释神经网络作出决策的过程，因此用户很难评估分类结果的可靠性。其次，这个解决方案需要大量的训练数据。如上所述，在医学应用中，对训练数据进行注释或标记是繁琐而耗时的过程。因此，为每种类型分类结果的每个类别收集足够的训练数据是巨大的挑战。
技术实现思路
根据本专利技术的第一方面，提供一种用于对受试者的图像中的结构或材料进行分类的系统，其包括：分割器，其配置为形成图像(其包括例如医学图像)中的结构或材料的一个或多个分割，并根据分割生成图像的一个或多个分割图，一个或多个分割图包括从一个或多个相应的预定义的类别集合中分配的分割图的像素或体素的类别；分类器，其实现经过训练的分类机器学习模型，所述经过训练的分类机器学习模型配置为基于分割图生成一个或多个分类，并将表示结构或材料或者受试者落入相应分类的可能性的各分数分配给分类；以及输出部，其用于输出表示分类和分数的结果。在一个实施方案中，所述分类器基于所述受试者的分割图和非图像数据生成所述一个或多个分类。该系统可以配置为训练分类机器学习模型。在一个实施方案中，分割器包括：i)结构分割器，其配置为生成包括从预定义的结构类别集合中分配的像素或体素的类别的结构分割图，ii)材料分割器，其配置为生成包括从预定义的材料类别集合中分配的像素或体素的类别的材料分割图，和/或iii)异常分割器，其配置为生成包括从预定义的异常或正常类别集合中分配的像素或体素的类别的异常分割图。在一个示例中，结构分割器配置为利用结构分割机器学习模型生成结构分割图，材料分割器配置为利用材料分割机器学习模型生成材料分割图，以及异常分割器配置为利用异常分割模型生成异常分割图。结构分割器可以配置为训练结构分割机器学习模型，材料分割器配置为训练材料分割机器学习模型，和/或异常分割器配置为训练异常分割模型。在一个实施方案中，所述系统还包括分割图处理器，所述分割图处理器配置为在由分类器输入分割图之前对分割图进行处理。在一个示例中，分割图处理器配置为对分割图进行降采样。在一个实施方案中，分类机器学习模型包括神经网络、支持向量机、决策树或其组合。例如，分类机器学习模型可以包括神经网络，所述神经网络包括卷积神经网络层和全连接神经网络层。在一个实施方案中，图像是医学图像，并且分类对应于结构或材料或者受试者在各自的时间段内将维持特定状况或症状的概率。在一个示例中，时间段包括短期的时间段、长期的时间段、以及短期的时间段和长期的时间段中间的至少一个中期的时间段。在另一个示例中，状况或症状是骨折。在一个实施方案中，图像是医学图像，并且分类对应于结构或材料或者受试者将维持各状况或症状的概率。在一个示例中，状况或本文档来自技高网...

【技术保护点】
1.一种用于训练分类机器学习模型的计算机实现的方法，所述分类机器学习模型用于对受试者的图像中的结构或材料进行分类，所述方法包括：/n将带注释的分割图和带注释的非图像数据分为训练集合和测试集合，对一个或多个图像进行分割得到带注释的分割图；/na)实现分类机器学习模型，其包括对所述分类机器学习模型的参数进行初始化；/nb)通过在训练数据上运行学习算法来更新所述分类机器学习模型的参数；/nc)在测试数据上测试所述分类机器学习模型；/nd)评估所述分类机器学习模型是否具有令人满意的性能；/n当在步骤d)中发现性能不令人满意时，重复步骤a)至d)；以及/n输出所述分类机器学习模型以部署为经过训练的分类机器学习模型，或将所述分类机器学习模型标记为经过训练的分类机器学习模型。/n

【技术特征摘要】
20190621 US 16/448,4741.一种用于训练分类机器学习模型的计算机实现的方法，所述分类机器学习模型用于对受试者的图像中的结构或材料进行分类，所述方法包括：
将带注释的分割图和带注释的非图像数据分为训练集合和测试集合，对一个或多个图像进行分割得到带注释的分割图；
a)实现分类机器学习模型，其包括对所述分类机器学习模型的参数进行初始化；
b)通过在训练数据上运行学习算法来更新所述分类机器学习模型的参数；
c)在测试数据上测试所述分类机器学习模型；
d)评估所述分类机器学习模型是否具有令人满意的性能；
当在步骤d)中发现性能不令人满意时，重复步骤a)至d)；以及
输出所述分类机器学习模型以部署为经过训练的分类机器学习模型，或将所述分类机器学习模型标记为经过训练的分类机器学习模型。


2.根据权利要求1所述的方法，其包括当发现性能不令人满意时，收集更多的图像和非图像数据以用于训练所述分类机器学习模型。


3.根据权利要求1或2所述的方法，其中，所述分类机器学习模型包括具有多个层的神经网络，所述多个层包括人工神经元，其中：
参数包括层数、神经元数、神经元权重和神经元函数参数；以及
测试所述分类机器学习模型包括在测试数据上测试所述分类机器学习模型。


4.根据权利要求1至3中任一项所述的方法，其包括将带注释的分割图和带注释的非图像数据分为训练集合、开发集合和测试集合，并利用开发数据来研究学习过程和调整参数。


5.一种根据权利要求1到4中任一项所述的方法训练的分类机器学习模型。


6.一种用于训练分类机器学习模型的系统，所述分类机器学习模型用于对受试者的图像中的结构或材料进行分类，所述系统包括处理器，所述处理器配置为：
将带注释的分割图和带注释的非图像数据分为训练集合和测试集合，对一个或多个图像进行分割得到带注释的分割图；
a)实现分类机器学习模型，其包括对所述分类机器学习模型的参数进行初始化；
b)通过在训练数据上运行学习算法来更新所述分类机器学习模型的参数；
c)在测试数据上测试所述分类机器学习模型；
d)评估所述分类机器学习模型是否具有令人满意的性能；
当在步骤d)中发现性能不令人满意时，重复步骤a)至d)；以及
输出所述分类机器学习模型以部署为经过训练的分类机器学习模型，或将所述分类机器学习模型标记为经过训练的分类机器学习模型。


7.一种用于对受试者的图像中的结构或材料进行分类的系统，其包括：
分割器，其配置为形成图像中的结构或材料的一个或多个分割，并根据分割生成图像的一个或多个分割图，一个或多个分割图包括从一个或多个相应的预定义的类别集合中分配的分割图的像素或体素的类别；
分类器，其实现经过训练的分类机器学习模型，所述经过训练的分类机器学习模型配置为基于分割图生成一个或多个分类，并将表示结构或材料或者受试者落入相应分类的可能性的各分数分配给分类；以及
输出部，其用于输出表示分类和分数的结果。


8.根据权利要求7所述的用于对受试者的图像中的结构或材料进行分类的系统，其中，所述分类器基于与受试者有关的分割图和非图像数据生成一个或多个分类。


9.根据权利要求7或8所述的用于对受试者的图像中的结构或材料进行分类的系统，其中，所述分割器包括：
i)结构分割器，其配置为生成包括从预定义的结构类别集合中分配的像素或体素的类别的结构分割图，
ii)材料分割器，其配置为生成包括从预定义的材料类别集合中分配的像素或体素的类别的材料分割图，和/或
iii)异常分割器，其配置为生成包括从预定义的异常或正常类别集合中分配的像素或体素的类别的异常分割图。


10.根据权利要求9所述的用于对受试者的图像中的结构或材料进行分类的系统，其中，所述结...

【专利技术属性】
技术研发人员：彭宇，
申请(专利权)人：斯特拉克斯私人有限公司，
类型：发明
国别省市：澳大利亚;AU