用于医学图像注释工具的方法和系统技术方案

本发明专利技术提供了用于建议将注释形状应用于医学图像的各种方法和系统。在一个示例中，方法包括基于显示在显示设备上的当前图像来输出来自图标库的注释图标集以用于在该显示设备上显示，以及响应于从该注释图标集中选择注释图标而在该当前图像上显示注释。该方法还包括将该注释自动调整到该当前图像中的对应解剖特征部并且将该当前图像与该注释一起保存。剖特征部并且将该当前图像与该注释一起保存。剖特征部并且将该当前图像与该注释一起保存。

【技术实现步骤摘要】
用于医学图像注释工具的方法和系统


[0001]本文所公开的主题的实施方案涉及医学图像注释。

技术介绍

[0002]训练使用医学图像作为标注数据的深度学习模型需要大量已经由专家(通常是受过高度训练的专家)注释的图像。依赖于受过高度训练的专家来注释图像的时间和/或成本可能限制可用于训练模型的数据量，从而限制这些模型的准确性并且因此限制这些模型的部署。

技术实现思路

[0003]在一个实施方案中，方法包括：基于显示在显示设备上的当前图像来输出来自图标库的注释图标集以用于在该显示设备上显示，以及响应于从该注释图标集中选择注释图标而在该当前图像上显示注释。该方法还包括将该注释自动调整到该当前图像中的对应解剖特征部并且将该当前图像与该注释一起保存。
[0004]应当理解，提供上面的简要描述来以简化的形式介绍在具体实施方式中进一步描述的精选概念。这并不意味着识别所要求保护的主题的关键或必要特征，该主题的范围由具体实施方式后的权利要求书唯一地限定。此外，所要求保护的主题不限于解决上文或本公开的任何部分中提到的任何缺点的实施方式。
附图说明
[0005]通过参考附图阅读以下对非限制性实施方案的描述将更好地理解本公开，其中以下：
[0006]图1示出了根据一个实施方案的示例性x射线成像系统；
[0007]图2是根据本文所公开的实施方案的智能器官形状选项板可如何用于注释医学图像的方法的流程图；
[0008]图3是根据本文所公开的实施方案的智能器官形状选项板和可以使用该智能器官形状选项板进行注释的医学图像的示例；
[0009]图4示出了图3的医学图像上的由智能器官形状选项板初始输出的注释的位置和形状；
[0010]图5示出了图4的注释的智能调整；
[0011]图6示出了图5的处于最终精制形状的注释；
[0012]图7示出了添加了第二注释的图6的医学图像；以及
[0013]图8是根据本文所公开的实施方案的用于生成和/或更新注释图标库的方法的流程图。
具体实施方式
[0014]为了产生用于医疗场所(诸如医院)和教育设施的高度准确的人工智能(AI)模型，必须首先将医生和专家的人类智能添加到由数据科学家创建的学习系统中。数据中或数据上留下的具有高质量人类知识标记、标签、图画等的数据越多，所创建出的AI模型的结果就越准确。因此，大量临床数据(例如，标注数据)内的高度训练的医学专家发现是创建高度准确的模型的关键。然而，没有足够的专家来注释数据科学家需要的数据量。此外，因为医学专家的时间很宝贵，所以当这些医学专家做这类工作时成本很高。因此，许多机构和数据科学家利用注释服务或其他方法(例如，非专家、实习医生)来注释大型数据集。
[0015]然而，使用注释服务或专家以外的其他方法来注释大型数据集会带来质量的变化，因为图像的注释方式可能因注释人员而异。例如，在有关特定的、有时有歧义的解剖结构的判读和描绘上可能存在不同意见。此外，基于每个个体对这项工作的不同理解，可能出现不准确或不正确的注释。不准确或不正确的注释可能遍布整个工作组中和/或对患者诊断产生不利影响。
[0016]因此，需要让受过高度训练的专家对小数据集进行高质量注释，并且将该高质量注释普及到非专家的注释人员系统和工作组中。因此，根据本文所公开的实施方案，提供了一种用于允许专家的医学图像注释(例如，图画、标记、标签等)被预设成有效地呈现给注释人员的形状的方法和系统。本文的医学图像可以指所有类型的介质，包括：单帧图像渲染或多帧图像渲染；例如，系列层次和/或三维渲染；图表；图形；数据；其他可视化；等等。本文的注释可以被定义为标记医学图像或与该医学图像交互以便在医学图像上或内部留下临床发现的动作。
[0017]在一个实施方案中，专家的注释可被预设成保存在图标库内的注释图标的形状，智能器官形状选项板被配置成基于当前图像来输出来自该图标库的注释图标集。当注释人员从智能器官形状选项板中选择注释图标时，可以自动调整注释以匹配当前图像内以及基于该当前图像的解剖特征部，以及由注释人员手动调整。此外，可以跟踪对图标的选择、对形状/注释的自动调整以及对形状/注释的手动调整，并且将其作为反馈发送以进一步精制所使用的注释图标。
[0018]例如，当工作组中的注释人员正在注释用于识别器官、病变和/或其他解剖特征部的医学图像时，可以显示智能器官形状选项板。该智能器官形状选项板可包括具有基于专业注释人员的注释来选择的特征(例如，形状、线条宽度、线条颜色等)的多个形状。这些形状中的至少一些可以表示解剖特征部(例如，右肺、左肺、肝脏等)。在非专业注释人员注释期间，可以基于当前图像、注释人员(例如，注释人员的训练)和/或其他输入来显示所述多个形状的子集。当注释人员选择形状时，该形状可以用于注释当前图像，并且该形状的多个方面可基于当前图像(例如，形状的位置、形状的边界)而被自动调整以匹配当前图像中的解剖特征部。注释可以包括控制点或其他特征使注释人员能够手动调整注释。因此，使用智能器官形状选项板可通过将主题专业人士的一致性和准确性“推送”给大量非主题专业人士来增加注释人员之间的一致性。继而，这可促进生成更大量的标注数据记录并且促进对于AI模型的更准确的训练。这样，可以最小化与生成标注数据相关联的成本。此外，标准化显示参数将增加注释人员之间的一致性。在图1中提供了根据本专利技术技术可用于采集可被注释的医学图像的x射线成像系统的示例。图2是用于使用智能器官形状选项板来注释医学
图像(诸如，利用图1的x射线图像系统采集的医学图像)的方法的流程图。图8是用于生成和更新可从其中选择智能器官形状选项板的注释图标库的方法的流程图。图4至图7示出了使用智能器官形状选项板注释医学图像的逐步示例。
[0019]现在转向图1，其示出了根据本公开的一个实施方案的x射线成像系统100的框图。x射线成像系统100包括辐射x射线的x射线源111、检查期间受检者115站立在其上的立架132、以及用于检测由x射线源111辐射并由受检者115衰减的x射线的x射线检测器134。作为非限制性示例，x射线检测器134可以包括闪烁体、一个或多个离子室、光检测器阵列、x射线曝光监视器、电基板等。x射线检测器134安装在立架138上，并且被配置成根据受检者的成像区域可竖直移动。
[0020]操作控制台180包括处理器181、存储器182、用户界面183、用于控制一个或多个马达143的马达驱动器185、x射线功率单元186、x射线控制器187、相机数据采集单元190、x射线数据采集单元191和图像处理器192。从x射线检测器134传输的x射线图像数据由x射线数据采集单元191接收。收集的x射线图像数据由图像处理器192进行图像处理。通信地耦接到操作控制台180的显示设备195在其上显示图像处理过的x射线图像。
[0021]x射线源111由支撑柱141支撑，支撑柱141可以安装到天花板(例如，如图所描绘)或安装在可移动立架上，用于定位在成像室内。x本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，包括：基于在显示设备上显示的当前图像来输出来自图标库的注释图标集以用于在所述显示设备上显示；响应于从所述注释图标集中选择注释图标而在所述当前图像上显示注释；将所述注释自动调整到所述当前图像中的对应解剖特征部；以及将所述当前图像与所述注释一起保存。2.根据权利要求1所述的方法，其中所述图标库由专业注释人员生成和/或选择的注释图标构成，每个注释图标表示对应的注释。3.根据权利要求2所述的方法，其中每个注释图标表示所述对应注释的初始形状、线条宽度和线条颜色。4.根据权利要求1所述的方法，所述方法还包括接收请求调整所述注释以匹配所述对应解剖特征部的用户输入，并且还基于所述用户输入来调整所述注释。5.根据权利要求1所述的方法，还包括跟踪对所述注释所做的所述调整，并且当针对所述注释达到阈值数量的所跟踪的调整时输出通知，所述通知包括向专业注释人员建议调整所选择的注释图标。6.根据权利要求1所述的方法，其中基于图像分割、边缘检测、轮廓映射和/或所述当前图像的颜色、对比度和像素密度的变化，将所述注释自动调整到所述对应解剖特征部。7.根据权利要求1所述的方法，还包括响应于对所述注释图标的所述选择而调整一个或多个显示参数。8.根据权利要求1所述的方法，还包括响应于对所述注释图标的所述选择而输出与所述注释图标相关的基于文本和/或图像的指南以用于在所述显示设备上显示。9.一种系统，包括：显示设备；和非暂态存储器，所述非暂态存储器存储指令，所述指令能够由处理器执行以：基于在所述显示设备上显示的当前图像来输出多个注释图标；在从所述多个注释图标中选择注释图标时，在所述显示设备上显示所述当前图像上的注释形状；调整所述注释形状以匹配所述当前图像内的对应解剖特征部；以及跟踪对所述注释形状所做的调整。10.根据权利要求9所述的系统，其中将所述注释形状调整到所述对应解剖特征部包括自动识别所述解剖特征部的位置、形状和大小，并且基于所识别的所述解剖特征部的位置、形状和大小来调整所述注释形状。11.根据权利要求10所述的系统，其中所述解剖特征部的所述位置、形状和大小通过卷积神经网络、图像分割、边缘检测、轮廓映射...

【专利技术属性】
技术研发人员：S，
申请(专利权)人：通用电气精准医疗有限责任公司，
类型：发明
国别省市：