图像处理结果的智能编辑制造技术

本发明专利技术涉及图像处理结果的智能编辑。一种用于编辑图像处理结果的计算机实现的方法包括通过使用迭代的编辑过程来在输入图像上执行一个或多个图像处理任务。执行迭代的编辑过程直到接收到用户退出请求为止。迭代编辑过程的每个迭代包括使用第一机器学习模型来生成多个经处理的图像。每个经处理的图像对应于处理参数的不同集合。迭代编辑过程此外包括在显示器上向用户呈现所述多个经处理的图像以及接收用户响应，包括（i）指示接受经处理的图像中的一个或多个，（ii）指示拒绝所有经处理的图像，或（iii）用户退出请求。遵循迭代编辑过程，通过使用紧接在接收用户退出请求之前所生成的经处理的图像中的至少一个来执行临床任务。

【技术实现步骤摘要】
图像处理结果的智能编辑
本专利技术一般地涉及用于通过使用机器学习技术来编辑成像处理结果的方法、系统和装置。可以将本文中所述的技术应用到例如在临床和介入性设置中处理医学图像。
技术介绍
医学图像处理任务、诸如检测、分类、分割和配准是图像后期处理工作站的集成部分。当用户必须执行某个种类的结果编辑的时候，他/她典型地使用输入设备（例如鼠标或触笔）来绘制/重绘制轮廓或移除/拖动轮廓来完成编辑任务。在繁忙的临床工作流中，不总是有可能执行详细和冗长的编辑。例如：在具有无菌环境的介入性设置中，不总是有可能以与在后期处理工作站上的那个类似的方式来执行编辑。典型地，介入性临床医师能够访问C型臂系统上的操纵杆控制器以完成所有他/她的任务而不中断工作流。该操纵杆不像用于在2D或3D中编辑轮廓的鼠标或触笔那样通用。另一示例是在扫描室中，其中技师可能想要编辑自动算法（例如，磁共振扫描仪上的“内联”算法或计算机断层摄影术扫描仪上的“PACS-ready（预备）”算法）的结果。在这样的场景中，用户可能不能访问典型地存在于3D后期处理工作站上的所有先进编辑工具。作为结果，存在针对智能编辑算法的需要，所述智能编辑算法不需要临床医师使用鼠标或触笔。另外，当给予用户对徒手编辑工具的访问的时候，存在有大量用户间可变性。当前，典型地由用户以纯手动或半自动的方式、通过使用输入设备、诸如计算机鼠标或笔/触笔来执行图像编辑。这样的工具常规地在所有图像后期处理工作站上可用。由于这在介入性治疗室（interventionalsuite）中不总是可能的，所以用户典型地必须指示技师在手术室外部（例如控制室中的）工作站上执行这些任务，或必须中断他们在台桌侧的工作流来由他们自己对此执行。
技术实现思路
本专利技术的实施例通过提供与使用机器学习模型而对图像的智能编辑有关的方法、系统和装置而解决和克服上述缺点和缺陷中的一个或多个。根据一些实施例，用于编辑图像处理结果的计算机实现的方法包括通过使用迭代的编辑过程来在输入图像上执行一个或多个图像处理任务。执行迭代的编辑过程直到接收到用户退出请求为止。迭代编辑过程的每个迭代包括使用第一机器学习模型来生成多个经处理的图像。每个经处理的图像对应于处理参数的不同集合。迭代编辑过程此外包括在显示器上向用户呈现经处理的图像以及接收用户响应，包括（i）指示接受经处理的图像中的一个或多个，（ii）指示拒绝所有经处理的图像，或（iii）用户退出请求。遵循迭代编辑过程，通过使用紧接在接收用户退出请求之前所生成的经处理的图像中的至少一个来执行临床任务。先前提及的方法中所使用的图像处理任务可以包括以下中的一个或多个：分割来自输入图像的感兴趣的解剖对象；检测存在于输入图像中的感兴趣的一个或多个临床指示符；追踪存在于输入图像中的感兴趣的一个或多个对象；将输入图像配准到一个或多个其它图像；或利用一个或多个分类标签来对输入图像进行分类。在先前提及的方法的一些实施例中，迭代编辑过程此外包括使用经处理的图像和用户响应来训练第二机器学习模型以生成第一模型输入参数给第一机器学习模型。在迭代编辑过程期间，第一模型输入参数可以用作对于第一机器学习模型的输入。在一些实施例中，第二机器学习模型用于从经处理的图像之中标识最合期望的选项，并且在显示器上、在具有对最合期望的选项的可视指示的情况下向用户呈现经处理的图像。在其它实施例中，第二机器学习模型用于基于用户偏好来对经处理的图像进行排序，并且在显示器上、以经排序的次序来向用户呈现经处理的图像。在一些实施例中，在输入图像内标识感兴趣的区，并且在生成经处理的图像的时候，仅仅将第一机器学习模型应用到感兴趣的区内的图像数据。可以手动地、例如基于对输入图像的区的用户选择或自动地、例如通过使用第二机器学习模型来标识该感兴趣的区。根据本专利技术的其它实施例，用于处理图像的计算机实现的方法包括接收从图像扫描仪设备所获取的一个或多个图像，并且通过将分割算法应用到图像来自动地生成感兴趣的解剖特征的初始分割。接下来，在显示器上向用户呈现初始分割，并且响应于从用户接收到对初始分割的拒绝，执行迭代分割过程直到接收到用户退出请求为止。迭代分割过程包括通过使用多个第一模型参数将第一机器学习模型应用到图像而生成感兴趣的解剖特征的多个可替换分割。迭代分割过程此外包括在显示器上向用户呈现所述可替换的分割以及接收用户响应，包括（i）指示接受所述可替换分割中的一个或多个，（ii）指示拒绝所有可替换的分割，或（iii）用户退出请求。然后，基于用户响应来更新第一模型参数。根据本专利技术的其它实施例，用于处理图像的系统包括显示器、一个或多个处理器；以及非暂时性、有形的计算机可读介质。该介质持有指令，所述指令可由处理器执行以用于执行以上讨论的方法中的一个或多个。从参考附图进行的对说明性实施例的以下详细描述中将使得本专利技术的附加的特征和优点显而易见。附图说明从当结合附图阅读的以下详细描述中最好地理解本专利技术的前述和其它方面。为了说明本专利技术的目的，在附图中示出了目前优选的示例性实施例，然而，理解到本专利技术不限于所公开的特定手段。在附图中所包括的是以下各图：图1示出了根据本专利技术的一些实施例的智能编辑方法；图2提供了如可以在一些实施例中实现的智能编辑过程的示例的图示；图3图示了根据一些实施例的用于生成训练数据库以用于训练以上所讨论的第二机器学习模型的一种技术；图4示出了用于供图3中所图示的技术使用的示例地面实况（groundtruth）序列；以及图5提供了可以用于实现机器学习模型以及本文中讨论的各种智能编辑方法的其它方面的并行处理存储器架构的示例。具体实施方式以下公开内容根据若干实施例描述了本专利技术，所述实施例针对与图像的智能编辑有关的方法、系统和装置。本文中所描述的技术一般能够编辑由任何种类的图像处理算法所产生的结果。这些技术不需要用户主动地通过使用标准输入设备（例如鼠标或触摸触笔）来绘制、编辑或操纵结构（例如点、线、轮廓、表面等等），而是代替地引导用户通过简单的工作流，所述简单的工作流呈现基于用户的当前状态而即时（on-the-fly）地预备的一系列选项。“智能编辑”技术优选地将工作流拟合到介入性设置中，在所述介入性设置中临床医师（在本文中被称为“用户”）典型地在无菌环境中对患者动手术，并且不能访问用于执行图像处理任务分割和编辑的传统图像处理工具。智能编辑途径基于使用机器学习算法（中一个或多个）的集合，所述机器学习算法在用户向系统提示他们想要编辑图像处理算法（例如解剖对象的分割）的结果的时候被即时地激活。图1示出了根据本专利技术的一些实施例的智能编辑方法100。该方法100可以一般地在任何计算系统上被执行；然而，一些计算架构可以提供针对处理或便利的某些优点。例如，针对诊断成像用例，方法100可以容易地被应用到在扫描仪上执行的用例（例如，CT扫描仪上的“PACS-预备”技术结果，或MRI扫描仪上的“内联”功能性）。另外，如以下关于图5所描述的，智能编辑可以容易地被并行化。开始于步骤105，执行方法100的系统从外部源接收输入图像。在一些实施例中，所述外部源是图像扫描仪设备、诸如计算机断层摄影术扫描仪、磁共振扫描仪、或X射线血管造影术扫描仪。执行方法100的系统可以被直接连接到外部源，使得紧本文档来自技高网...

【技术保护点】
1.一种用于编辑图像处理结果的计算机实现的方法，所述方法包括：通过使用迭代编辑过程来在输入图像上执行一个或多个图像处理任务，其中所述迭代编辑过程被执行直到接收到用户退出请求为止，并且迭代编辑过程的每个迭代包括：使用第一机器学习模型来生成多个经处理的图像，其中每个经处理的图像对应于处理参数的不同集合；在显示器上向用户呈现所述多个经处理的图像；接收用户响应，包括（i）指示接受经处理的图像中的一个或多个，（ii）指示拒绝所有经处理的图像，或（iii）用户退出请求；以及通过使用紧接在接收用户退出请求之前所生成的经处理的图像中的至少一个来执行一个或多个临床任务。

【技术特征摘要】
2017.09.26 US 15/7156041.一种用于编辑图像处理结果的计算机实现的方法，所述方法包括：通过使用迭代编辑过程来在输入图像上执行一个或多个图像处理任务，其中所述迭代编辑过程被执行直到接收到用户退出请求为止，并且迭代编辑过程的每个迭代包括：使用第一机器学习模型来生成多个经处理的图像，其中每个经处理的图像对应于处理参数的不同集合；在显示器上向用户呈现所述多个经处理的图像；接收用户响应，包括（i）指示接受经处理的图像中的一个或多个，（ii）指示拒绝所有经处理的图像，或（iii）用户退出请求；以及通过使用紧接在接收用户退出请求之前所生成的经处理的图像中的至少一个来执行一个或多个临床任务。2.根据权利要求1所述的方法，此外包括：从外部源接收输入图像；在输入图像上自动执行所述一个或多个图像处理任务以产生初始经处理的图像；在显示器上向用户呈现初始经处理的图像；响应于从用户接收到对初始经处理的图像的拒绝，执行所述迭代编辑过程。3.根据权利要求1所述的方法，其中所述迭代编辑过程此外包括：使用所述多个经处理的图像和用户响应来训练第二机器学习模型以生成第一模型输入参数给第一机器学习模型。4.根据权利要求3所述的方法，其中，在所述迭代编辑过程期间，第一模型输入参数被用作对于第一机器学习模型的输入。5.根据权利要求3所述的方法，其中所述迭代编辑过程此外包括：使用第二机器学习模型来从所述多个经处理的图像之中标识最合期望的选项，其中在显示器上、在具有对最合期望的选项的可视指示的情况下向用户呈现所述多个经处理的图像。6.根据权利要求3所述的方法，其中所述迭代编辑过程此外包括：使用第二机器学习模型来基于用户偏好而对所述多个经处理的图像进行排序，其中在显示器上、以所排序的次序向用户呈现所述多个经处理的图像。7.根据权利要求3所述的方法，此外包括：标识输入图像内的感兴趣的区，其中当生成所述多个经处理的图像的时候，第一机器学习模型仅仅被应用于感兴趣的区内的图像数据。8.根据权利要求7所述的方法，其中基于对输入图像的区的用户选择来标识感兴趣的区。9.根据权利要求7所述的方法，其中通过使用第二机器学习模型来自动标识感兴趣的区。10.根据权利要求1所述的方法，其中所述一个或多个图像处理任务包括分割来自输入图像的感兴趣的解剖对象。11.根据权利要求1所述的方法，其中所述一个或多个图像处理任务包括检测输入图像中存在的感兴趣的一个或多个临床指示符。12.根据权利要求1所述的方法，其中所述一个或多个图像处理任务包括追踪...

【专利技术属性】
技术研发人员：P沙尔马，T帕塞里尼，MA古尔孙，
申请(专利权)人：西门子保健有限责任公司，
类型：发明
国别省市：德国,DE