使用深度学习网络学习损失函数制造技术

本发明专利技术提供了用于使用DL网络学习损失函数并将这些损失函数集成到基于DL的图像转换架构中的技术。在一个实施方案中，提供了一种方法，该方法包括由操作地联接到处理器的系统促进训练第一深度学习网络以预测损失函数的损失函数度量值。该方法还包括由系统采用第一深度学习网络来预测与训练第二深度学习网络相关联的损失函数度量值以执行定义的深度学习任务。在各种实施方案中，该损失函数包括在现有深度学习包中不易实现的计算上复杂的损失函数，诸如不可微分的损失函数、特征相似性指数匹配(FSIM)损失函数、系统传递函数、视觉信息保真度(VIF)损失函数等。信息保真度(VIF)损失函数等。信息保真度(VIF)损失函数等。

【技术实现步骤摘要】
使用深度学习网络学习损失函数


[0001]本申请一般涉及深度学习，并且更具体地涉及用于使用深度学习 (DL)网络来学习损失函数的计算机实现的技术。

技术介绍

[0002]由于基于深度学习(DL)的图像重建能够模拟整个图像重建链并以较 少的数据加速扫描，因此近年来基于深度学习(DL)的图像重建已获得较 多关注。使用DL网络重建的图像的质量由网络架构决定，并且更重要的 是，由用于驱动优化的损失函数决定。这在医学图像重建中尤其重要。
[0003]目前，大多数基于DL的图像重建网络基于基于标准均方误差 (MSE)的损失函数、基于平均绝对误差(MAE)的损失函数或基于结构 相似性(SSIM)的损失函数。然而，这些损失函数并不总是准确地解释图 像质量。因此，依赖于这些损失函的由DL网络数预测的图像通常会遭受图 像伪影，诸如模糊、失真或晕影。
[0004]在实践中，放射科医生对图像的感知是确定基于DL的图像重建的性 能的最终评判因素。最近的研究表明，上文提及的大多数损失函数与放射 科医生对图像质量的感知没有很好的相关度。对图像压缩协议的一些感知 研究已发现特征相似度指数度量(FSIM)和视觉信息保真度(VIF)度量 更好地模拟放射科医师对图像质量的感知。然而，尽管这些度量在图像质 量方面提供改善的准确性，但这些指标的数学公式比传统损失函数(诸如 MSE、MAE和SSIM)要复杂得多。此外，实现这些损失函数所需的结构 在标准DL工具包(诸如TensorFlow)中不容易获得，并且难以使用基本 张量结构来实现。因此，这些损失函数尚未成功地集成到DL网络架构中。

技术实现思路

[0005]以下呈现了
技术实现思路
以提供对本专利技术的一个或多个实施方案的基本理 解。本
技术实现思路
不旨在标识关键或重要元素，也不旨在描绘具体实施方案 的任何范围或权利要求的任何范围。其唯一目的是以简化形式呈现概念， 作为稍后呈现的更详细描述的序言。在本文所述的一个或多个实施方案 中，提供了使用DL网络促进学习损失函数并将这些损失函数集成到基于 DL的图像转换架构中的系统、计算机实现的方法、装置和/或计算机程序 产品。
[0006]根据一个实施方案，提供了一种方法，该方法包括由操作地联接到处 理器的系统促进训练第一深度学习网络以预测损失函数的损失函数度量 值。该方法还包括由系统采用第一深度学习网络来预测与训练第二深度学 习网络相关联的损失函数度量值以执行定义的深度学习任务。在各种实施 方案中，该损失函数包括在现有深度学习包中不易实现的计算上复杂的损 失函数，诸如不可微分的损失函数、特征相似性指数匹配(FSIM)损失函 数、系统传递函数、视觉信息保真度(VIF)损失函数等。在一个或多个实 施方案中，该定义的深度学习任务包括图像重建任务。例如，在一些具体 实施中，该第二深度学习网络可包
被认为与放射科医生对图像质量的评估更紧密地匹配。然而，这些度量是 不可微分的，并且计算这些度量所需的计算子部件不是易实现的DL包，这 使得它们在DL图像重建网络中的使用具有挑战性。
[0021]本专利技术所公开的主题提供了用于将基于FSIM、VIF等的复杂损失函数 有效且高效地集成到用于图像重建和其他任务的DL网络中的技术。本专利技术 所公开的技术涉及训练单独的DL网络，以通过监督训练从其分析对应物学 习复杂损失函数。例如，在一个或多个具体实施中，可以训练单独的DL网 络以预测损失函数度量，诸如FSIM、VIF等。一旦经过训练，损失函数 DL网络就可以用作“可扩展”损失函数模块，以随后驱动其他神经网络对 感兴趣的属性进行建模。
[0022]虽然所公开的技术的各种实施方案专注于成像度量，但这些技术可适 当地适用于其他域中的度量，诸如信号或系统传递函数；但由于其缺乏实 施细节(但最终输出可用)或在训练DL网络中的不可微分标准，迄今为止 无法使用。就这一点而言，本专利技术所公开的技术可用于为DL网络所解决的 各种领域专门问题生成可扩展损失函数。
[0023]术语“图像处理模型”在本文中用来指被配置为对图像执行图像处理 或分析任务的AI/ML模型。图像处理或分析任务可变化。在各种实施方案 中，图像处理或分析任务可包括(但不限于)：分割任务、图像重建任 务、对象识别任务、运动检测任务、视频跟踪任务、光流任务等。本文所 述的图像处理模型可包括二维(2D)图像处理模型以及三维(3D)图像处 理模型。图像处理模型可采用各种类型的AI/ML算法，包括(但不限 于)：深度学习模型、神经网络模型、深度神经网络模型(DNN)、卷积 神经网络模型(CNN)等。
[0024]术语“基于图像的推断输出”在本文中用来指图像处理模型被配置为 生成的确定或预测。例如，基于图像的推断输出可包括分割掩码、经重建 图像、适应图像、带注释图像、分类、值等。基于图像的推断输出可基于 模型的类型和该模型被配置为执行的特定任务而变化。基于图像的推断输 出可包括可被呈现(例如，视觉数据对象)、存储、用作另一处理任务的 输入等的数据对象。术语“基于图像的推断输出”、“推断输出”、“推 断结果”、“推断”、“输出”、“预测”等在本文中可互换使用，除非 上下文确定这些术语之间需要进行特定区分。
[0025]如本文所用，“医学成像处理模型”是指被定制为对一个或多个医学 图像执行图像处理/分析任务的图像处理模型。例如，医学成像处理/分析任 务可包括(但不限于)：器官分割、异常检测、解剖特征表征、医学图像 重建、诊断等。由医学图像处理模型处理/分析的医学图像的类型可包括使 用各种类型的成像模态捕获的图像。例如，医学图像可包括(但不限 于)：放射治疗(RT)图像、X射线图像、数字放射摄影(DX)X射线图 像、X射线血管造影(XA)图像、全景X射线(PX)图像、计算机断层 摄影(CT)图像、乳房X线摄影(MG)图像(包括断层合成设备)、磁 共振成像(MRI)图像、超声(US)图像、彩色流多普勒(CD)图像、正 电子发射断层摄影(PET)图像、单光子发射计算机断层摄影(SPECT)图 像、核医学(NM)图像等。医学图像可包括二维(2D)图像以及三维 (3D)图像。
[0026]现在参考附图描述一个或多个实施方案，其中相同的附图标号始终用 于表示相同的元件。在以下描述中，出于解释的目的，阐述了许多具体细 节以便提供对一个或多个实施方案的更透彻理解。然而，很明显，在各种 情况下，可以在没有这些具体细节的情况下实践一个或多个实施方案。
[0027]现在转到附图，图1示出了根据本专利技术所公开的主题的一个或多个实 施方案的示例性、非限制性系统100的框图，该系统促进使用DL网络来学 习损失函数并将这些损失函数集成到基于DL的图像转换架构中。本文描述 的系统的实施方案可以包括体现在一个或多个机器内(例如，体现在与一 个或多个机器相关联的一个或多个计算机可读存储介质中)的一个或多个 机器可执行部件。当由一个或多个机器(例如，处理器、计算机、计算设 备、虚拟机等)执行时，这类部件可以使一个或多个机器执行所述操作。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种系统，包括：存储器，所述存储器存储计算机可执行部件；和处理器，所述处理器执行存储在所述存储器中的所述计算机可执行部件，其中所述计算机可执行部件包括：损失函数训练部件，所述损失函数训练部件促进训练第一深度学习网络以预测损失函数的损失函数度量值；和可扩展损失函数部件，所述可扩展损失函数部件促进应用所述第一深度学习网络来预测与训练第二深度学习网络相关联的所述损失函数度量值以执行定义的深度学习任务。2.根据权利要求1所述的系统，其中所述损失函数包括不可微分的损失函数。3.根据权利要求1所述的系统，其中所述损失函数包括特征相似性指数匹配(FSIM)损失函数。4.根据权利要求3所述的系统，其中所述损失函数度量值包括特征相似性指数度量值。5.根据权利要求3所述的系统，其中所述损失函数度量值包括相位一致性度量值。6.根据权利要求1所述的系统，其中所述损失函数包括系统传递函数。7.根据权利要求1所述的系统，其中所述损失函数包括视觉信息保真度(VIF)损失函数。8.根据权利要求1所述的系统，其中所述第二深度学习网络需要定义的软件框架来执行，并且其中所述定义的软件框架不能执行所述损失函数。9.根据权利要求8所述的系统，其中所述定义的软件框架采用张量结构，并且其中所述张量结构不能计算所述损失函数。10.根据权利要求1所述的系统，其中所述定义的深度学习任务包括图像重建任务或图像转换任务。11.根据权利要求1...

【专利技术属性】
技术研发人员：达蒂什，
申请(专利权)人：通用电气精准医疗有限责任公司，
类型：发明
国别省市：