【技术实现步骤摘要】
【国外来华专利技术】
专利
：本专利技术涉及医学成像和图像转换领域。本专利技术尤其涉及将用于处理的图像转换为用于呈现的图像的方法，这种方法与制造商和模态无关。
技术介绍
1、本专利技术提供了用于经由基于生成对抗网络(gan)的深度学习系统将医学图像(例如，前列腺、肺和乳房的图像)从“用于处理”(也称为“原始”)格式转换为“用于呈现”(也称为“处理后”)格式的方法，该“用于呈现”格式与制造商和模态无关。
2、在射线照相成像中，探测器产生用于处理的图像，其中灰度级与穿过被扫描身体部分和内部器官或组织的x射线衰减成比例。然后，这些数据被数字化处理以增强一些特征，例如对比度和分辨率，从而产生对于放射科医师的视觉病变检测而言最佳的用于呈现的图像。
3、然而，射线照相设备制造商没有公开其用于处理的图像到用于呈现的图像转换的细节。因此，对于大多数历史图像(即，由于成本和存储的限制，仅以用于处理的格式存储的图像)而言，回顾性图像检查是不可能的。
4、此外，如gastounioti等人所述(“处理的乳房实质模式对原始数字乳房照片：一项用于评估图像表示之间的定量测量差异的大群体研究(breast parenchymal patterns inprocessed versus raw digital mammograms:a large population study towardassessing differences in quantitative measures across imagerepresentations)
5、图像转换是指将源域(例如，灰度图像的域)中的图像转换为目标域(例如，彩色图像的域)中的相应图像的任务，其中给定输入的一个视觉表示被映射到另一个表示。
6、图像转换领域的发展主要由深度学习技术的使用和人工神经网络的应用来驱动。在这些网络中，卷积神经网络(cnn)已经成功地应用于医学图像和任务，以在图像的不同等级或类别之间进行区分，例如，应用于病理状况的检测、分割和量化。
7、基于人工智能(ai)的应用还包括生成模型的使用。这些是可以用于合成新数据的模型。最广泛使用的生成模型是生成对抗网络(gan)。
8、gan是一种ai技术，其中两个人工神经网络被联合优化，但是具有相反的目标。一个神经网络，即生成器，旨在合成不能与真实图像区分的图像。第二神经网络，即鉴别器，旨在将这些合成图像与真实图像区分开。在对抗性的零和游戏中一起训练这两个模型，直到鉴别器模型在必需的事件上被“欺骗”，这意味着生成器模型正在生成似乎可信的示例。除了其他应用外，这些深度学习模型允许合成新图像、加速图像采集、减少成像伪影、在利用不同模态采集的医学图像之间进行高效且准确的转换以及识别图像上描绘的异常。
9、与其他深度学习模型一样，gan的开发和使用需要：训练阶段，在训练阶段中训练数据组被用于优化模型的参数；以及测试阶段，在该测试阶段中，验证并最终部署经训练的模型。在gan系统中，第一神经网络生成器和第二神经网络鉴别器被同时训练以最大化第一神经网络生成器和第二神经网络鉴别器的性能：该生成器被训练以生成使所述鉴别器失效的数据；并且训练鉴别器以区分真实数据和生成数据。
10、为了优化生成器的性能，gan努力在给定生成的数据的情况下使鉴别器的损失最大化。为了优化鉴别器的性能，gan在给定真实数据和生成数据的情况下努力使鉴别器的损失最小化。
11、鉴别器可以包括共享相同网络层的单独路径，其中每一层计算特征图，该特征图可以被描述为该层最受关注的图像信息(j.yosinski等人(“通过深度可视化理解神经网络(understanding neural networks through deep visualization)”，深度学习研讨会，2015年))。发现来自较低层的特征图突出了诸如对象边缘、角等简单特征。由来自较低层的较简单组件组成的较高层的复杂性和变化增加。
12、在放射学应用中，gan用于合成以其他图像为条件的图像。鉴别器针对图像对确定其是否形成实际组合。因此，可以将gan用于图像到图像的转换问题，诸如运动伪影的校正、图像去噪和模态转换(例如，pet到ct)。
13、gan还允许合成全新的图像，例如，以放大数据组，其中，合成的数据用于放大基于深度学习的方法的训练数据组，并因此改善其性能。
14、gan还被用于解决图像采集的限制，否则该图像采集的限制将需要诸如探测器分辨率或运动跟踪的硬件创新。例如，gan可以针对图像超分辨率而被训练，这可能是通过将图像矩阵尺寸增大到高于最初采集的那些尺寸：生成器网络的输入图像将是低分辨率图像，并且该网络的输出图像将是高分辨率图像。
15、gan在一定程度上允许合成图像模态，这有助于减少时间、辐射暴露和成本。例如，生成器cnn可以被训练成将一种模态(源域)的图像转换成另一种模态(目标域)的图像。这种转换通常是非线性的，且可使用鉴别器来促进输出图像上的目标域的特性。
16、给定不同域中的成对图像，可以经由基于gan的深度学习模型来学习其非线性映射。gan模型可以从诸如t.wang等人所描述的模型中导出(‘利用条件gan进行高分辨率图像合成和语义处理(high-resolution image synthesis and semantic manipulation withconditional gans)’，2018年ieee/cvf计算机视觉和模式识别会议，2018，8798-8807页，doi:10.1109/cvpr.2018.00917)。
17、然而，在放射图像转换领域中，已知方法受到生成高分辨率图像的挑战的影响；并且缺乏高分辨率结果的细节和逼真纹理。在其工作中(参考‘计算机断层扫描和磁共振图像之间用于医学图像合成的有监督和无监督深度学习方法的比较(comparison ofsupervised and unsupervised deep learning methods for medical image synthesisbetween computed tomography and magnetic resonance images)’，国际生物医学研究，2020，5193707，doi:10.1155/2020/5193707)y.li等人提出了循环一致的对抗网络(“cyclegan”)以256×256的低分辨率在脑ct和mri图像之间转换。然而，通常需要高分辨率图像用于医学诊断。
18、例如在半监督学习中，用不成对的数据训练的gan已被证明特别容易受到引入伪像或从图像中去除相关信息的风险的影响。这些gan易受这些风险的影响，因为这些gan仅需要间接检查来验证合成图像示出与原始图像中相同的内容。例如，示例由a.k本文档来自技高网...
【技术保护点】
1.一种生成对抗网络GAN，包括作为生成器的第一神经网络和作为鉴别器的第二神经网络，所述第一神经网络和所述第二神经网络被配置为彼此训练以学习在多组成对的用于处理的图像和用于呈现的图像之间的转换映射。
2.根据权利要求1所述的GAN，其中，为了训练所述鉴别器：
3.根据权利要求1或2所述的GAN，其中，为了训练所述生成器：
4.根据权利要求1、2或3所述的GAN，包括预处理器，所述预处理器被配置成接收源图像并对所述源图像进行标准化以产生所述用于处理的图像A。
5.根据权利要求4所述的GAN，其中，所述预处理器被配置成对所述源图像执行伽马校正，然后进行标准化。
6.根据权利要求5所述的GAN，所述的GAN被配置成应用由所述源图像中的乳房投影面积与预选值的比率所确定的伽马校正水平。
7.根据权利要求6所述的GAN，其中，在所述比率的预选值以上，所述伽马校正的水平低于所述预选比率以下。
8.根据任一项前述权利要求所述的GAN，其中，所述鉴别器包括直接来自所述多组成对图像的级联的网络层的第一路径。
<...【技术特征摘要】
【国外来华专利技术】
1.一种生成对抗网络gan，包括作为生成器的第一神经网络和作为鉴别器的第二神经网络，所述第一神经网络和所述第二神经网络被配置为彼此训练以学习在多组成对的用于处理的图像和用于呈现的图像之间的转换映射。
2.根据权利要求1所述的gan，其中，为了训练所述鉴别器：
3.根据权利要求1或2所述的gan，其中，为了训练所述生成器：
4.根据权利要求1、2或3所述的gan，包括预处理器，所述预处理器被配置成接收源图像并对所述源图像进行标准化以产生所述用于处理的图像a。
5.根据权利要求4所述的gan，其中，所述预处理器被配置成对所述源图像执行伽马校正，然后进行标准化。
6.根据权利要求5所述的gan，所述的gan被配置成应用由所述源图像中的乳房投影面积与预选值的比率所确定的伽马校正水平。
7.根据权利要求6所述的gan，其中，在所述比率的预选值以上，所述伽马校正的水平低于所述预选比率以下。
8.根据任一项前述权利要求所述的gan，其中，所述鉴别器包括直接来自所述多组成...
【专利技术属性】
技术研发人员：王恺尔，R·海纳姆，
申请(专利权)人：唯盼健康科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。