用于病理器官分割的用户交互快速标注的用户引导域自适应制造技术

本申请提供了一种使用用户引导域自适应(UGDA)架构的计算机实现的方法、设备和计算机程序产品。该方法包括使用源图像数据集，通过最小化组合模型的监督损失训练所述组合模型，以获得第一FCN的第一共享权重和第二FCN的第二共享权重；通过为每个所述源图像数据集和目标图像数据集输入极值点/掩模预测对并通过最小化鉴别器损失以获得鉴别器权重来训练所述鉴别器；以及通过预测所述目标图像数据集的极值点/掩模预测对以欺骗所述鉴别器，及通过匹配所述目标图像数据集的所述极值点/掩模预测对的分布与所述源图像数据集极值点/掩模预测对的分布，微调所述组合模型。微调所述组合模型。微调所述组合模型。

【技术实现步骤摘要】
【国外来华专利技术】用于病理器官分割的用户交互快速标注的用户引导域自适应
相关申请
[0001]本申请要求于2020年8月5日提交的美国临时专利申请No.63/061555的优先权，以及要求于2020年12月30日提交的美国专利申请No.17/138251的优先权，其全部内容通过引用并入本申请。


[0002]本申请通常涉及域自适应
，更具体地，涉及一种使用用户引导域自适应(UGDA)框架进行医学图像标注的方法、设备和计算机程序产品。

技术介绍

[0003]对医学图像中解剖结构进行可靠的计算机辅助分割，可以为疾病诊断、预后和进展提供定量生物标志物。考虑到完全标注数据(尤其是3D体积)的极端工作量，大量工作集中在弱监督分割解决方案上。可以利用用户交互(UIs)的解决方案，包括极限点、涂鸦和边界标注，就是这样一个重要的类别。
[0004]主要的挑战是有效地利用UI约束或指导掩模的生成。经典方法，如随机游走(RW)算法，可以通过使用强度相似性传播种子区域来执行。随着深度学习的出现，协调掩模预测与UIs仍然是一个挑战。深度极值点(DEXTR)是一种流行且有效的方法，它要求用户单击对象的极值边界点。然而，DEXTR在训练分割器时只添加极值点标注作为附加通道，这意味着预测的掩模可能与UIs不一致。因此，有必要开发一种使用最小劳动用户交互的快速标注方法，以增强目标数据集或部署场景上的掩模预测或生成。

技术实现思路

[0005]本申请的一个方面或实施例提供了一种用于医学图像标注的计算机实现的用户引导域自适应(UGDA)方法。所述方法包括：使用标注的医学图像的源图像数据集，通过最小化组合模型的监督损失训练所述组合模型，所述组合模型包括第一全卷积网络(FCN)和与第一FCN链接的第二FCN，以获得所述第一FCN的一个或多个第一共享权重及获得所述第二FCN的一个或多个第二共享权重；为每个所述源图像数据集和目标图像数据集，使用所述组合模型基于所述一个或多个第一共享权重生成极值点预测，并基于所述一个或多个第二共享权重生成掩模预测；通过为每个所述源图像数据集和所述目标图像数据集输入极值点/掩模预测对，并通过最小化鉴别器损失以获得一个或多个鉴别器权重，来训练鉴别器；及通过预测所述目标图像数据集的极值点/掩模预测对以欺骗具有所述一个或多个鉴别器权重的鉴别器，并通过匹配所述目标图像数据集的极值点/掩模预测对的分布与所述源图像数据集的极值点/掩模预测对的分布，对所述组合模型进行微调。
[0006]可选的，预测所述目标图像数据集的极值点/掩模预测对包括：获取所述目标图像数据集的所述极值点预测；并使用得到的极值点预测作为锚点获得所述目标图像数据集的掩模预测，其中，使用对抗性损失引导所述掩模预测与得到的极值点预测正确对齐。
[0007]可选地，所述对抗性损失根据以下公式计算：其中，表示所述对抗性损失，l
bce
表示交叉熵损失；N
t
表示所述目标图像数据集的基数；D
t
表示所述目标图像数据集的体积；表示所述掩模预测，表示所述极值点预测；1表示标签，指示来自所述源图像数据集的所述极值点/掩模预测对。
[0008]可选地，所述第一FCN被配置为预测输入所述第二FCN的极值点；并且所述第二FCN被配置为基于所述第一FCN的所述极值点预测来预测掩模。
[0009]可选地，所述基于极值点损失和分割损失计算监督损失。
[0010]可选地，所述鉴别器损失根据以下公式计算：其中，表示所述鉴别器损失；l
bce
表示交叉熵损失；N
S
表示所述源图像数据集的基数；N
t
表示所述目标图像数据集的基数；D
s
表示所述源图像数据集的体积；D
t
表示所述目标图像数据集的体积；表示所述掩模预测，表示所述极值点预测；0和1表示标签，分别指示来自所述目标图像数据集和所述源图像数据集的极值点/掩模预测对。
[0011]可选地，所述UGDA方法的整体训练是最小化根据所述监督损失和所述对抗性损失计算的总损失。
[0012]可选地，所述源图像数据集包括病理器官和健康器官的体积；所述目标图像数据集包括病理器官的体积，病理器官的病因/特征在所述源图像数据集中看不到。
[0013]可选地，所述第一FCN向所述第二FCN输出多个高斯热图以预测一个掩模，每个所述高斯热图对应于一个极值点。
[0014]可选地，所述目标图像数据集包括用户交互(UI)标注的和未标注的体积；所述源图像数据集包括带有掩模的完全监督的体积。
[0015]本申请的另一方面或实施例提供了一种用户引导域自适应(UGDA)的设备。所述设备包括存储器，所述存储器中存储有计算机程序；及处理器，与所述存储器耦合并配置为，当所述计算机程序被执行时执行以下方法：使用标注的医学图像的源图像数据集，通过最小化组合模型的监督损失训练所述组合模型，所述组合模型包括第一全卷积网络(FCN)和与第一FCN链接的第二FCN，以获得所述第一FCN的一个或多个第一共享权重及获得所述第二FCN的一个或多个第二共享权重；为每个所述源图像数据集和目标图像数据集，使用所述组合模型基于所述一个或多个第一共享权重生成极值点预测，并基于所述一个或多个第二共享权重生成掩模预测；通过为每个所述源图像数据集和所述目标图像数据集输入极值点/掩模预测对，并通过最小化鉴别器损失以获得一个或多个鉴别器权重来训练鉴别器；及通过预测所述目标图像数据集的极值点/掩模预测对以欺骗具有所述一个或多个鉴别器权重的鉴别器，并通过匹配所述目标图像数据集的极值点/掩模预测对的分布与所述源图像
数据集的极值点/掩模预测对的分布，对所述组合模型进行微调。
[0016]可选的，预测所述目标图像数据集的极值点/掩模预测对包括：获取所述目标图像数据集的所述极值点预测；并使用得到的极值点预测作为锚点获得所述目标图像数据集的掩模预测，其中，使用对抗性损失引导所述掩模预测与得到的极值点预测正确对齐。
[0017]可选地，所述第一FCN被配置为预测输入所述第二FCN的极值点；并且所述第二FCN被配置为基于所述第一FCN的所述极值点预测来预测掩模。
[0018]可选地，所述第一FCN向所述第二FCN输出多个高斯热图以预测一个掩模，每个高斯热图对应于一个极值点。
[0019]本申请的另一方面或实施例提供了一种计算机程序产品，包括存储有程序指令的非暂时性的计算机可读存储介质，所述程序指令被配置为由计算机执行以使所述计算机实现包括：使用标注的医学图像的源图像数据集，通过最小化组合模型的监督损失训练所述组合模型，所述组合模型包括第一全卷积网络(FCN)和与第一FCN链接的第二FCN，以获得所述第一FCN的一个或多个第一共享权重及获得所述第二FCN的一个或多个第二共享权重；为每个所述源图像数据集和目标图像数据集，使用组合模型基于所述一个或多个第一共享权重生成极值点预测，并基于所述一个或多个第二共享权本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于医学图像标注的计算机实现的用户引导域自适应(UGDA)的方法，包括：使用标注的医学图像的源图像数据集，通过最小化组合模型的监督损失训练所述组合模型，所述组合模型包括第一全卷积网络(FCN)和与第一FCN链接的第二FCN，以获得所述第一FCN的一个或多个第一共享权重及获得所述第二FCN的一个或多个第二共享权重；为每个所述源图像数据集和目标图像数据集，使用组合模型基于所述一个或多个第一共享权重生成极值点预测，并基于所述一个或多个第二共享权重生成掩模预测；通过为每个所述源图像数据集和所述目标图像数据集输入极值点/掩模预测对，并通过最小化鉴别器损失以获得一个或多个鉴别器权重来训练鉴别器；及通过预测所述目标图像数据集的极值点/掩模预测对以欺骗具有所述一个或多个鉴别器权重的鉴别器，并通过匹配所述目标图像数据集的极值点/掩模预测对的分布与所述源图像数据集的极值点/掩模预测对的分布，对所述组合模型进行微调。2.如权利要求1所述的方法，其中，预测所述目标图像数据集的极值点/掩模预测对包括：获取所述目标图像数据集的所述极值点预测；及使用得到的极值点预测作为锚点获得所述目标图像数据集的掩模预测，其中，使用对抗性损失引导所述掩模预测与得到的极值点预测正确对齐。3.如权利要求2所述的方法，其中，所述对抗性损失根据以下公式计算：其中，表示所述对抗性损失，表示交叉熵损失；N
t
表示所述目标图像数据集的基数；D
t
表示所述目标图像数据集的体积；表示所述掩模预测，表示所述极值点预测；1表示标签，指示来自所述源图像数据集的所述极值点/掩模预测对。4.如权利要求1所述的方法，其中，所述第一FCN被配置为预测输入所述第二FCN的极值点；及所述第二FCN被配置为基于所述第一FCN的所述极值点预测来预测掩模。5.如权利要求1所述的方法，其中，所述基于极值点损失和分割损失计算监督损失。6.如权利要求1所述的方法，其中，所述鉴别器损失根据以下公式计算：其中，表示所述鉴别器损失；表示交叉熵损失；N
S
表示所述源图像数据集的基数；N
t
表示所述目标图像数据集的基数；D
s
表示所述源图像数据集的体积；D
t
表示所述目标图像数据集的体积；表示所述掩模预测，表示所述极值点预测；0和1表示标签，分别指示来自所述目标图像数据集和所述源图像数据集的极值点/掩模预测对。7.如权利要求3所述的方法，其中，所述UGDA方法的整体训练是最小化根据所述监督损失和所述对抗性损失计算的总损失。8.如权利要求1所述的方法，其中，所述源图像数据集包括病理器官和健康器官的体
积；所述目标图像数据集包括病理器官的体积，病理器官的病因/特征在所述源图像数据集中看不到。9.如权利要求1所述的方法，其中，所述第一FCN向所述第二FCN输出多个高斯热图以预测一个掩模，每个所述高斯热图对应于一个极值点。10.如权利要求1所述的方法，其中，所述目标图像数据集包括用户交互(UI)标注的和未标注的体积；所述源图像数据集包括带有掩模的完全监督的体积。11.一种用户引导域自适应(UGDA)的设备，包括：存储器，所述存储器中存储有计算机程序；及处理器，与所述存储器耦合并配...

【专利技术属性】
技术研发人员：亚当，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：