基于病变区域关系建模的宫颈TCT图像检测装置制造方法及图纸

本发明专利技术公开了一种基于病变区域关系建模的宫颈TCT图像检测装置，属于医学图像处理技术领域，包括：在提取整个细胞涂片图像的多尺度特征和提取分割的小图像块特征基础上，通过对这两部分特征进行病变区域关系建模，并采用注意力机制提取关键特征，利用该关键特征进行病变区域检测，提升了检测精度，帮助医生更加精准而轻松地发现病变细胞和疑似病变细胞，能有效提升医生的工作效率，为病人的早期治疗提供更大可能性。供更大可能性。供更大可能性。

【技术实现步骤摘要】
基于病变区域关系建模的宫颈TCT图像检测装置


[0001]本专利技术属于医学图像处理
，具体地说，涉及一种基于病变区域关系建模的宫颈TCT图像检测装置。

技术介绍

[0002]宫颈癌筛查过程由“细胞学
‑
阴道镜
‑
组织学”三道阶梯型诊断程序组成。在临床上，根据细胞样本制作细胞涂片后，医生需要通过显微镜观察整个玻片，并在数量众多的细胞中寻找病变细胞和可能具有潜在病变的细胞，最后将全片中病变细胞和潜在的病变细胞的数量多少以及病变的严重程度综合起来，给出最终诊断。然而，在显微镜下，整个细胞涂片非常巨大，医生需要通过不断地移动视野才能观察到整个玻片各处的情况，整个细胞涂片上也通常有着数以亿计的细胞。在没有计算机的帮助下进行全人工的阅片过程十分耗时费力，需要许多医生付出极大的工作量才能完成大量的检查。
[0003]随着深度学习技术在计算机视觉领域的快速发展，深度学习技术也被应用到宫颈癌筛查
，作为在TCT筛查阅片过程中的辅助手段来减少医生的工作量并进一步提升诊断的准确性。
[0004]针对辅助医生进行宫颈TCT病变区域检测这一任务，需要在宫颈TCT细胞涂片对应的显微图像上使用矩形框来标注出病变区域和病变种类。然而，由于存在通过不同显微镜成像时的放大倍率不一致、细胞涂片上单细胞与细胞簇有着明显不同的图像特征却需要预测成同一病变类别等问题，现有的目标检测方法以及宫颈TCT病变区域检测方法存在无法准确地判断病变区域的病变类别以及对细胞簇产生冗余的嵌套预测框等问题。/>[0005]对于单细胞与细胞簇具有较大差别图像特征的问题，其产生的原因包括：在细胞涂片上可能有大量的细胞聚集在一起，医生在标注图像时无法为每一细胞都标注一个单独的矩形框，只能使用一个矩形框标注出整个细胞簇。而这种标注方式导致同样的病变类别下，单个病变细胞与一个细胞簇具有极大的图像特征差异，却需要模型预测成同一病变类别，这会导致模型在学习过程中遇到矛盾并影响最终预测结果的准确度。除此之外，还包括：检测模型会使用图像金字塔来提升对小目标的检测精度，而高放大倍率下细胞簇的局部特征与单个细胞的特征又是十分相似的，这就导致模型会预测出许多冗余的、相互嵌套的预测框，这会极大地降低模型的检测精度。

技术实现思路

[0006]鉴于上述，本专利技术的目的是提供一种基于病变区域关系建模的宫颈TCT图像病变区域检测方法，来提高病变区域的检测精度。
[0007]为实现上述专利技术目的，本专利技术提供了一种基于病变区域关系建模的宫颈TCT图像检测装置，包括存储器和处理器，所述存储器用于存储计算机程序，所述处理器执行所述计算机程序时，实现以下步骤：
[0008]获取细胞涂片图像及相对应的病变区域定位及分类标签，形成细胞涂片训练样本
数据；
[0009]构建病变区域检测神经网络，包括第一特征提取模块、第二特征提取模块、关键特征提取模块以及检测模块，第一特征提取模块用于提取细胞涂片图像的多尺度特征并展平形成后续token序列第一部分，第二特征提取模块用于提取细胞涂片图像对应多个图像块的特征并展平拼接后形成后续token序列第二部分，关键特征提取模块用于对后续token序列第一部分和后续token序列第二部分进行病变区域关系建模，并采用注意力机制提取关键特征，检测模块用于根据关键特征检测病变区域；
[0010]将所有细胞涂片训练样本数据送入病变区域检测神经网络中进行训练，并通过更新参数来不断优化；
[0011]利用参数优化的病变区域检测神经网络进行TCT图像病变区域检测。
[0012]优选地，所述第一特征提取模块包括：第一残差网络、特征金字塔、多个卷积层网络；细胞涂片图像经过第一残差网络提取特征后，提取的特征输入至特征金字塔以提取多尺度特征，每个尺度特征分别输入对应的卷积层网络经过卷积操作和展平操作得到单个token序列，所有卷积层网络输出的单个token序列拼接形成后续token序列的第一部分。
[0013]优选地，所述第二特征提取模块包括：用于提取细胞涂片分割后小图像块特征的多个第二分支网络、小transformer编码器，每个第二分支网络含有第二残差网络、池化操作和展平操作，每个小图像块输入对应的第二分支网络经过池化操作和展平操作形成单个token，所有第二分支网络对应的单个token拼接后输入至小transformer编码器，经过编码操作得到后续token序列的第二部分。
[0014]优选地，所述关键特征提取模块包括transformer编码器、MLP、transformer解码器，后续token序列第一部分和token序列第二部分拼接后输入至transformer编码器，得到的编码特征输入至MLP经过映射，得到的映射特征作为多头注意力机制的Q通道输入至transformer解码器，编码特征同时作为多头注意力机制的K、V通道输入至transformer解码器，transformer解码器采用多头注意力机制进行解码操作，输出关键特征。
[0015]优选地，所述transformer编码器包括n个依次连接的编码块，第1个编码块对初始拼接结果编码得到编码特征，从第2个编码块起的第n个编码块对输入特征进行编码，第n个编码块的包括初始拼接特征、历史编码特征，历史编码特征包括第n个编码块前所有编码块输出的编码特征，n取值为大于等于2的自然数。
[0016]优选地，所述transformer解码器包括n个依次连接的解码块，每个解码块采用多头注意力机制进行解码操作，每个解码块的K、V通道均采用transformer编码器输出的编码特征，第1个解码块的Q通道采用MLP输出的映射特征，从第2个解码块起的第n个解码块的Q通道采用前一解码块输出的解码特征，最后一个解码块输出的解码特征作为关键特征，n取值为大于等于2的自然数。
[0017]优选地，所述检测模块采用MLP，对输入的关键特征进行逻辑回归进行病变区域定位和病变区域分类。
[0018]优选地，训练时，将病变区域检测神经网络输出的预测结果与病变区域定位及分类标签使用匈牙利算法进行双边匹配，从而计算定位损失和分类损失，其中，定位损失用于度量病变区域标注位置与检测后病变区域定位结果的误差，分类损失则用于度量病变区域分类标签与检测后病变区域分类结果之间的误差。
[0019]为实现上述专利技术目的，本专利技术还提供了一种基于病变区域关系建模的宫颈TCT图像检测装置，包括数据获取单元、模型构建单元、训练单元、应用单元，
[0020]所述数据获取单元用于获取细胞涂片图像及对应的病变区域定位及分类标签，形成细胞涂片训练样本数据；
[0021]所述模型构建单元用于构建病变区域检测神经网络，包括第一特征提取模块、第二特征提取模块、关键特征提取模块以及检测模块，第一特征提取模块用于提取细胞涂片图像的多尺度特征并展平形成后续token序列第一部分，第二特征提取模块用于提取细胞涂片图像对应多个图像块的特征并展平拼接后形成后续toke本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于病变区域关系建模的宫颈TCT图像检测装置，包括存储器和处理器，所述存储器用于存储计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现以下步骤：获取细胞涂片图像及相对应的病变区域定位及分类标签，形成细胞涂片训练样本数据；构建病变区域检测神经网络，包括第一特征提取模块、第二特征提取模块、关键特征提取模块以及检测模块，第一特征提取模块用于提取细胞涂片图像的多尺度特征并展平形成后续token序列第一部分，第二特征提取模块用于提取细胞涂片图像对应多个图像块的特征并展平拼接后形成后续token序列第二部分，关键特征提取模块用于对后续token序列第一部分和后续token序列第二部分进行病变区域关系建模，并采用注意力机制提取关键特征，检测模块用于根据关键特征检测病变区域；将所有细胞涂片训练样本数据送入病变区域检测神经网络中进行训练，并通过更新参数来不断优化；利用参数优化的病变区域检测神经网络进行TCT图像病变区域检测。2.根据权利要求1所述的基于病变区域关系建模的宫颈TCT图像检测装置，其特征在于，所述第一特征提取模块包括：第一残差网络、特征金字塔、多个卷积层网络；细胞涂片图像经过第一残差网络提取特征后，提取的特征输入至特征金字塔以提取多尺度特征，每个尺度特征分别输入对应的卷积层网络经过卷积操作和展平操作得到单个token序列，所有卷积层网络输出的单个token序列拼接形成后续token序列的第一部分。3.根据权利要求1所述的基于病变区域关系建模的宫颈TCT图像检测装置，其特征在于，所述第二特征提取模块包括：用于提取细胞涂片分割后小图像块特征的多个第二分支网络、小transformer编码器，每个第二分支网络含有第二残差网络、池化操作和展平操作，每个小图像块输入对应的第二分支网络经过池化操作和展平操作形成单个token，所有第二分支网络对应的单个token拼接后输入至小transformer编码器，经过编码操作得到后续token序列的第二部分。4.根据权利要求1所述的基于病变区域关系建模的宫颈TCT图像检测装置，其特征在于，所述关键特征提取模块包括transformer编码器、MLP、transformer解码器，后续token序列第一部分和token序列第二部分拼接后输入至transformer编码器，得到的编码特征输入至MLP经过映射，得到的映射特征作为多头注意力机制的Q通道输入至transformer解码器，编码特征同时作为多头注意力机制的K、V通道输入至transformer解码器，transformer解码器采用多头注意力机制进行解码操作，输出关键特征。5...

【专利技术属性】
技术研发人员：吴健，郑文浩，应豪超，陈婷婷，徐宇扬，王锦鸿，程奕，
申请(专利权)人：浙江大学，
类型：发明
国别省市：