组织病理学亚型预测方法及成像方法技术

本发明专利技术公开了一种组织病理学亚型预测方法，包括获取现有的源组织病理亚型图像数据集并处理得到组织病理亚型示例嵌入数据集；构建组织病理学亚型预测初始模型并训练得到组织病理学亚型预测模型；采用组织病理学亚型预测模型进行实际的组织病理学亚型的预测。本发明专利技术还公开了一种包括所述组织病理学亚型预测方法的成像方法。本发明专利技术将组织病理学亚型预测制定为细粒度表示学习，通过选择具有自注意力学习范式的代表性示例设计以学习组织病理学亚型预测中的示例级细粒度表示，再基于多示例特征解耦实现模型的精确训练；因此本发明专利技术不仅能够实现组织病理学亚型的预测，而且可靠性高，精确性好。精确性好。精确性好。

【技术实现步骤摘要】
组织病理学亚型预测方法及成像方法


[0001]本专利技术属于图像数据处理领域，具体涉及一种组织病理学亚型预测方法及成像方法。

技术介绍

[0002]随着经济技术的发展和人们生活水平的提高，人们对于健康的关注也越来越多。组织病理学亚型预测旨在识别与整个全切片组织病理图像（WSI）中的病理组织相关的不同子类别，其在临床以及实验室研究中，均具有重要的意义。因此，对组织病理学亚型的预测分类就显得尤为重要。
[0003]目前，现有的组织病理学亚型预测方案，虽然取得了一定的应用，但是其依旧存在如下问题：与现有的全切片组织病理图像的预测工作不同，亚型预测的任务是一个细粒度更高的任务，亚型预测过程中需要组织病理亚型图像的示例级表示，以实现更加精确的亚型预测；但是现有的预测方案的精确性并无法达到较高的程度；然后，不同组织的亚型间的形状和染色质纹理的差异较小，其类间和类内差异均较小，这使得现有的亚型预测方案的精确性较差；最后，现有的预测方案一般采用编码器对组织病理学图像的所有区域进行统一特征提取，但是由于重要的组织病理学区域分布存在杂乱无章以及形态及数量变化的不稳定，采用编码器进行特征提取的方案会使得模型的预测性能下降，从而进一步降低了预测的精度和结果的可靠性。

技术实现思路

[0004]本专利技术的目的之一在于提供一种可靠性高且精确性好的组织病理学亚型预测方法。
[0005]本专利技术的目的之二在于提供一种包括了所述组织病理学亚型预测方法的成像方法。
[0006]本专利技术提供的这种组织病理学亚型预测方法，包括如下步骤：S1. 获取现有的源组织病理亚型图像数据集；S2. 对步骤S1获取的数据集进行预处理，得到组织病理亚型示例嵌入数据集；S3. 基于多示例选择、自注意力机制和特征融合技术，构建组织病理学亚型预测初始模型；模型基于自注意力机制获取第一病理亚型特征，并基于自注意力机制和多示例选择技术获取第二病理亚型特征，最后基于特征融合技术将第一病理亚型特征和第二病理亚型特征进行融合得到第三病理亚型特征，并对第三病理亚型特征进行判定得到预测值；S4. 基于多示例特征解耦，采用步骤S2得到的数据集对步骤S3构建的组织病理学亚型预测初始模型进行训练，得到组织病理学亚型预测模型；S5. 采用步骤S4得到的组织病理学亚型预测模型，进行实际的组织病理学亚型的预测。
[0007]所述的步骤S2，具体包括如下步骤：
对步骤S1获取的数据集中的源图像，进行切片划分和嵌入化，得到N个组织病理亚型切片嵌入和1个包表征嵌入；将N个组织病理亚型切片嵌入作为示例嵌入，将1个包表征嵌入作为全局组织病理亚型表征，从而得到全部的组织病理亚型示例嵌入数据集。
[0008]所述的步骤S3，具体包括如下内容：构建的组织病理学亚型预测初始模型包括示例选择Transformer模块、选择性自注意力模块和特征融合模块；示例选择Transformer模块基于自注意力机制构建，用于对输入的不同组织病理亚型示例嵌入的全局长距离依赖进行建模，从而得到第一病理亚型特征；选择性自注意力模块基于自注意力机制和多示例选择构建，用于对输入的第一病理亚型特征进行示例级细粒度特征的提取，从而得到第二病理亚型特征；特征融合模块基于输入的第一病理亚型特征和第二病理亚型特征，融合细粒度局部特征和全局信息，并得到第三病理亚型特征；将得到的第三病理亚型特征输入到多类别判定器中，得到最终的预测值。
[0009]所述的选择性自注意力模块，具体包括如下内容：对输入的第一病理亚型特征，计算得到对应的查询向量Q、键向量K和值向量V，然后计算得到自注意力矩阵A为，其中为归一化指数函数，d为自注意力头的维度；注意力引导示例评分机制：采用自适应权重，通过自注意力机制识别带变形示例，并表示为，其中为的矩阵，用于表示输入示例对于输出袋级表示的重要性；为查询向量Q的第一行元素；计算所有不同头的累积注意力分数进行示例评分：示例i的显着性得分的计算公式为，式中N为示例总数量，为矩阵的第i个元素，为全部示例的显着性得分且，M为每个SiT块中自注意力头的数量，为集合中的第j个元素，为多头自注意力的集合；采用加权自适应示例选择机制，为每个SiT块对应的选择性自注意力分配权重因子为，其中ii表示SiT块的第ii个阶段，L为SiT块的数量；示例选择策略：示例选择策略为分层执行模式，通过对应的示例得分对所有示例进行排序，并构建示例选择的阈值，然后通过自注意掩膜矩阵逐步丢弃或保留当前示例；示例选择策略表示为：例选择策略表示为：
式中用于表示不同示例的显着性分数在所有示例中的排名；为对数组中的元素进行从小到大排序，并返回相应序列元素的数组下标；S为示例的显着性得分；为第ii个阶段信息示例选择的阈值；NN为组织病理亚型切片嵌入的个数；为第kk阶段、第ii行、第jj列的自注意力掩膜值；为按列检索的第ii个示例的显着性分数在所有示例中的排名；为按行检索的第jj个示例的显着性分数在所有示例中的排名；为第kk个阶段显着示例选择的阈值；计算得到第二病理亚型特征为，A为自注意力矩阵，为自注意力掩膜矩阵。
[0010]所述的特征融合模块，具体包括如下内容：采用如下算式进行融合，从而得到第三病理亚型特征Z：式中A为自注意力矩阵；为第二病理亚型特征；V为选择性自注意力模块根据第一病理亚型特征计算得到的值向量。
[0011]步骤S4所述的多示例特征解耦，具体包括如下步骤：测量单个示例级特征和包表示之间的互信息，以将对应的细粒度描述编码到包表示中；在SiT块的不同阶段，通过示例到包的交互来减少包表示和示例级特征之间的相关性；利用操作将输入示例的特征转换为示例嵌入：输入特征由示例特征和包特征组成；所述的操作包括转置、平均池化和展平；采用示例特征解耦，将判别性示例级特征集成到细粒度包表示中；将示例级特征作为SiT块之前的输入示例级特征；z表示潜在包表示，作为下一个SiT块的输入示例级特征；采用加权机制计算不同SiT块的互信息上界估计；对于样本对，为输入示例级特征，为第iii个SiT块学习的潜在包表示；对于训练数据集，给定输入示例级特征，条件概率分布由参数为的变分分布近似；变分分布为高斯分布参数化用于神经网络的袋子表示，形式上表示为，其中为全连接神经网络的第一个线性组合，为全连接神经网络的第二个线性组合；包表征估计机制：通过两个全连接神经网络将输入的示例级特征x转换为两个不同的分布，然后在示例到包的交互中构建正样本和负样本；示例特征解耦的估计
表示为 式中为第mm个阶段的示例特征解耦；为样本批量大小；为所有负对的概率；为随机抽样负对的无偏估计；为是从一组正整数集合中的均匀采样；最后，总体互信息估计为，其中为选择性自注意力分配权重因子，为SiT块的阶段总数。
[0012]步骤S4所述的训练，具体包括如下步骤：基于模型的预测值与真实结果，计算得到第一损失：式中N为组织病理亚型切片嵌入的个数；C为组织病理学类别的数量；为真实标签；为包表征的预测结果；采用如下算式计算得到最终的信息瓶颈损失：式中为权重值；为总体互信息；基于得到的信本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种组织病理学亚型预测方法，其特征在于包括如下步骤：S1. 获取现有的源组织病理亚型图像数据集；S2. 对步骤S1获取的数据集进行预处理，得到组织病理亚型示例嵌入数据集；S3. 基于多示例选择、自注意力机制和特征融合技术，构建组织病理学亚型预测初始模型；模型基于自注意力机制获取第一病理亚型特征，并基于自注意力机制和多示例选择技术获取第二病理亚型特征，最后基于特征融合技术将第一病理亚型特征和第二病理亚型特征进行融合得到第三病理亚型特征，并对第三病理亚型特征进行判定得到预测值；S4. 基于多示例特征解耦，采用步骤S2得到的数据集对步骤S3构建的组织病理学亚型预测初始模型进行训练，得到组织病理学亚型预测模型；S5. 采用步骤S4得到的组织病理学亚型预测模型，进行实际的组织病理学亚型的预测。2.根据权利要求1所述的组织病理学亚型预测方法，其特征在于所述的步骤S2，具体包括如下步骤：对步骤S1获取的数据集中的源图像，进行切片划分和嵌入化，得到N个组织病理亚型切片嵌入和1个包表征嵌入；将N个组织病理亚型切片嵌入作为示例嵌入，将1个包表征嵌入作为全局组织病理亚型表征，从而得到全部的组织病理亚型示例嵌入数据集。3.根据权利要求2所述的组织病理学亚型预测方法，其特征在于所述的步骤S3，具体包括如下内容：构建的组织病理学亚型预测初始模型包括示例选择Transformer模块、选择性自注意力模块和特征融合模块；示例选择Transformer模块基于自注意力机制构建，用于对输入的不同组织病理亚型示例嵌入的全局长距离依赖进行建模，从而得到第一病理亚型特征；选择性自注意力模块基于自注意力机制和多示例选择构建，用于对输入的第一病理亚型特征进行示例级细粒度特征的提取，从而得到第二病理亚型特征；特征融合模块基于输入的第一病理亚型特征和第二病理亚型特征，融合细粒度局部特征和全局信息，并得到第三病理亚型特征；将得到的第三病理亚型特征输入到多类别判定器中，得到最终的预测值。4.根据权利要求3所述的组织病理学亚型预测方法，其特征在于所述的选择性自注意力模块，具体包括如下内容：对输入的第一病理亚型特征，计算得到对应的查询向量Q、键向量K和值向量V，然后计算得到自注意力矩阵A为，其中为归一化指数函数，d为自注意力头的维度；注意力引导示例评分机制：采用自适应权重，通过自注意力机制识别带变形示例，并表示为，其中为的矩阵，用于表示输入示例对于输出袋级表示的重要性；为查询向量Q的第一行元素；
计算所有不同头的累积注意力分数进行示例评分：示例i的显着性得分的计算公式为，式中N为示例总数量，为矩阵的第i个元素，为全部示例的显着性得分且，M为每个SiT块中自注意力头的数量，为集合中的第j个元素，为多头自注意力的集合；采用加权自适应示例选择机制，为每个SiT块对应的选择性自注意力分配权重因子为，其中ii表示SiT块的第ii个阶段，L为SiT块的数量；示例选择策略：示例选择策略为分层执行模式，通过对应的示例得分对所有示例进行排序，并构建示例选择的阈值，然后通过自注意掩膜矩阵逐步丢弃或保留当前示例；示例...

【专利技术属性】
技术研发人员：赵荣昌，郗梓钧，张健，
申请(专利权)人：中南大学，
类型：发明
国别省市：