【技术实现步骤摘要】
本专利技术涉及病理图像处理领域，尤其是涉及一种基于深度学习的tls病理检测方法、装置及介质。
技术介绍
1、研究发现，tls(三级淋巴结构)浸润程度与多种实体瘤的免疫治疗的响应率密切相关。免疫疗法已逐渐成为胃癌治疗中的重要组成部分，b淋巴细胞相关免疫机制研究的深入使研究人员注意到微环境tls的出现与肿瘤的密切关联。
2、目前胃癌中tls相关的研究进展有限，主要集中在tls的病理评估及临床预后关联方面。tls是一个免疫细胞的复合体，其数量、空间结构和位置都蕴含了更多的潜在诊疗意义。一项肝癌的研究结果指出，位于肿瘤浸润边缘的炎症性tls和瘤内发挥免疫应答的tls对患者预后有截然相反的影响。目前，胃癌的tls病理估计方法限制了其大规模临床评估并建立其与预后、治疗反应的关联。此外，tls组分的空间依赖性造成研究人员难以在转录组水平探讨其生物学功能，既往的单细胞转录组学研究注意到肿瘤中klf家族分子的上调促进了弥漫型胃癌中浆细胞的浸润，但尚不能明确这是否与tls相关的b淋巴细胞激活相关。因此，急需提出新的工具和研究方法解决胃癌中tls研究面临的困难。
3、在临床病理实践中，tls的评估很大程度上依赖于病理医生的专业经验，在实验技术方法选择和定量评估方法上仍存在困难。常见的tls检测方法包括mif、ihc和h&e染色。mif是基础研究中最受欢迎的方法，因为它可以在观察特定细胞成分的同时检测tls，借助病理学图像分析软件的定量染色分析功能，可以实现对tls特定细胞类型的定量评价。然而，该方法复杂的操作流程、高昂
4、然而，基于h&e切片的tls评估是一项十分繁琐的工作，一方面需要足够的形态学经验才能完成诊断，另一方面对全切片进行tls计数极容易发生漏检。面对这种重复性劳动，深度学习模型可为病理学家提供更便捷的解决方案，甚至显示出比人工读片更高的可重复性。在人工智能辅助诊断的场景下，病理切片的染色稳定性和易获取性也是h&e切片的重要优势。
5、病理学家在定量评价tls方面也存在操作上的困难，目前tls的组织病理学评价尚没有统一标准。研究者采用显微镜下逐个视野计数，或将tls占肿瘤中心或浸润边缘区域面积的比例定义为tls密度，记录为低、中、高的等级资料。上述人工评估方法或多或少地丢失了tls的原始计量数据或空间信息，而这些信息对于评估病人的预后和治疗反应可能是至关重要的。此外，在鉴定tls时有时可能出现分歧，例如最小tls的定义，以及在基于h&e切片的tls评估中，一些难以判断的tls可能需要额外的ihc染色进行证实。卷积神经网络已经成功预测了h&e切片上的tils，但是涉及tls检测时仍有问题亟待解决。
6、例如中国专利公开号为cn115063403a的专利，公开了基于三级淋巴结构检测模型识别图像中预选三级淋巴结构的检测框、检测概率和检测类别，再基于基于所述检测框、所述检测概率和所述检测类别，从所述预选三级淋巴结构中确定出成熟三级淋巴结构及非成熟三级淋巴结构，得到所述待识别图像的识别结果。但是该专利没有考虑到背景会对于tls区域分割的影响，所以会存在分割的tls与背景有粘连的情况，同时检测框范围过大，分割不精准。
7、例如中国专利公开号为cn116188474a的专利，实现了背景区分为参考器官和纯粹背景的效果，但是在对于tls标注过程中需要消耗大量人力，同时因为没有进行额外的ihc染色证实，可能会造成病灶区域tls的检测存在遗漏的情况，会导致模型准确率受到影响。
技术实现思路
1、本专利技术的目的是为了提供一种基于深度学习的tls病理检测方法、装置及介质，能够基于患者的病理组织切片准确勾画出tls轮廓区域。
2、本专利技术的目的可以通过以下技术方案来实现：
3、一种基于深度学习的tls病理检测方法，包括以下步骤：
4、s1、获取病理学切片；
5、s2、对病理学切片中与代表性h&e切片来源于同一蜡块的相邻连续切片进行cd20免疫组织化学ihc染色，并进行全切片扫描，获得全视野数字切片图像；
6、s3、对全视野数字切片图像进行染色分析，划分tls区域，并进行连续切片配准，得到自动标注tls区域的h&e染色切片图像，作为标注图像数据；
7、s4、根据标注图像数据构建数据集，对基于efficientnet深度学习网络的检测模型进行训练和测试，输出h&e染色切片上tls区域位置；
8、s5、对检测模型输出的预测结果基于聚类后处理的方式进行边缘预测再处理，得到最终的tls区域位置。
9、所述步骤s3中，对全视野数字切片图像进行染色分析，划分tls区域具体包括以下步骤：
10、s31、使用halo软件的classifier模块，基于随机森林算法的分类器对全视野数字切片图像进行代表区域勾画训练，识别呈现棕色的cd20阳性信号染色区域tls、阴性组织背景区域tissue和切片背景区域glass；
11、s32、基于区域筛选功能，将面积大于预设值的cd20阳性信号染色区域tls定义为标注tls区域，以过滤掉散在的b淋巴细胞，将标注tls区域转化为annotation对象保存，用于后续连续切片配准。
12、所述步骤s3中，连续切片配准具体为：
13、使用halo软件的连续切片配准模块，将cd20免疫组织ihc染色图像旋转到与h&e切片一致的方向，进行图像配准，并将ihc染色图像中的标注tls区域映射到配对的h&e切片图像上，同时，根据特殊情况对部分图像进行锚点的配准校正。
14、所述特殊情况包括：配对切片中的边缘组织损失、图像存在严重形变。
15、所述步骤s4具体包括以下步骤：
16、s41、基于s3得到的标注图像数据，按预设大小的图像块将h&e切片图像分割为一组图像块序列以及所对应的坐标位置；
17、s42、根据h&e切片图像标注信息中的阴性和阳性区域，在分割后将图像块自动归类为阴阳数据集，作为基于efficientnet深度学习网络的检测模型的输入对模型进行训练，输出图像块的阴阳性预测结果；
18、s43、将检测模块预测到的图像块分类按坐标位置返回h&e切片图像，得到tls预测区域位置。
19、所述基于efficientnet深度学习网络的检测模型的训练过程在图像块上进行，在测本文档来自技高网...
【技术保护点】
1.一种基于深度学习的TLS病理检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于深度学习的TLS病理检测方法，其特征在于，所述步骤S3中，对全视野数字切片图像进行染色分析，划分TLS区域具体包括以下步骤：
3.根据权利要求1所述的一种基于深度学习的TLS病理检测方法，其特征在于，所述步骤S3中，连续切片配准具体为：
4.根据权利要求3所述的一种基于深度学习的TLS病理检测方法，其特征在于，所述特殊情况包括：配对切片中的边缘组织损失、图像存在严重形变。
5.根据权利要求1所述的一种基于深度学习的TLS病理检测方法，其特征在于，所述步骤S4具体包括以下步骤：
6.根据权利要求1所述的一种基于深度学习的TLS病理检测方法，其特征在于，所述基于EfficientNet深度学习网络的检测模型的训练过程在图像块上进行，在测试阶段将模型输出的图像块预测结果通过采样拼接的方式还原到H&E切片图像上。
7.根据权利要求1所述的一种基于深度学习的TLS病理检测方法，其特征在于，所述步骤S5具体为对检
8.一种基于深度学习的TLS病理检测装置，其特征在于，包括：
9.一种基于深度学习的TLS病理检测装置，包括存储器、处理器，以及存储于所述存储器中的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一所述的方法。
10.一种存储介质，其上存储有程序，其特征在于，所述程序被执行时实现如权利要求1-7中任一所述的方法。
...【技术特征摘要】
1.一种基于深度学习的tls病理检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于深度学习的tls病理检测方法，其特征在于，所述步骤s3中，对全视野数字切片图像进行染色分析，划分tls区域具体包括以下步骤：
3.根据权利要求1所述的一种基于深度学习的tls病理检测方法，其特征在于，所述步骤s3中，连续切片配准具体为：
4.根据权利要求3所述的一种基于深度学习的tls病理检测方法，其特征在于，所述特殊情况包括：配对切片中的边缘组织损失、图像存在严重形变。
5.根据权利要求1所述的一种基于深度学习的tls病理检测方法，其特征在于，所述步骤s4具体包括以下步骤：
6.根据权利要求1所述的一种基于深度学习的tls病理检测方法，其特征...
【专利技术属性】
技术研发人员：王鑫，许蜜蝶，张肖艳，盛伟琪，孙慧，王旭，黄丹，
申请(专利权)人：复旦大学附属肿瘤医院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。