一种基于光学图像的癌症患者标本性质的辨别方法及应用技术

本发明专利技术公开了一种基于光学图像的癌症患者标本性质的辨别方法，包括以下步骤：S1、获取训练组患者标本的光学图像，并进行预处理，建立训练组患者的淋巴结转移状态识别的正负样本数据集；S2、选择基础网络架构，通过池化层下采样和跨层拼接融合，构造预测模型；S3、通过基础网络架构构造良恶性分类网络结构加载训练数据集，进行3

【技术实现步骤摘要】
一种基于光学图像的癌症患者标本性质的辨别方法及应用


[0001]本专利技术涉及视频图像处理
，具体涉及一种基于光学图像的癌症患者标本性质的辨别方法及应用。

技术介绍

[0002]癌症作为全球高发疾病，严重影响患者的身心健康。在多种癌症中均存在外科医生在术中难以分辨肿瘤的边界，导致手术切缘仍有手术残留，进而导致早期复发的问题。因此，在手术过程中对标本进行快速、准确的诊断至关重要。癌灶的遗传信息可以用于确定预后并且指导治疗。此外，淋巴转移是癌症恶性演进的重要途径。淋巴结转移的识别对于实体瘤的分期至关重要，是重要的预后影响因素。完整的淋巴结清扫术，在诸多癌症中被证明对患者的准确分期是重要的。
[0003]然而，在早期胃癌和早期乳腺癌等癌症中患者的淋巴结转移率较低。因此造成许多淋巴结转移的患者接受了不必要的淋巴结清扫术。前哨淋巴结(SLN)是癌症患者发生淋巴结转移所必经的第一站或者第一组淋巴结，即SLN没有发生转移，理论上其他区域淋巴结是没有肿瘤转移的。乳晕或肿瘤周围注射SLN示踪剂，在腋窝部位经特殊设备探测或者可视化示踪剂的分布情况，可以识别SLN。近年来近红外荧光成像逐渐被引入手术中成为外科医生的辅助工具。目前ICG荧光成像已经用于乳腺癌、卵巢癌、消化道肿瘤、胶质瘤等多种癌种。虽然ICG荧光成像技术更直观、灵敏，且具有较高的识别率，但尚不能在肉眼水平鉴别其是否发生转移。因此，有必要探索光学图像(包括但不限于ICG荧光图像)与标本性质之间的关系。
[0004]目前的术前影像学方法(包括超声、X射线、CT、PET
‑
CT、MRI等)，在术前鉴别患者肿物的良恶性、癌灶的基因组信息、区域淋巴结转移状况以及肿瘤边界或预测手术切缘的性质等方面表现不理想。术中对于患者手术标本(肿物/结节)、手术切缘、区域淋巴结性质的辨别依赖于术中冰冻病理结果，冰冻切片技术复杂，且耗时长(需40分钟
‑
1小时)，存在较高的假阴性率，在手术过程中冷冻10个或数百个样本是不切实际的，这限制了肿瘤术中实时诊断的发展，特别是对于多个组织样本。另外在手术期间对肿瘤组织的分级和基因组水平信息的获取是不可能的。术后获取病理结果是患者手术标本(肿物/结节)、肿瘤边界或手术切缘、区域淋巴结性质以及基因组信息鉴定的金标准，但这种技术是耗时的，受到观察者间高度变异性的影响，并且检查大量的标本(肿物/结节/淋巴结)会导致劳动力、空间以及设备和用品的使用超负荷，增加医疗保健的成本。

技术实现思路

[0005]本专利技术提出一种基于光学图像的癌症患者标本性质的辨别方法及应用用于解决上述问题。
[0006]为实现上述目的，本专利技术采用以下技术方案：
[0007]一种基于光学图像的癌症患者标本性质的辨别方法，包括以下步骤：
[0008]S1、获取训练组患者标本的光学图像，并进行预处理，建立训练组患者的淋巴结转移状态识别的正负样本数据集；
[0009]S2、选择基础网络架构，通过池化层下采样和跨层拼接融合，构造预测模型；
[0010]S3、通过基础网络架构构造良恶性分类网络结构，下载预训练模型权重，设置初始参数，加载训练数据集，进行3
‑
折交叉训练，得到lymph
‑
Net深度学习网络模型；
[0011]S4、获取测试组患者的正负样本数据集，通过所述lymph
‑
Net深度学习网络模型在测试组患者的正负样本数据集上识别标本性质，并实时输出单张光学图像的预测结果，所述预测结果包括预测类别和预测概率值，其中，若单个标本具有多张连续拍摄的光学视频图像，则通过加权重求取平均值作为预测结果；
[0012]S5、通过GCAM热力图分析S4的预测结果，观察所述lymph
‑
Net深度学习网络模型不同尺度卷积层提取特征的关注区域以及融合模型的预测结果依据，分析预测结果正确和错误的原因。
[0013]优选地，步骤S1具体为：
[0014]S11、收集训练组患者标本的光学图像和患者的病理结果；
[0015]S12、对所述光学图像进行裁剪，并去除拍摄中的冗余信息，得到训练组患者标本的多帧光学图像，并结合病例结果，构建淋巴结转移状态识别的正负样本训练数据集。
[0016]优选地，其特征在于，步骤S2中采用ResNet
‑
152神经网络作为前哨淋巴结转移预测模型的基础网络架构。
[0017]优选地，步骤S2具体为：
[0018]S21、通过ResNet
‑
152神经网络对训练组患者标本的光学图像进行特征提取，获取对训练组患者标本性质预测的有效特征图；
[0019]S22、提取ResNet
‑
152神经网络中不同深度的卷积层特征向量进行拼接融合，得到多尺度融合特征；
[0020]S23、将融合特征经过平均池化层和全连接层转化为二分类结果输出，使用max函数对softmax函数的输出值进行操作，得出训练组患者的预测类别。
[0021]优选地，步骤S21具体为：
[0022]S211、将训练组患者标本的光学图像输入到ResNet
‑
152神经网络中，经过多层瓶颈层结构的卷积层和批归一化层的叠加由浅到深进行特征提取，浅层瓶颈层提取标本的形态学特征，深层瓶颈层提取标本的高级语义特征，批归一化层能够有效保证模型的正则化，缓解梯度消失问题，最后一层卷积层输出完整的特征图；
[0023]S212、最后一层卷积层后衔接一层自适应平均池化层对所有特征图中的特征进行选择，求取各个特征图的平均值作为有效特征；
[0024]S213、将各个特征图中的有效特征分别在浅层特征图和深层特征图中进行适当的选择拼接融合，形成对训练组患者标本性质预测的有效特征图。
[0025]优选地，步骤S22具体为：
[0026]S221、将训练组患者标本性质预测的有效特征图分别在ResNet
‑
152神经网络深度为[33，115，477，509]的卷积层卷积后提取待融合特征图；
[0027]S222、浅层特征经过自适应平均池化层对待融合特征图大小进行调整，然后将4个尺度上的待融合特征图进行拼接融合，得到3840个融合特征图，其中，浅层卷积层和深层卷
积层对结果预测占有相同的权重系数。
[0028]优选地，步骤S3具体为：
[0029]S31、通过resnet
‑
152神经网络构造良恶性分类网络结构，加载resnet
‑
152神经网络在训练组患者的正负样本训练数据集上的预训练权重来初始化预测模型；
[0030]S32、采用3
‑
折交叉验证的方式将训练组患者的正负样本数据集按照7:3的比例随机划分为训练数据集和验证数据集，先使用小规模训练数据集预训练模型，微调模型参数，然后再使用大批量训练数据集训练模型，加速模型参数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于光学图像的癌症患者标本性质的辨别方法，其特征在于，包括以下步骤：S1、获取训练组患者标本的光学图像，并进行预处理，建立训练组患者的淋巴结转移状态识别的正负样本数据集；S2、选择基础网络架构，通过池化层下采样和跨层拼接融合，构造预测模型；S3、通过基础网络架构构造良恶性分类网络结构，下载预训练模型权重，设置初始参数，加载训练数据集，进行3
‑
折交叉训练，得到lymph
‑
Net深度学习网络模型；S4、获取测试组患者的正负样本数据集，通过所述lymph
‑
Net深度学习网络模型在测试组患者的正负样本数据集上识别标本性质，并实时输出单张光学图像的预测结果，所述预测结果包括预测类别和预测概率值，其中，若单个标本具有多张连续拍摄的光学视频图像，则通过加权重求取平均值作为预测结果；S5、通过GCAM热力图分析S4的预测结果，观察所述lymph
‑
Net深度学习网络模型不同尺度卷积层提取特征的关注区域以及融合模型的预测结果依据，分析预测结果正确和错误的原因。2.如权利要求1所述的一种基于光学图像的癌症患者标本性质的辨别方法，其特征在于，步骤S1具体为：S11、收集训练组患者标本的光学图像和患者的病理结果；S12、对所述光学图像进行裁剪，并去除拍摄中的冗余信息，得到训练组患者标本的多帧光学图像，并结合病例结果，构建淋巴结转移状态识别的正负样本训练数据集。3.如权利要求1所述的一种基于光学图像的癌症患者标本性质的辨别方法，其特征在于，步骤S2中采用ResNet
‑
152神经网络作为前哨淋巴结转移预测模型的基础网络架构。4.如权利要求3所述的一种基于光学图像的癌症患者标本性质的辨别方法，其特征在于，步骤S2具体为：S21、通过ResNet
‑
152神经网络对训练组患者标本的光学图像进行特征提取，获取对训练组患者标本性质预测的有效特征图；S22、提取ResNet
‑
152神经网络中不同深度的卷积层特征向量进行拼接融合，得到多尺度融合特征；S23、将融合特征经过平均池化层和全连接层转化为二分类结果输出，使用max函数对softmax函数的输出值进行操作，得出训练组患者的预测类别。5.如权利要求4所述的一种基于光学图像的癌症患者标本性质的辨别方法，其特征在于，步骤S21具体为：S211、将训练组患者标本的光学图像输入到ResNet
‑
152神经网络中，经过多层瓶颈层结构的卷积层和批归一化层的叠加由浅到深进行特征提取，浅层瓶颈层提取标本的形态学特征，深层瓶颈层提取标本的高级语义特征，批归一化层能够有效保证模型的正则化，缓解梯度消失问题，最后一层卷积层输出完整的特征图；S212、最后一层卷积层后衔接一层自适应平均池化层对所有特征图中的特征进行选择，求取各个特征图的平均值作...

【专利技术属性】
技术研发人员：张国君，杨晨晖，白静雯，余世龙，范雪琪，黄文河，牛蕾，彭文铎，
申请(专利权)人：厦门术利康医学科技有限公司，
类型：发明
国别省市：