一种胰腺实性占位病灶的交互式超声内镜图像识别方法技术

本发明专利技术提出一种胰腺实性占位病灶的交互式超声内镜图像识别方法，涉及计算机视觉目标检测任务技术领域，通过收集汇总胰腺实性占位病灶的原始EUS视频流，对EUS图像进行识别分类，再对分类的普通EUS图像、EUS弹性成像图像和EUS多普勒图像这三种EUS图像进行标注，标注胰腺实性占位病灶的位置、数量和类别，生成训练集来训练YOLOv5网络模型，利用训练好的模型预测识别将待检测的原始EUS视频流或单帧图像，后续通过人工校验更新训练集，实现模型的迭代更新。本发明专利技术能够从EUS图像中对胰腺实性占位病灶信息进行更加准确的识别和提取，大幅提高对胰腺实性占位病灶信息检测的准确度。提高对胰腺实性占位病灶信息检测的准确度。提高对胰腺实性占位病灶信息检测的准确度。

【技术实现步骤摘要】
一种胰腺实性占位病灶的交互式超声内镜图像识别方法


[0001]本专利技术涉及计算机视觉目标检测任务
，尤其涉及一种基于深度学习的胰腺实性占位病灶的交互式超声内镜图像识别方法。

技术介绍

[0002]胰腺癌是我国居第6位的癌症致死病因，由于其高侵袭性，仅10％
‑
15％的患者在诊断时可接受手术治疗，且5年生存率低至10％。胰腺恶性肿瘤是目前最难诊断、最难治疗的恶性肿瘤之一，它的病发率、致死率在世界范围内呈明显的升高态势。胰腺癌恶性程度较高，预后极差，进展迅速，并且对放疗、化疗等治疗手段不敏感，同时起病隐匿，早期症状不典型，临床就诊时大部分患者已属于中晚期。因此，早期诊断对于降低胰腺癌病死率至关重要。
[0003]超声内镜(EUS)作为近距离检查胰腺的技术，是目前发现胰腺实性占位病灶最有效的检查之一。超声内镜检查是将微型超声探头安置在内镜顶端，在内镜插入体腔后，可以直接观察目标形态，同时又能进行实时超声扫描；由于探头接近病变，图像分辨力得到了明显提高，因而超声内镜在发现微小病灶方面具有优势。胰腺癌(PC)与其他胰腺实性病灶(如自身免疫性胰腺炎(AIP)、慢性胰腺炎(CP)等)的典型影像特点不同，通过超声影像，可对胰腺实性占位病灶的具体情况做出判断。但是，医生对超声影像结果的判断具有一定的主观性，医生的能力、经验和注意力均会影响其对结果的判断。因此，目前迫切需要能够对胰腺实性占位病灶进行检测识别的方法，通过获取胰腺实性占位病灶的准确信息来辅助医生诊断，从而减少胰腺癌漏诊或误诊的情况。
>[0004]目前，深度学习在许多图像分割和目标检测任务中取得了良好的表现，这种在自然场景下的目标检测任务的良好进展激发了将深度学习应用于医学图像领域的新兴趣。计算机辅助诊断正在成为医学图像领域研究的热点，同时深度学习和卷积神经网络的出现，革命性地推动了计算机辅助诊断的发展。基于深度学习在计算机视觉目标检测任务中取得的成功进展，迁移应用在胰腺超声内镜影像的实性占位病灶信息的检测中，显现出广阔的研究和应用前景。

技术实现思路

[0005]本专利技术的目的是为了解决现有技术中存在的缺点，提出一种基于深度学习的胰腺实性占位病灶的交互式超声内镜图像识别方法，从EUS图像中对胰腺实性占位病灶信息进行更加准确的识别和提取，大幅提高对胰腺实性占位病灶信息检测的准确度。
[0006]为了实现上述目的，本专利技术采用了如下技术方案：
[0007]一种胰腺实性占位病灶的交互式超声内镜图像识别方法，包括以下步骤：
[0008]S1：收集汇总胰腺实性占位病灶的原始EUS视频流，间隔固定时间从中截取出单帧的EUS图像，并对截取出的EUS图像进行预处理；
[0009]S2：将预处理后的EUS图像进行识别分类，区分出普通EUS图像、EUS弹性成像图像
和EUS多普勒图像这三种EUS图像；
[0010]S3：将分类后的三种EUS图像进行标注，标注胰腺实性占位病灶的位置、数量和类别，制作胰腺超声内镜数据集；
[0011]S4：将胰腺超声内镜数据集随机划分出一训练集，对训练集进行数据增强后，输入到YOLOv5网络模型中进行训练；
[0012]S5：将待检测的原始EUS视频流或单帧图像输入到训练好的YOLOv5网络模型中进行预测处理，识别EUS视频流或单帧图像中的胰腺实性占位病灶的区域、类别和置信度，作为预测识别结果；
[0013]S6：对预测识别结果查看校验，预测识别结果符合真实的影像学特征，调整预测识别结果后作为新的数据加入训练集中，迭代更新YOLOv5网络模型。
[0014]优选地，在步骤S1中，对于帧率为30帧的原始EUS视频流，将截取单帧EUS图像的间隔固定时间设置为0.1秒，即从1秒原始EUS视频流中截取出10张单帧EUS图像。
[0015]优选地，在步骤S1中，预处理包括对单帧EUS图像进行统一裁剪和归一化。
[0016]优选地，在步骤S2中，对预处理后的EUS图像进行识别分类的方法为：利用普通EUS图像、EUS弹性成像图像、EUS多普勒图像的图示信息差异，使用opencv
‑
python库处理，提取三种EUS图像在同一位置的图示信息的RGB颜色特征，根据提取出的局部RGB颜色特征对三种EUS图像进行识别分类。
[0017]优选地，在步骤S3中，对分类后的三种EUS图像进行标注时，首先使用矩形框标注出胰腺实性占位病灶的区域，同时标注其位置、数量和类别，其中类别包括：胰腺癌、慢性胰腺炎和自身免疫性胰腺炎。
[0018]优选地，在步骤S3中，制作胰腺超声内镜数据集的方法为：将每张图的类别以及每张图对应的矩形框的中心点的横纵坐标相对值和矩形框的长宽度相对值转化为YOLOv5网络模型所需数据集的格式。
[0019]优选地，在步骤S4中，对训练集进行数据增强的方法为：对EUS图像进行旋转、平移、翻折，扩充训练集。
[0020]优选地，所述YOLOv5网络模型的网络结构包括四个部分：输入端、Backbone、Neck、Prediction；其中，输入端采用Mosaic数据增强、自适应锚框计算以及自适应图片缩放的方法，其中Mosaic数据增强采用随机缩放、随机裁剪、随机排布的方式进行拼接；Backbone采用Focus结构和CSP结构；Neck采用FPN+PAN结构；Prediction采用CIOU_Loss做Bounding box的损失函数。
[0021]优选地，在步骤S4中，YOLOv5网络模型的训练方法包括：采用数据增强后的训练集对YOLOv5网络模型进行训练，设置训练次数为500次，每批次训练的图片数batch_size为4。
[0022]优选地，在步骤S6中，迭代更新YOLOv5网络模型，提升YOLOv5网络模型的预测准确率和IOU指标。
[0023]本专利技术的技术方案的优点如下：
[0024]本专利技术使用EUS图像作为特征样本，首先，EUS图像能够更加清晰地显示胰腺各个部位的占位性病变，并根据病灶区域的特征来划分胰腺实性占位病灶类别，便于医生观察患病区域和迅速处理病情。其次，采用基于局部颜色特征的识别算法对三种EUS图像进行分类，方便消化科内镜医生后续对三种EUS图像中的病灶区域进行标注。然后，将消化科内镜
医生标注的数据制作成数据集，输入到YOLOv5网络模型进行训练，实现对胰腺癌、慢性胰腺炎和自身免疫性胰腺炎三种典型的胰腺实性占位病灶的检测。最后，引入交互式机器学习的方法，使得消化科内镜医生可以手动调整YOLOv5网络模型在新EUS图像上的预测结果，作为新的数据输入到训练集中重新训练模型，实现YOLOv5网络模型的迭代更新，提升YOLOv5网络模型的预测效果。
[0025]与现有技术相比，本专利技术具有以下有益效果：
[0026](1)本专利技术采用胰腺EUS图像作为数据集，使用YOLOv5网络模型进行训练预测，这种自动化检测病灶的方法可以帮助消化科内镜医生标注新的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种胰腺实性占位病灶的交互式超声内镜图像识别方法，其特征在于，包括以下步骤：S1：收集汇总胰腺实性占位病灶的原始EUS视频流，间隔固定时间从中截取出单帧的EUS图像，并对截取出的EUS图像进行预处理；S2：将预处理后的EUS图像进行识别分类，区分出普通EUS图像、EUS弹性成像图像和EUS多普勒图像这三种EUS图像；S3：将分类后的三种EUS图像进行标注，标注胰腺实性占位病灶的位置、数量和类别，制作胰腺超声内镜数据集；S4：将胰腺超声内镜数据集随机划分出一训练集，对训练集进行数据增强后，输入到YOLOv5网络模型中进行训练；S5：将待检测的原始EUS视频流或单帧图像输入到训练好的YOLOv5网络模型中进行预测处理，识别EUS视频流或单帧图像中的胰腺实性占位病灶的区域、类别和置信度，作为预测识别结果；S6：对预测识别结果查看校验，预测识别结果符合真实的影像学特征，调整预测识别结果后作为新的数据加入训练集中，迭代更新YOLOv5网络模型。2.如权利要求1所述的方法，其特征在于，在步骤S1中，对于帧率为30帧的原始EUS视频流，将截取单帧EUS图像的间隔固定时间设置为0.1秒，即从1秒原始EUS视频流中截取出10张单帧EUS图像。3.如权利要求1所述的方法，其特征在于，在步骤S1中，预处理包括对单帧EUS图像进行统一裁剪和归一化。4.如权利要求1或3所述的方法，其特征在于，在步骤S2中，对预处理后的EUS图像进行识别分类的方法为：利用普通EUS图像、EUS弹性成像图像、EUS多普勒图像的图示信息差异，使用opencv
‑
python库处理，提取三种EUS图像在同一位置的图示信息的RGB颜色特征，根据...

【专利技术属性】
技术研发人员：施文，张晟瑜，吴晰，孙伟，刘建兴，蒋青伟，郭涛，冯云路，伍东升，王强，田丰，杨爱明，
申请(专利权)人：中国科学院软件研究所，
类型：发明
国别省市：