一种超声内镜下识别和定位胰腺神经内分泌肿瘤的系统技术方案

本发明专利技术公开了一种超声内镜下识别和定位胰腺神经内分泌肿瘤的系统，包括：图像采集模块，训练集制作模块，被配置为使用多目标标注工具对样本集图像中的胰腺神经内分泌肿瘤区域进行标注；辅助诊断模块，被配置为构建辅助诊断模型，经过训练集进行优化训练后，对于输入的预处理后的图像进行胰腺神经内分泌肿瘤病变区域识别；联合判断模块，被配置为将输出结果以色带图的形式进行显示，用于判断胰腺神经内分泌肿瘤病变区域识别结果的准确性。本发明专利技术通过对超声内镜下PNET的智能自动化识别，可在超声内镜检查过程中，在产生的大量超声内镜图片中准确识别及定位PNET，提高PNET的检出率，减少漏诊。

A system of recognition and localization of pancreatic neuroendocrine tumors under endoscopic ultrasonography

【技术实现步骤摘要】
一种超声内镜下识别和定位胰腺神经内分泌肿瘤的系统
本专利技术涉及肿瘤智能辅助诊断
，尤其涉及一种超声内镜下识别和定位胰腺神经内分泌肿瘤的系统。
技术介绍
本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。目前超声内镜下对胰腺神经内分泌肿瘤(PNET)的识别和定位仍依赖于超声内镜检查操作者，在超声内镜扫查过程中，操作者依赖个人的经验，在超声图像中识别并定位PNET。但是，由于PNET病变的超声内镜图像与正常胰腺背景的图像具有非常高的相似度，而在超声内镜连续扫查的过程中会有大量的超声内镜图片，在检查过程中对PNET进行识别和定位具有较高的难度，需要检查者有丰富的超声内镜识图经验，且存在一定程度的误诊和漏诊。
技术实现思路
为了解决上述问题，本专利技术提出了一种超声内镜下识别和定位胰腺神经内分泌肿瘤的系统，能够在检查过程中迅速、准确地对PNET进行识别和定位。在一些实施方式中，采用如下技术方案：一种超声内镜下识别和定位胰腺神经内分泌肿瘤的系统，包括：图像采集模块，通过采集卡接入内镜主机，获取内镜主机采集到的每一帧图像信息；选取单帧带有PNET病变的内镜图像构建样本集；训练集制作模块，被配置为使用多目标标注工具对样本集图像中的胰腺神经内分泌肿瘤区域进行标注；同时生成标注位置对应的标注文本信息；所述标注区域以及该区域对应的标注文本信息构成训练集；辅助诊断模块，被配置为构建辅助诊断模型，经过训练集进行优化训练后，对于输入的预处理后的图像进行胰腺神经内分泌肿瘤病变区域识别；联合判断模块，被配置为将输出结果以色带图的形式进行显示，用于判断胰腺神经内分泌肿瘤病变区域识别结果的准确性。进一步地，将输出结果以色带图的形式进行显示，具体为：(1)设置色带图的初始值；(2)判断当前帧图像PNET输出概率是否大于设定值；如果是，与当前图像对应的色带值增加当前概率值；当PNET输出概率小于设定值时，与当前图像对应的色带值减去设定值与当前输出概率的差值；(3)重复步骤(2)，直到所有的图像判断完毕，按照图像输入顺序将每一帧图像的色带值依次连接得到最终的色带图；(4)通过色带图的颜色变化，判断当前辅助诊断模型输出结果的可信度。在另一些实施方式中，采用如下技术方案：一种终端设备，其包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行以下过程：通过采集卡接入内镜主机，获取内镜主机采集到的每一帧图像信息；选取单帧带有PNET病变的内镜图像构建样本集；使用多目标标注工具对样本集图像中的胰腺神经内分泌肿瘤区域进行标注；同时生成标注位置对应的标注文本信息；所述标注区域以及该区域对应的标注文本信息构成训练集；构建辅助诊断模型，经过训练集进行优化训练后，对于输入的预处理后的图像进行胰腺神经内分泌肿瘤病变区域识别；将输出结果以色带图的形式进行显示，用于判断胰腺神经内分泌肿瘤病变区域识别结果的准确性。在另一些实施方式中，采用如下技术方案：一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行以下过程：通过采集卡接入内镜主机，获取内镜主机采集到的每一帧图像信息；选取单帧带有PNET病变的内镜图像构建样本集；使用多目标标注工具对样本集图像中的胰腺神经内分泌肿瘤区域进行标注；同时生成标注位置对应的标注文本信息；所述标注区域以及该区域对应的标注文本信息构成训练集；构建辅助诊断模型，经过训练集进行优化训练后，对于输入的预处理后的图像进行胰腺神经内分泌肿瘤病变区域识别；将输出结果以色带图的形式进行显示，用于判断胰腺神经内分泌肿瘤病变区域识别结果的准确性。与现有技术相比，本专利技术的有益效果是：本专利技术通过观察色带图的颜色变化是否一致，可以直观的判断当前输出结果的确信度；有利于提升诊断结果的可靠性。通过对超声内镜下PNET的智能自动化识别，可在超声内镜检查过程中，在产生的大量超声内镜图片中准确识别及定位PNET，提高PNET的检出率，减少漏诊。附图说明图1为本专利技术超声内镜下识别和定位胰腺神经内分泌肿瘤的系统工作过程示意图。具体实施方式应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本专利技术使用的所有技术和科学术语具有与本申请所属
的普通技术人员通常理解的相同含义。需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。实施例一在一个或多个实施例中，公开了一种超声内镜下识别和定位胰腺神经内分泌肿瘤的系统，包括：图像采集模块，通过采集卡接入内镜主机，获取内镜主机采集到的每一帧图像信息；通过人工选取单帧带有PNET病变的内镜图像构建样本集；图像预处理模块，被配置为对采集到的图像信息进行预处理；由于带有PNET病变的图像是在临床中超声内镜下单张采集的，需要去除图片中的患者隐私数据。为减少计算量还需要去除黑色边框，只保留彩色消化道区域。通过黑边算法处理，缩放处理和归一化处理，将其每一帧图像经过去黑边算法后去掉内镜图像多余的边界仅保留ROI区域，采用双三次插值缩放算法将所有图像分辨率均调整416X416分辨率大小。训练集制作模块，被配置为使用多目标标注工具对样本集图像中的胰腺神经内分泌肿瘤区域进行标注；同时生成标注位置对应的标注文本信息；所述标注区域以及该区域对应的标注文本信息构成训练集；使用目标检测深度学习技术进行PNET识别，需要对图像进行特征区域标注，对病症区域进行画框记录下区域定点坐标。本实施例使用的是Yolo目标检测模型，无PNET的超声内镜图无需标注。具体的标注方法为：观察每一张图像的PNET特征区域，通过标注工具在图片上画矩形框，画矩形框时以病灶区域的外截矩形为中心区域，画一个矩形，这个矩形要完全包含病灶的外截矩形，上下左右距离病灶外截矩形10个像素左右。辅助诊断模块，被配置为构建辅助诊断模型，经过训练集进行优化训练后，对于输入的预处理后的图像进行胰腺神经内分泌肿瘤病变区域识别；本实施例中，辅助诊断模型可以采用YOLOv3神经网络模型，具有较高的检测准确度且检测速度快的特点，可以满足消化内镜实时检查的需求。为了更好的达到训练效果，我们使用动态学习率，公式为：learning_rate＝base_lr*(1-epoch/train_epoch)*2；其中，learning_rate为当前学习率，base_lr为初始学习率，本文档来自技高网...

【技术保护点】
1.一种超声内镜下识别和定位胰腺神经内分泌肿瘤的系统，其特征在于，包括：/n图像采集模块，通过采集卡接入内镜主机，获取内镜主机采集到的每一帧图像信息；选取单帧带有PNET病变的内镜图像构建样本集；/n训练集制作模块，被配置为使用多目标标注工具对样本集图像中的胰腺神经内分泌肿瘤区域进行标注；同时生成标注位置对应的标注文本信息；所述标注区域以及该区域对应的标注文本信息构成训练集；/n辅助诊断模块，被配置为构建辅助诊断模型，经过训练集进行优化训练后，对于输入的预处理后的图像进行胰腺神经内分泌肿瘤病变区域识别；/n联合判断模块，被配置为将输出结果以色带图的形式进行显示，用于判断胰腺神经内分泌肿瘤病变区域识别结果的准确性。/n

【技术特征摘要】
1.一种超声内镜下识别和定位胰腺神经内分泌肿瘤的系统，其特征在于，包括：
图像采集模块，通过采集卡接入内镜主机，获取内镜主机采集到的每一帧图像信息；选取单帧带有PNET病变的内镜图像构建样本集；
训练集制作模块，被配置为使用多目标标注工具对样本集图像中的胰腺神经内分泌肿瘤区域进行标注；同时生成标注位置对应的标注文本信息；所述标注区域以及该区域对应的标注文本信息构成训练集；
辅助诊断模块，被配置为构建辅助诊断模型，经过训练集进行优化训练后，对于输入的预处理后的图像进行胰腺神经内分泌肿瘤病变区域识别；
联合判断模块，被配置为将输出结果以色带图的形式进行显示，用于判断胰腺神经内分泌肿瘤病变区域识别结果的准确性。


2.如权利要求1所述的一种超声内镜下识别和定位胰腺神经内分泌肿瘤的系统，其特征在于，还包括：图像预处理模块，被配置为对采集到的图像信息进行预处理；所述图像预处理模块进行图像预处理的过程包括：
去除图像中包含的涉及到病人隐私的信息；
对图像进行去除黑色边框处理；
采用双三次插值缩放算法将所有图像分辨率均调整为设定的分辨率大小。


3.如权利要求1所述的一种超声内镜下识别和定位胰腺神经内分泌肿瘤的系统，其特征在于，还包括:识别结果审核模块，被配置为对识别的结果进行审核，对识别错误的图像重新进行胰腺神经内分泌肿瘤病变区域标注，并修改标注文本信息。


4.如权利要求1所述的一种超声内镜下识别和定位胰腺神经内分泌肿瘤的系统，其特征在于，所述辅助诊断模型进行诊断的具体过程包括：
通过缩小后的完整图片预测注意力图和粗边界框，以获得图片中病变区域的位置和粗略尺寸；
通过检查识别出来的病变区域图片来检测目标；
将从注意力图获取到的病变区域的中心位置放大设定倍数，将此时的图像映射回原图；以每一个可能的中心位置为中心，选取设定大小的图像作为裁剪区域；
采用角点检测机制生成检测框，通过预测剪裁区域的角点热图以及嵌入和偏移，最后将坐标映射回原图；
消除冗余框，最终输出标注了胰腺神经内分泌肿瘤病变区域的边界框。


5.如权利要求1所述的一种超声内镜下识别和定位胰腺神经内分泌肿瘤的系统，其特征在于，对辅助诊断模型进行训练时，使用动态学习率，具体为：
learning_rate＝base_lr*(1-epoch/train_epoch)*2；
其中，learning_rate为当前学习率，ba...

【专利技术属性】
技术研发人员：李真，戚庆庆，冯建，左秀丽，李延青，杨晓云，邵学军，季锐，
申请(专利权)人：山东大学齐鲁医院，青岛美迪康数字工程有限公司，
类型：发明
国别省市：山东;37