一种内镜下自动识别活检部位及活检数量的方法及系统技术方案

本发明专利技术公开了一种内镜下自动识别活检部位及活检数量的方法及系统，所述方法包括以下步骤：获取内镜检查过程中实时采集的视频帧；基于预先训练的活检钳检测模型，逐帧检测是否存在活检钳；若存在活检钳，基于预先训练的内镜部位识别模型，确定当前取活检的内镜部位；同时，开始对活检钳进行跟踪，得到包含所述活检钳的连续视频片段，根据预先训练的取活检动作识别模型，确定是否进行取活检。本发明专利技术可以准确检测和跟踪活检钳并确定取活检部位，同时精确推断取活检场景并统计取活检次数，为规范的病理报告提供了保障。

A method and system of automatic identification of biopsy site and number under endoscopy

【技术实现步骤摘要】
一种内镜下自动识别活检部位及活检数量的方法及系统
本专利技术属于人工智能
，尤其涉及一种内镜下自动识别活检部位及活检数量的方法及系统。
技术介绍
本部分的陈述仅仅是提供了与本公开相关的
技术介绍
信息，不必然构成在先技术。内镜活检是目前消化系统疾病早期诊治不可缺少的手段，内镜检查过程中发现可疑病变时，为了明确病变的性质、分布范围以及程度，往往需要在胃肠道黏膜多个部位进行多块活检，其不仅为疾病诊断提供线索，还能了解疾病发展趋势判断预后。根据活检申请规范化书写要求，内镜医师应向病理医师准确提供送检标本的部位、数量及内镜所见，目前对于活检部位及块数均为人工统计并记录，不仅存在易混淆取材部位等风险，还增加内镜医师的负担。
技术实现思路
为克服上述现有技术的不足，本专利技术提供了一种判断消化内窥镜检查是否染色的方法及系统。能够准确的自动记录取活检部位和数量，有助于自动化诊疗报告的生成及内镜疾病诊断结果的准确分析。为实现上述目的，本专利技术的一个或多个实施例提供了如下技术方案：一种内镜下自动识别活检部位及活检数量的方法，包括以下步骤：获取内镜检查过程中实时采集的视频帧；基于预先训练的活检钳检测模型，逐帧检测是否存在活检钳；若存在活检钳，基于预先训练的内镜部位识别模型，确定当前取活检的内镜部位；同时，开始对活检钳进行跟踪，得到包含所述活检钳的连续视频片段，根据预先训练的取活检动作识别模型，确定是否进行取活检。进一步地，所述方法还包括：记录所述内镜检查的部位和各部位对应的取活检次数。进一步地，所述活检钳检测模型和内镜部位识别模型均采用卷积神经网络进行训练。进一步地，所述取活检动作识别模型采用3D卷积神经网络进行训练。进一步地，所述对活检钳进行跟踪采用活检钳检测模型；获取活检钳一直存在或活检钳消失的时间小于k帧的连续视频帧，基于该视频帧进行取活检动作识别。一个或多个实施例提供了一种内镜下自动识别活检部位及活检数量的系统，包括：图像获取模块，获取内镜检查过程中实时采集的视频帧；活检钳检测模块，基于预先训练的活检钳检测模型，逐帧检测是否存在活检钳；活检部位识别模块，用于在存在活检钳时，基于预先训练的内镜部位识别模型，确定当前取活检的内镜部位；取活检动作识别模块，用于在存在活检钳时，对活检钳进行跟踪，得到包含所述活检钳的连续视频片段，根据预先训练的取活检动作识别模型，确定是否进行取活检。一个或多个实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述内镜下自动识别活检部位及活检数量的方法。一个或多个实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述内镜下自动识别活检部位及活检数量的方法。以上一个或多个技术方案存在以下有益效果：本专利技术提供了一种通用的实时内镜下自动识别活检部位及活检数量的方法和系统，可以准确检测和跟踪活检钳并确定取活检部位，同时精确推断取活检场景并统计取活检次数，这不仅为规范的病理报告提供保障，并且对自动化诊断报告的生成有积极和高效的推动作用。附图说明构成本专利技术的一部分的说明书附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。图1为本专利技术一个或多个实施例中内镜下自动识别活检部位及活检数量的检测方法流程图；图2为本专利技术一个或多个实施例中内镜活检图像标注示意图；图3为本专利技术一个或多个实施例中检测结果显示示意图。具体实施方式应该指出，以下详细说明都是示例性的，旨在对本专利技术提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本专利技术所属
的普通技术人员通常理解的相同含义。需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本专利技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。实施例一如图1所示，本实施例公开了一种内镜下自动识别活检部位及活检数量的检测方法，包括训练阶段和推断阶段。(一)训练阶段步骤1：获取内镜活检钳采集视频片段，并进行图像采样和标注处理。步骤101：基于视频采集卡开发接口人工实时采集活检采集视频片段和带有活检钳的内镜图像，同时采集等数量的无活检采集的视频片段；步骤102：将采集的视频片段经过视频分帧均匀采样n帧(16帧)步骤103：对于内镜活检图像不做任何数据增强或处理，仅对图像缩放至300X300，其标注样式如图2所示，对于分帧采样后的内镜活检视频片段将其每一帧图像经过去黑边算法后去掉内镜图像多余的边界仅保留ROI区域，然后缩放至112X112和299X299并按照采样顺序排列。步骤2：构建内镜活检钳检测模型。步骤201：活检钳训练集准备。具体地，采集卡采集的经labelImg活检钳标注图像原图及xml文件组成训练集，xml文件中保存了该图像对应的标注信息，解析xml文件获取每张训练图片的标注框信息和对应的标签(0:无，1：活检钳)。步骤202：采用活检钳训练集训练卷积神经网络,得到活检钳检测模型。该卷积网络SSD300的backbone基于VGG16,在此基础上去掉了全连接层而增加了5层卷积网络。为了对于小目标和大目标的均衡识别，SSD网络中引入了FPN(特征金字塔)的思想，该网络采用任意大小的单尺度图像作为输入，并以全卷积的方式输出多个级别的按比例大小的特征图。在不同的特征图上分别做检测，并且每个特征图选取的候选框的大小存在差异，这样既可以增加目标检测中候选框的选取，又可以针对于不同大小的目标进行检测。除此之外训练过程中采用了负难样例挖掘(OHEM)和非极大值抑制(NMS)。其中，负难样例挖掘核心思想为：用分类器对样本进行分类，把其中错误分类的样本(hardnegative)放入负样本集合再继续训练分类器。非极大值抑制的目的是在多个可能又重叠的候选框中找出最优的。训练SSD的过程中采用FocalLoss和smoothL2损失函数,该损失函数可以很好的处理正负样本不均衡的问题。步骤203：训练完成的活检钳检测模型写入本地二进制文件。步骤3：构建内镜部位识别模型。所述内镜部位识别模型用于在活检钳检测模型推断有活检钳存在时，判断当前取活检的内镜部位，比如胃镜会预测胃的部位，肠镜会预测肠镜的部位。所述步骤3具体包括：步骤301：根据步骤1采集训练集的方式，采集内镜部位图像，将采集的图像按照部位和视频来源命名，作为训练集保存。本文档来自技高网...

【技术保护点】
1.一种内镜下自动识别活检部位及活检数量的方法，其特征在于，包括以下步骤：/n获取内镜检查过程中实时采集的视频帧；/n基于预先训练的活检钳检测模型，逐帧检测是否存在活检钳；/n若存在活检钳，基于预先训练的内镜部位识别模型，确定当前取活检的内镜部位；同时，开始对活检钳进行跟踪，得到包含所述活检钳的连续视频片段，根据预先训练的取活检动作识别模型，确定是否进行取活检。/n

【技术特征摘要】
1.一种内镜下自动识别活检部位及活检数量的方法，其特征在于，包括以下步骤：
获取内镜检查过程中实时采集的视频帧；
基于预先训练的活检钳检测模型，逐帧检测是否存在活检钳；
若存在活检钳，基于预先训练的内镜部位识别模型，确定当前取活检的内镜部位；同时，开始对活检钳进行跟踪，得到包含所述活检钳的连续视频片段，根据预先训练的取活检动作识别模型，确定是否进行取活检。


2.如权利要求1所述的内镜下自动识别活检部位及活检数量的方法，其特征在于，所述方法还包括：记录所述内镜检查的部位和各部位对应的取活检次数。


3.如权利要求1所述的内镜下自动识别活检部位及活检数量的方法，其特征在于，所述活检钳检测模型和内镜部位识别模型均采用卷积神经网络进行训练。


4.如权利要求1所述的内镜下自动识别活检部位及活检数量的方法，其特征在于，所述取活检动作识别模型采用3D卷积神经网络进行训练。


5.如权利要求1所述的内镜下自动识别活检部位及活检数量的方法，其特征在于，所述对活检钳进行跟踪采用活检...

【专利技术属性】
技术研发人员：李真，冯建，左秀丽，阿迪莱，李延青，杨晓云，赖永航，邵学军，
申请(专利权)人：山东大学齐鲁医院，青岛美迪康数字工程有限公司，
类型：发明
国别省市：山东;37