一种基于无监督大模型训练肠镜下病变检出的方法技术

本发明专利技术的技术方案是提供了本发明专利技术的技术方案是提供了一种基于无监督大模型训练肠镜下病变检出的方法。本发明专利技术公开的方法以海量非结构化的镜检报告以及肠镜视频作为训练数据，利用现有的大模型以及弱监督学习方法即可无需任何标注实现肠镜视频中含有病变图像帧的定位以及该帧中病变区域的识别与分割。与现有技术方案相比，本发明专利技术公开的方法充分利用现实生活中海量的镜检报告，无需任何人工标注信息，极大降低了计算机辅助结肠镜下病变识别系统的训练成本，有效提高了CADe的模型泛化性以及复杂检查内容的检查质量。

【技术实现步骤摘要】

本专利技术涉及一种基于大模型无需任何标注的训练肠镜下病变检出的方法。

技术介绍

1、计算机辅助结肠镜下病变识别系统(computer-aided detection，cade)在检查的过程中可以帮助内镜医生提高病变的检出率，降低病变的漏诊。已有结肠镜cade系统往往是利用深度学习技术，通过输入含有病变的图像以及该图像中病变区域的掩码实现模型的训练。然而，从镜检视频中筛选出含有病变的图像帧以及手工勾画出病变区域的标注过程费时耗力，因而模型的训练成本极高。实际上，各医院中心拥有海量的镜检视频以及相应的镜检报告，如何充分利用这些海量的未经处理的非结构化数据进而训练出拥有海量参数且准确实现病灶检出的肠镜大模型是一个亟待解决的问题。

技术实现思路

1、本专利技术的目的是：基于大模型，利用肠镜视频以及非结构化的镜检报告实现肠镜病灶检出模型的训练，且无需任何人工标注信息。

2、为了达到上述目的，本专利技术的技术方案是提供了一种基于无监督大模型训练肠镜下病变检出的方法，其特征在于，包括以下步骤：

3、本文档来自技高网...

【技术保护点】

1.一种基于无监督大模型训练肠镜下病变检出的方法，其特征在于，包括以下步骤：

2.如权利要求1所述的一种基于无监督大模型训练肠镜下病变检出的方法，其特征在于，在所述步骤1中，利用ChatGPT大模型处理所述非结构化的镜检报告，判断当前镜检报告中所描述的肠镜视频中有无病灶。

3.如权利要求1所述的一种基于无监督大模型训练肠镜下病变检出的方法，其特征在于，在所述步骤2中，利用基于Vision-Transformer架构的编码器同时作为所述双分支结构的特征编码器。

4.如权利要求1所述的一种基于无监督大模型训练肠镜下病变检出的方法，其特征在于，在所述步骤2中...

【技术特征摘要】

1.一种基于无监督大模型训练肠镜下病变检出的方法，其特征在于，包括以下步骤：

2.如权利要求1所述的一种基于无监督大模型训练肠镜下病变检出的方法，其特征在于，在所述步骤1中，利用chatgpt大模型处理所述非结构化的镜检报告，判断当前镜检报告中所描述的肠镜视频中有无病灶。

3.如权利要求1所述的一种基于无监督大模型训练肠镜下病变检出的方法，其特征在于，在所述步骤2中，利用基于vision-transformer架构的编码器同时作为所述双分支结构的特征编码器。

4.如权利要求1所述的一种基于无监督大模型训练肠镜下病变检出的方法，其特征在于，在所述步骤2中，将所述视频级别分类的分支所提取的特征送入到一个全连接层进行分数值计算，并根据所计算得到的分数值对镜检视频的特征进行聚合从而分类，并利用所计算得到的分数值作为每个图像实例的伪标签，进而监督图像实例分类的学习。

5.如权利要求1所述的一种基于无监督大模型训练肠镜下病变检出的方法，其特征在于，在所述步骤3...

【专利技术属性】
技术研发人员：诸炎，李全林，周平红，
申请(专利权)人：复旦大学附属中山医院，
类型：发明
国别省市：