【技术实现步骤摘要】
本专利技术涉及图像识别，尤其涉及一种消化道多病变检测与分割方法、装置、设备及存储介质。
技术介绍
1、消化道是人体消化系统的关键部件，当消化道出现病变时，往往会严重影响患者的身体健康和生活质量。如果不及时检查和治疗，可能会导致严重的后果，甚至危及患者的生命安全。因此，对于消化道病变的早期检测十分重要。
2、传统的消化道病变检测方法主要依赖于医生的经验和专业水平，需要通过胃镜、超声波等检查手段进行。这种方法费时费力费财，且检测准确度不够。并且受限于医生的专业水平和经验，容易产生误判，从而造成患者不必要的痛苦和资源的浪费。
3、上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。
技术实现思路
1、本专利技术的主要目的在于提供了一种消化道多病变检测与分割方法、装置、设备及存储介质，旨在解决现有技术中消化道病变检测结果不准确的技术问题。
2、为实现上述目的，本专利技术提供了一种消化道多病变检测与分割方法，所述方法包括以下步骤：
3、获取消化道的待检测影像数据与内窥镜医生的眼动凝视数据；
4、将所述眼动凝视数据作为预训练获得的多病变检测与分割模型的监督信号，通过所述多病变检测与分割模型对所述待检测影像数据进行检测，获得模型检测结果；
5、基于所述模型检测结果输出消化道的病变位置、病变类型以及病变图像。
6、可选地，预训练获得所述多病变检测与分割模型的步骤，包括：
7、获取
8、从所述预训练消化道图像数据集中获得预设格式的训练数据集；
9、通过所述训练数据集和所述预训练眼动凝视数据集对初始多病变检测与分割模型进行预训练，获得多病变检测与分割模型。
10、可选地，所述初始多病变检测与分割模型包括：特征提取模块、凝视注意力模块、语义分割模块以及目标检测模块；
11、所述通过所述训练数据集和所述预训练眼动凝视数据集对初始多病变检测与分割模型进行预训练，获得多病变检测与分割模型的步骤，包括：
12、通过特征提取模块提取获得所述训练数据集的图像特征；
13、通过所述凝视注意力模块根据所述图像特征和预训练眼动凝视数据确定注意力图谱，并确定所述注意力图谱与所述预训练眼动凝视数据对应的人类眼动凝视热图之间的图像差异；
14、通过所述语义分割模块对所述注意力图谱进行分割，获得高级语义特征；
15、通过所述目标检测模块基于所述高级语义特征获得训练结果以及置信度；
16、根据所述图像差异调节所述凝视注意力模块的注意力参数，根据所述置信度调节所述语义分割模块的分割参数与所述目标检测模块的检测参数，获得调节后的初始多病变检测与分割模型；
17、在所述初始多病变检测与分割模型的模型参数满足训练停止条件时，将当前的所述初始多病变检测与分割模型作为训练获得的多病变检测与分割模型，所述模型参数包括注意力参数、检测参数和分割参数。
18、可选地，所述凝视注意力模块包括：图像学习模型注意力生成单元和监督模型注意力生成单元；
19、所述通过所述凝视注意力模块根据所述图像特征和预训练眼动凝视数据确定注意力图谱，并确定所述注意力图谱与所述预训练眼动凝视数据对应的人类眼动凝视热图之间的图像差异的步骤，包括：
20、通过所述监督模型注意力生成单元将所述预训练眼动凝视数据作为监督信号，引导所述图像学习模型生成注意力图谱；
21、获取所述预训练眼动凝视数据对应的眼动凝视热图；
22、通过所述凝视注意力模块的预设损失函数确定所述注意力图谱和所述眼动凝视热图之间的图像差异。
23、可选地，所述语义分割模块包括：金字塔池化单元和解码器单元；
24、所述通过所述语义分割模块对所述注意力图谱进行分割，获得高级语义特征的步骤，包括：
25、通过所述金字塔池化单元对所述注意力图谱进行卷积，以提取不同层次的分割图像特征；
26、通过所述金字塔池化单元基于上采样操作对所述分割图像特征进行拼接，获得编码图像特征；
27、通过所述解码器单元基于若干卷积层与反卷积层对所述编码图像特征进行解码，获得高级语义特征。
28、可选地，所述通过所述目标检测模块基于所述高级语义特征获得训练结果以及置信度的步骤，包括：
29、通过所述目标检测模块对所述高级语义特征进行转化，获得不同尺度的特征图；
30、通过所述目标检测模块对所述不同尺度的特征图进行目标检测，获得训练结果；
31、通过所述目标检测模块的预设损失函数确定所述训练结果的置信度。
32、可选地，所述从所述预训练消化道图像数据集中获得预设格式的训练数据集的步骤，包括：
33、对所述预训练消化道图像数据集中的预训练消化道图像数据进行标注，获得带标签的预训练消化道图像数据集；所述标签用于表征所述预训练消化道图像数据的病变信息，所述病变信息包括病变区域以及病变类型；
34、根据所述病变信息确定预设格式的训练数据集。
35、此外，为实现上述目的，本专利技术还提出一种消化道多病变检测与分割装置，所述消化道多病变检测与分割装置包括：
36、数据采集模块，用于获取消化道的待检测影像数据与内窥镜医生的眼动凝视数据；
37、模型应用模块，用于将所述眼动凝视数据作为预训练获得的多病变检测与分割模型的监督信号，通过所述多病变检测与分割模型对所述待检测影像数据进行检测，获得模型检测结果；
38、结果输出模块，用于基于所述模型检测结果输出消化道的病变位置、病变类型以及病变图像。
39、此外，为实现上述目的，本专利技术还提出一种消化道多病变检测与分割设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的消化道多病变检测与分割程序，所述消化道多病变检测与分割程序配置为实现如上文所述的消化道多病变检测与分割方法的步骤。
40、此外，为实现上述目的，本专利技术还提出一种存储介质，所述存储介质上存储有消化道多病变检测与分割程序，所述消化道多病变检测与分割程序被处理器执行时实现如上文所述的消化道多病变检测与分割方法的步骤。
41、本专利技术通过获取消化道的待检测影像数据与内窥镜医生的眼动凝视数据；将眼动凝视数据作为预训练获得的多病变检测与分割模型的监督信号，通过多病变检测与分割模型对待检测影像数据进行检测，获得模型检测结果；基于模型检测结果输出消化道的病变位置、病变类型以及病变图像。由于是将眼动凝视数据作为多病变检测与分割模型的监督信号，通过多病变检测与分割模型对待检测影像数据进行检测，实现了更快的图像处理速度，同时保持了图像分割的高准确性。通过眼动凝视数据的引导，实现了端到端的训练，有效地避免了训练过程中的信息丢失和不一致本文档来自技高网...
【技术保护点】
1.一种消化道多病变检测与分割方法，其特征在于，所述方法包括：
2.如权利要求1所述的消化道多病变检测与分割方法，其特征在于，预训练获得所述多病变检测与分割模型的步骤，包括：
3.如权利要求2所述的消化道多病变检测与分割方法，其特征在于，所述初始多病变检测与分割模型包括：特征提取模块、凝视注意力模块、语义分割模块以及目标检测模块；
4.如权利要求3所述的消化道多病变检测与分割方法，其特征在于，所述凝视注意力模块包括：图像学习模型注意力生成单元和监督模型注意力生成单元；
5.如权利要求3所述的消化道多病变检测与分割方法，其特征在于，所述语义分割模块包括：金字塔池化单元和解码器单元；
6.如权利要求3所述的消化道多病变检测与分割方法，其特征在于，所述通过所述目标检测模块基于所述高级语义特征获得训练结果以及置信度的步骤，包括：
7.如权利要求2所述的消化道多病变检测与分割方法，其特征在于，所述从所述预训练消化道图像数据集中获得预设格式的训练数据集的步骤，包括：
8.一种消化道多病变检测与分割装置，其特征
9.一种消化道多病变检测与分割设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的消化道多病变检测与分割程序，所述消化道多病变检测与分割程序配置为实现如权利要求1至7中任一项所述的消化道多病变检测与分割方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有消化道多病变检测与分割程序，所述消化道多病变检测与分割程序被处理器执行时实现如权利要求1至7任一项所述的消化道多病变检测与分割方法的步骤。
...【技术特征摘要】
1.一种消化道多病变检测与分割方法，其特征在于，所述方法包括：
2.如权利要求1所述的消化道多病变检测与分割方法，其特征在于，预训练获得所述多病变检测与分割模型的步骤，包括：
3.如权利要求2所述的消化道多病变检测与分割方法，其特征在于，所述初始多病变检测与分割模型包括：特征提取模块、凝视注意力模块、语义分割模块以及目标检测模块；
4.如权利要求3所述的消化道多病变检测与分割方法，其特征在于，所述凝视注意力模块包括：图像学习模型注意力生成单元和监督模型注意力生成单元；
5.如权利要求3所述的消化道多病变检测与分割方法，其特征在于，所述语义分割模块包括：金字塔池化单元和解码器单元；
6.如权利要求3所述的消化道多病变检测与分割方法，其特征在于，所述通过所述目标检测模块基于所述高级语义特征...
【专利技术属性】
技术研发人员：晏涛，鲍勇，郭正浩，何华威，李聚龙，王中任，高山，李峥，胡艳艳，张子健，
申请(专利权)人：湖北文理学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。