【技术实现步骤摘要】
内窥镜图像中息肉的目标预测方法、模型及存储介质
[0001]本专利技术涉及图像处理
,特别是视频图像的图形预测处理
,尤其涉及一种内窥镜图像中息肉的目标预测方法、模型及存储介质。
技术介绍
[0002]近年来,随着爆发式的数据量增长和硬件水平的极大提升,深度学习模型被大量的应用到不同的领域,尤其是生命健康领域的辅助病变识别,尤其是实时的辅助式视频分析与预测等细分领域。
[0003]在临床需求的驱动下,基于深度学习的通用物体预测模型越来越多的被应用到医疗图像领域。然而现阶段的通用物体预测模型通常都是针对自然图像中的物体和特征分布来进行设计的,因此在针对医疗图像复杂的环境下,通用的模型通常表现不佳。
[0004]具体的,现有的通用单阶段物体预测模型,例如,FCOS,RetinaNet和YOLO,在预测基于时序的连续肠道内窥镜帧时易出现大量的单帧或多帧连续误报,误报种类包括光斑,气泡,消化道食物残渣,异物和肠壁等类别,为此Wang等人提出了AFP
‑
NET和APF
‑
MASK等模型针对肠镜下的息肉预测进行了了优化。不同于传统的图像处理方法,深度学习模型调用了大规模的卷积神经网络CNN来提取图像特征信息,用更多的特征来分辨容易混淆的息肉形态特征和正常肠壁的形态特征。
[0005]然而上述预测模型并未针对基于时序的帧做优化,导致帧中易产生单帧误报。因此如何利用多帧之间的时序信息,并以此来辅助模型压制单帧误报的方法就显得非常必要。除此之外,如何对网络特征进行 ...
【技术保护点】
【技术特征摘要】
1.一种内窥镜图像中息肉的目标预测方法,其特征在于,包括:1)对内窥镜图像进行特征提取,获得特征信息;2)基于所述特征信息获取语义信息;3)基于所述语义信息获取分类分支特征和回归分支特征,并基于所述分类分支特征和回归分支特征获取用于指示息肉的预测框的初始分类分数和位置信息;4)基于自注意力方法对分类分支特征和回归分支特征给予动态权重并进行融合,获得预测框质量分数,所述预测框质量分数用于指示预测框的初始分类分数的置信度,并基于所述预测框质量分数对所述初始分类分数进行修正,获得修正分类分数,用于指示所述预测框内是否包含息肉目标。2.根据权利要求1所述的目标预测方法,其特征在于,步骤4)具体包括:基于所述分类分支特征和回归分支特征进行特征融合,获得融合特征;对所述融合特征进行通道归一化,获得归一化特征;使所述归一化特征通过全连接层,获得全连接特征;分别基于所述分类分支特征和回归分支特征对所述全连接特征进行压缩扩张,获得分类全局语义信息和回归全局语义信息;分别对所述分类全局语义信息和回归全局语义信息进行指数归一化,获得分类自适应注意力分数和回归自适应注意力分数;融合所述分类自适应注意力分数和分类分支特征的乘积以及回归自适应注意力分数和回归分支特征的乘积,获得融合结果,将所述融合结果作为所述置信度,用于计算所述修正分类分数。3.根据权利要求2所述的目标预测方法,其特征在于,步骤4)还包括:基于所述融合结果与所述初始分类分数的乘积计算所述修正分类分数;优选的,在进行所述特征融合前,所述分类分支特征和回归分支特征经过特征转换;优选的,所述特征转换包括卷积、组归一化以及激活函数运算。4.根据权利要求3所述的目标预测方法,其特征在于,步骤4)表示为:4.根据权利要求3所述的目标预测方法,其特征在于,步骤4)表示为:4.根据权利要求3所述的目标预测方法,其特征在于,步骤4)表示为:4.根据权利要求3所述的目标预测方法,其特征在于,步骤4)表示为:4.根据权利要求3所述的目标预测方法,其特征在于,步骤4)表示为:4.根据权利要求3所述的目标预测方法,其特征在于,步骤4)表示为:E=A
x
·
X+A
z
·
Z其中,X代表所述分类分支特征;代表特征转换后的所述分类分支特征;Z代表所述回归分支特征;代表特征转换后的所述回归分支特征;G代表所述融合特征;代表所述归一化特征;U代表所述全连接特征;代表所述分类全局语义信息;代表所述回归全局语义信息;AX代表所述分类自适应注意力分数;A
Z
代表所述回归自适应注意力分数;E代表所述融合结果;
和代表特征转换,包括卷积、组归一化以及激活函数运算;代表所述通道归一化;代表全连接操作;代表基于所述分类分支特征通过全连接层进行通道扩张,代表基于所述回归分支特征通过全连接层进行通道扩张。5.根据权利要求4所述的目标预测方法,其特征在于,所述预测框质量分数的计算方法为:其中,t代表所述修正分类分数;x代表所述初始分类分数。6.根据权利要求1所述的目标预测方法,其特征在于,所述内窥镜图像为视频图像,包括前序帧和当前帧,所述前序帧在当前帧之前;采用点对点特征平滑时序累计效应算法对所述前序帧和当前帧对应的修正分类分数进行特征平滑,获得分类平滑分数...
【专利技术属性】
技术研发人员:曹鱼,王德纯,陈齐磊,刘本渊,
申请(专利权)人:苏州慧维智能医疗科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。