一种针对先心病的超声多切面数据检测方法技术

本申请公开了一种针对先心病的超声多切面数据检测方法，包括：多尺度检测网络和深层特征提取网络；多尺度检测网络用于检测超声多切面图中的焦点区域，焦点区域包括房间隔区域和/或室间隔区域；深层特征提取网络用于根据超声多切面图和焦点区域，进行特征提取，提取出的特征用于对超声多切面图进行分类检测。通过本申请中的技术方案，提出同时使用焦点区域和原始图像，对超声多切面图进行分类的方式，有效保留了原始图像中其它区域的信息，提高异常区域检测的准确性。

【技术实现步骤摘要】
一种针对先心病的超声多切面数据检测方法
本申请涉及深度学习的
，具体而言，涉及一种针对先心病的超声多切面数据检测方法以及系统。
技术介绍
先天性心脏病作为一种常见的先天性疾病。在诊断过程中，需要先通过听诊器听病人的心跳频率，借助心电图得出初步判断，然后使用超声多切面图观察心脏结构，并进行诊断。在目前基于超声多切面图的人工智能辅助检测的研究中，具有以下几个难点：(1)缺损(异常)区域辨识度低：在超声多切面图的上百帧图像中，并不是每帧图像都能看到先天性心脏病的缺损区域，医生需要结合整个周期的心脏和血流活动状态，才能判断是否具有缺损。并且缺损区域在超声多切面图上所占的区域很小，容易被超声自带的噪声所干扰。(2)数据高自由度：超声多切面图的影像数据与医学影像智能诊疗中常见的CT、MR等数据不同，为影像科医生人工采集的数据，没有固定的截面和采集顺序，因此得到的数据格式杂乱无章。
技术实现思路
本申请的目的在于：提出同时使用焦点区域和原始图像，对超声多切面图进行分类的方式，有效保留了原始图像中其它区域的信息，提高异常区域检测的准确性。本申请第一方面的技术方案是：提供了一种针对先心病的超声多切面数据检测方法，该方法包括：步骤1，检测超声多切面图中的焦点区域，焦点区域包括房间隔区域和/或室间隔区域；步骤2，根据超声多切面图和焦点区域，进行特征提取，提取出的特征用于对超声多切面图进行分类检测。上述任一项技术方案中，进一步地，步骤1，具体包括：步骤11，通过卷积、反卷积运算，生成超声多切面图的组合特征图，组合特征图包括深层特征图和浅层特征图；步骤12，在组合特征图中，根据检测标注框和默认矩形框，采用预设匹配原则进行匹配，并结合非极大值抑制算法，生成焦点区域。上述任一项技术方案中，进一步地，方法，还包括：步骤3，将多张超声多切面图对应的焦点区域，输入至池化层和全连接层，生成焦点向量；步骤4，根据焦点向量和超声多切面图，进行特征提取，以对超声多切面图进行分类检测。本申请第二方面的技术方案是：提供了一种针对先心病的超声多切面数据检测系统，该系统包括：多尺度检测网络和深层特征提取网络；多尺度检测网络用于检测超声多切面图中的焦点区域，焦点区域包括房间隔区域和/或室间隔区域；深层特征提取网络用于根据超声多切面图和焦点区域，进行特征提取，提取出的特征用于对超声多切面图进行分类检测。上述任一项技术方案中，进一步地，多尺度检测网络，具体包括：多尺度特征提取模块和焦点区域检测模块；多尺度特征提取模块用于通过卷积、反卷积运算，生成超声多切面图的组合特征图，组合特征图包括深层特征图和浅层特征图；焦点区域检测模块用于在组合特征图中，根据检测标注框和默认矩形框，采用预设匹配原则进行匹配，并结合非极大值抑制算法，生成焦点区域。上述任一项技术方案中，进一步地，多尺度检测网络，具体还包括：对偶注意力模块；对偶注意力模块用于对组合特征图进行变形，并通过矩阵乘法，计算加入特征通道维度权重的特征矩阵图，并将组合特征图与特征矩阵图相加，生成并发送加入各个特征点间相关性权重的组合特征图至焦点区域检测模块。上述任一项技术方案中，进一步地，系统还包括：多帧超声多切面图分类模型；多帧超声多切面图分类模型设置于多尺度检测网络与深层特征提取网络之间，多帧超声多切面图分类模型用于将多张超声多切面图对应的焦点区域，输入至池化层和全连接层，生成焦点向量，并将焦点向量输入至深层特征提取网络；深层特征提取网络还用于根据焦点向量和超声多切面图，进行特征提取。上述任一项技术方案中，进一步地，系统还包括：异常区域检测网络；异常区域检测网络用于检测超声多切面图中的焦点区域，异常区域检测网络训练过程中的正例为超声多切面图中房间隔区域和室间隔区域，并将其余区域记作异常区域检测网络训练过程中的负例。上述任一项技术方案中，进一步地，系统还包括：辅助异常检测模型；辅助异常检测模型包括多帧超声多切面图分类模型、以及异常区域检测网络，辅助异常检测模型用于将异常区域检测网络的输出结果传输至多帧超声多切面图分类模型中，得到第一中间结果，再将第一中间结果传输至深层特征提取网络，得到第二中间结果，并根据第二中间结果，采用联合算法，生成综合异常检测结果。本申请的有益效果是：本申请中的技术方案，异常区域检测模型分为2个部分：多尺度检测网络和深层特征提取网络，其中，多尺度检测网络用于检测焦点区域，即检测房间隔区域和室间隔区域，而深层特征提取网络则用于从原始图像和焦点区域中提取特征，以便用于分类。在多尺度检测网络中，依次使用多尺度特征提取模块和焦点区域检测模块，对房间隔、室间隔区域进行提取，然后使用深层特征提取网络，对图像进行分类。这种结构引入了正常人与先心病患者在心脏结构上大体相似的特点，降低了模型的假阳性率。在深层特征提取网络中，分别对原始图像和经过多尺度检测网络提取的焦点区域进行分类。通过组合图像的分类，可以得到比直接对整张超声多切面图进行分类更为准确的结果。在总体的基于先心病多超声切面的异常区域检测模型结构中，提出同时使用焦点区域和原始图像，对超声多切面图进行分类的方式，有效保留了原始图像中其它区域的信息。针对直接使用多尺度特征提取模块和焦点区域检测模块用于异常区域检测的缺陷，提出了使用现有的多尺度特征提取模块、焦点区域检测模块与深层特征提取网络相结合的结构，使用检测特定区域后进行分类的方法来弥补这一缺陷。附图说明本申请的上述和/或附加方面的优点在结合下面附图对实施例的描述中将变得明显和容易理解，其中：图1是根据本申请的一个实施例的针对先心病的超声多切面数据检测系统的示意框图；图2是根据本申请的一个实施例的多尺度检测网络结构图。图3是根据本申请的一个实施例的多尺度特征提取模块结构示意图。图4是根据本申请的一个实施例的对偶注意力模块结构示意图。图5是根据本申请的一个实施例的加入对偶注意力模块的多尺度特征提取模块结构示意图。图6是根据本申请的一个实施例的焦点区域检测模块结构示意图。图7是根据本申请的一个实施例的基于特定超声切面的异常区域检测网络示意图图8是根据本申请的一个实施例的房间隔缺损的联合算法结构图图9是根据本申请的一个实施例的室间隔缺损的联合算法结构图图10是根据本申请的一个实施例的基于多切面超声数据的先天性心脏病辅助异常检测模型结构图具体实施方式为了能够更清楚地理解本申请的上述目的、特征和优点，下面结合附图和具体实施方式对本申请进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互结合。在下面的描述中，阐述了很多具体细节以便于充分理解本申请，但是，本申请还可以采用其他不同于在此描述的其他方式来实施，因此，本申请的保护范围并不受下面公开的具体实施例的限制。对于各种患有心血管疾病的患者进行超声多切面图采集时，需要额外采集本文档来自技高网...

【技术保护点】
1.一种针对先心病的超声多切面数据检测方法，其特征在于，所述方法包括：/n步骤1，检测超声多切面图中的焦点区域，所述焦点区域包括房间隔区域和/或室间隔区域；/n步骤2，根据所述超声多切面图和所述焦点区域，进行特征提取，提取出的所述特征用于对所述超声多切面图进行分类检测。/n

【技术特征摘要】
1.一种针对先心病的超声多切面数据检测方法，其特征在于，所述方法包括：
步骤1，检测超声多切面图中的焦点区域，所述焦点区域包括房间隔区域和/或室间隔区域；
步骤2，根据所述超声多切面图和所述焦点区域，进行特征提取，提取出的所述特征用于对所述超声多切面图进行分类检测。


2.如权利要求1所述的针对先心病的超声多切面数据检测方法，其特征在于，所述步骤1，具体包括：
步骤11，通过卷积、反卷积运算，生成所述超声多切面图的组合特征图，所述组合特征图包括深层特征图和浅层特征图；
步骤12，在所述组合特征图中，根据检测标注框和默认矩形框，采用预设匹配原则进行匹配，并结合非极大值抑制算法，生成所述焦点区域。


3.如权利要求1或2所述的针对先心病的超声多切面数据检测方法，其特征在于，所述方法，还包括：
步骤3，将多张超声多切面图对应的焦点区域，输入至池化层和全连接层，生成焦点向量；
步骤4，根据所述焦点向量和所述超声多切面图，进行特征提取，以对所述超声多切面图进行分类检测。


4.一种针对先心病的超声多切面数据检测系统，其特征在于，所述系统包括：多尺度检测网络和深层特征提取网络；
所述多尺度检测网络用于检测超声多切面图中的焦点区域，所述焦点区域包括房间隔区域和/或室间隔区域；
所述深层特征提取网络用于根据所述超声多切面图和所述焦点区域，进行特征提取，提取出的所述特征用于对所述超声多切面图进行分类检测。


5.如权利要求4所述的针对先心病的超声多切面数据检测系统，其特征在于，所述多尺度检测网络，具体包括：多尺度特征提取模块和焦点区域检测模块；
所述多尺度特征提取模块用于通过卷积、反卷积运算，生成所述超声多切面图的组合特征图，所述组合特征图包括深层特征图和浅层特征图；
所述焦点区域检测模块用于在所述组合特征图中，根据检测标注框和默认矩形框，采用预...

【专利技术属性】
技术研发人员：高跃，陈自强，魏宇轩，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11