超声心动图的分类方法、分类装置制造方法及图纸

本发明专利技术提供一种超声心动图的分类方法、分类装置，所述方法包括：S1，从超声心动图中随机选取连续的第一预设帧视频；S2，从第一预设帧视频中间隔选取第二预设帧视频作为输入视频；S3，将输入视频输入训练后的神经网络模型，以使神经网络模型根据输入视频输出对应的分类和每个分类的概率值，将概率值中最大值对应的分类作为预测结果；S4，重复步骤S3三次，获取三个预测结果；S5，对三个预测结果进行投票。本发明专利技术的神经网络模型的输入采用完整的心动周期中间隔选取多帧作为输入数据，既可以减少模型的训练数据量，又可以保证心脏收缩舒张过程能被捕捉学习，且可以提取视频中的时序信息进行后续的分类，识别分类性能突出，准确率高。准确率高。准确率高。

【技术实现步骤摘要】
超声心动图的分类方法、分类装置


[0001]本专利技术涉及计算机视觉
，具体涉及一种超声心动图的分类方法和一种超声心动图的分类装置。

技术介绍

[0002]心脏变化可以通过技术手段进行成像检，成像方式主要有磁共振成像、电子计算机断层扫描、超声成像。超声成像作为一种价格便宜，操作方便，无电离辐射，成像速度快的成像方式，应用较广。在超声成像中，探头放置的不同位置与不同角度能够扫描出不同的切面，每一种切面的心脏心态和包括的心脏结构点都不一致。而在心脏疾病的临床诊断中，心脏的各个结构点的准确定位是医生进行诊断和确定治疗方案的重要依据。所以临床要求要先对心脏的超声视图进行分类，再做进一步的定位。
[0003]相关技术中，一般采用2D（2维）卷积模型直接进行超声视图的分类。然而，由于心脏超声采集所获得的数据一般为视频形式，涉及到的医学图像信息较多，直接进行超声视图的分类，涉及到的样本数据量大，从而导致模型训练慢，并且，视频可看作一系列的帧，使用2D（2维）卷积只能获取帧的信息，而无法获取序列信息，从而导致模型的拟合能力差、分类准确性低。

技术实现思路

[0004]为解决上述技术问题，本专利技术的第一个目的在于提出一种超声心动图的分类方法。
[0005]本专利技术的第二个目的在于提出一种超声心动图的分类装置。
[0006]本专利技术采用的技术方案如下：本专利技术第一方面的实施例提出了一种超声心动图的分类方法，包括以下步骤：步骤S1，获取待分类的超声心动图，从所述超声心动图中随机选取连续的第一预设帧视频，所述第一预设帧视频包括一个完整的心动周期；步骤S2，从所述第一预设帧视频中间隔选取第二预设帧视频作为输入视频，所述第二预设帧小于所述第一预设帧；步骤S3，将所述输入视频输入训练后的神经网络模型，以使所述神经网络模型根据所述输入视频输出所述输入视频对应的分类和每个分类的概率值，将所述概率值中最大值对应的分类作为预测结果，其中，所述分类包括m类，m为正整数，所述神经网络包括：串联的时空卷积模块、MLP（Multilayer Perceptron，多层感知机）和Focal Loss（一种处理样本分类不均衡的损失函数），所述Focal Loss的输出与所述时空卷积模块的输入相连；步骤S4，重复步骤S3三次，获取三个预测结果；步骤S5，对所述三个预测结果进行投票，将投票结果作为分类结果。
[0007]本专利技术上述提出的超声心动图的分类方法还可以具有如下附加技术特征：根据本专利技术的一个实施例，采用以下方式训练所述神经网络模型：获取训练集，针对训练集中的每个超声心动图，随机选取连续的第一预设帧视频，从所述第一预设帧视频中间隔选取第二预设帧视频输入时空卷积模块，以通过时空卷积模块提取特征向量，所述
特征向量包括：图像信息和时序信息；将所述特征向量输入所述MLP，以通过MLP获取所述特征向量为m类目标视图的预测概率；将所述预测概率输入所述Focal Loss，以使所述Focal Loss根据所述预测概率和训练集标签进行反向传播。
[0008]根据本专利技术的一个实施例，所述时空卷积模块包括：VideoResNet（视频残差网络）框架。
[0009]根据本专利技术的一个实施例，所述MLP包括：相互串联的第一Linear（线性）层、第一LeakyRelu（一种激活函数）层、第二Linear层、第二LeakyRelu层、第三Linear层和第三LeakyRelu层。
[0010]根据本专利技术的一个实施例，对所述三个预测结果进行投票，将投票结果作为分类结果，具体包括：如果三个预测结果相同，则将所述预测结果对应的分类作为分类结果；如果三个预测结果中存在两个预测结果相同，则将两个相同的预测结果对应的分类作为分类结果；如果三个预测结果均不相同，则将三个预测结果中概率值的最大值对应的分类作为分类结果。
[0011]本专利技术第二方面的实施例提出了一种超声心动图的分类装置，包括：第一获取模块，所述第一获取模块用于获取待分类的超声心动图，从所述超声心动图中随机选取连续的第一预设帧视频，所述第一预设帧视频包括一个完整的心动周期；第二获取模块，所述第二获取模块用于从所述第一预设帧视频中间隔选取第二预设帧视频作为输入视频，所述第二预设帧小于所述第一预设帧；预测模块，所述预测模块用于将所述输入视频输入训练后的神经网络模型，以使所述神经网络模型根据所述输入视频输出所述输入视频对应的分类和每个分类的概率值，将所述概率值中最大值对应的分类作为预测结果，所述预测模块还用于重复以上步骤三次，以获取三个预测结果，其中，所述分类包括m类，m为正整数，所述神经网络包括：串联的时空卷积模块、MLP和Focal Loss，所述Focal Loss的输出与所述时空卷积模块的输入相连；投票模块，所述投票模块用于对所述三个预测结果进行投票，将投票结果作为分类结果。
[0012]本专利技术上述提出的超声心动图的分类装置还可以具有如下附加技术特征：根据本专利技术的一个实施例，采用以下方式训练所述神经网络模型：获取训练集，针对训练集中的每个超声心动图，随机选取连续的第一预设帧视频，从所述第一预设帧视频中间隔选取第二预设帧视频输入时空卷积模块，以通过时空卷积模块提取特征向量，所述特征向量包括：图像信息和时序信息；将所述特征向量输入所述MLP，以通过MLP获取所述特征向量为m类目标视图的预测概率；将所述预测概率输入所述Focal Loss，以使所述Focal Loss根据所述预测概率和训练集标签进行反向传播。
[0013]根据本专利技术的一个实施例，所述残差神经网络模型的损失函数采用Focal Loss损失函数。
[0014]根据本专利技术的一个实施例，所述时空卷积模块包括：VideoResNet框架。
[0015]根据本专利技术的一个实施例，所述MLP包括：相互串联的第一Linear层、第一LeakyRelu层、第二Linear层、第二LeakyRelu层、第三Linear层和第三LeakyRelu层。
[0016]根据本专利技术的一个实施例，所述投票模块具体用于：如果三个预测结果相同，则将所述预测结果对应的分类作为分类结果；如果三个预测结果中存在两个预测结果相同，则将两个相同的预测结果对应的分类作为分类结果；如果三个预测结果均不相同，则将三个
预测结果中概率值的最大值对应的分类作为分类结果。
[0017]本专利技术的有益效果：本专利技术的神经网络模型的输入采用完整的心动周期中间隔选取多帧作为输入数据，既可以减少模型的训练数据量，又可以保证心脏收缩舒张过程能被捕捉学习，且神经网络模型中采用时空卷积模块，可以提取视频中的时序信息进行后续的分类，时空分离性质更好、拟合能力更强，识别分类性能突出，准确率高，神经网络模型中使用Focal Loss根据视图样本比重进行平衡，可以加速模型收敛，提高模型识别的准确率。
附图说明
[0018]图1是根据本专利技术的一个实施例的超声心动图的分类方法的流程图；图2是根据本专利技术的一个实施例的神经网络模型的结构示意图；图3是根本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种超声心动图的分类方法，其特征在于，包括以下步骤：步骤S1，获取待分类的超声心动图，从所述超声心动图中随机选取连续的第一预设帧视频，所述第一预设帧视频包括一个完整的心动周期；步骤S2，从所述第一预设帧视频中间隔选取第二预设帧视频作为输入视频，所述第二预设帧小于所述第一预设帧；步骤S3，将所述输入视频输入训练后的神经网络模型，以使所述神经网络模型根据所述输入视频输出所述输入视频对应的分类和每个分类的概率值，将所述概率值中最大值对应的分类作为预测结果，其中，所述分类包括m类，m为正整数，所述神经网络包括：串联的时空卷积模块、MLP和Focal Loss，所述Focal Loss的输出与所述时空卷积模块的输入相连；步骤S4，重复步骤S3三次，获取三个预测结果；步骤S5，对所述三个预测结果进行投票，将投票结果作为分类结果；其中，所述时空卷积模块包括：VideoResNet框架，所述MLP包括：相互串联的第一Linear层、第一LeakyRelu层、第二Linear层、第二LeakyRelu层、第三Linear层和第三LeakyRelu层。2.根据权利要求1所述的超声心动图的分类方法，其特征在于，采用以下方式训练所述神经网络模型：获取训练集，针对训练集中的每个超声心动图，随机选取连续的第一预设帧视频，从所述第一预设帧视频中间隔选取第二预设帧视频输入时空卷积模块，以通过时空卷积模块提取特征向量，所述特征向量包括：图像信息和时序信息；将所述特征向量输入所述MLP，以通过MLP获取所述特征向量为m类目标视图的预测概率；将所述预测概率输入所述Focal Loss，以使所述Focal Loss根据所述预测概率和训练集标签进行反向传播。3.根据权利要求1所述的超声心动图的分类方法，其特征在于，对所述三个预测结果进行投票，将投票结果作为分类结果，具体包括：如果三个预测结果相同，则将所述预测结果对应的分类作为分类结果；如果三个预测结果中存在两个预测结果相同，则将两个相同的预测结果对应的分类作为分类结果；如果三个预测结果均不相同，则将三个预测结果中概率值的最大值对应的分类作为分类结果。4.一种超声心动图的分类装置，其特...

【专利技术属性】
技术研发人员：段和平，
申请(专利权)人：安徽鲲隆康鑫医疗科技有限公司，
类型：发明
国别省市：