基于人工智能的图像分类方法、装置、设备和介质制造方法及图纸

本申请公开了一种基于人工智能的图像分类方法、装置、设备和介质，包括：获取待检测区域的超声图像，所述超声图像包括三维视频图像和二维频谱图像；将所述三维视频图像和所述二维频谱图像分别输入至对应的特征提取网络模型，得到视频特征和频谱特征；将所述视频特征和所述频谱特征进行融合得到融合特征，根据所述融合特征确定所述待检测区域的所属类型，能够有效确定待检测区域的所属类型。

【技术实现步骤摘要】
基于人工智能的图像分类方法、装置、设备和介质
本公开一般涉及计算机图像处理
，具体涉及超声图像处理
，尤其涉及一种基于人工智能的图像分类方法、装置、设备和介质。
技术介绍
超声心动图应用超声测距原理，利用脉冲超声波透过胸壁、软组织，测量其下各心壁、心室及瓣膜等结构的周期性活动。超声心动图包含视频、图像等多模态信息，是临床上评测心脏的结构与功能最常用的手段。因此，对超声心动图进行准确的分析对医疗领域有重要意义。
技术实现思路
鉴于现有技术中的期望提供一种基于人工智能的图像分类方法、装置、设备和介质，能够有效确定待检测区域的所属类型。第一方面，本申请实施例提供了一种基于人工智能的图像分类方法，包括以下步骤：获取待检测区域的超声图像，所述超声图像包括三维视频图像和二维频谱图像；将所述三维视频图像和所述二维频谱图像分别输入至对应的特征提取网络模型，得到视频特征和频谱特征；将所述视频特征和所述频谱特征进行融合得到融合特征，根据所述融合特征确定所述待检测区域的所属类型。在一些实施例中，所述将所述三维视频图像和所述二维频谱图像分别输入至对应的特征提取网络模型，包括：对所述二维频谱图像进行图像处理，得到所述二维频谱图像中频谱波纹的波形轮廓；根据所述波形轮廓，获取所述待检测区域对应的流速-时间曲线；将所述流速-时间曲线输入至所述二维频谱图像对应的特征提取网络模型。在一些实施例中，采用三维卷积神经网络作为与所述三维视频图像对应的所述特征提取网络模型；采用长短期记忆网络模型作为与所述二维频谱图像对应的所述特征提取网络模型。在一些实施例中，所述所属类型包括正常类型和异常类型，所述方法还包括：在所述待检测区域为异常类型时，将所述二维频谱图像输入至分割神经网络模型中，得到所述频谱波纹的波形掩膜；根据所述待检测区域对应的位置信息和所述波形掩膜，获取所述频谱波纹的测量线；根据所述测量线，获取所述待检测区域对应的测量参数；根据所述测量参数，确定所述待检测区域的异常程度。在一些实施例中，在所述待检测区域对应的位置信息为二尖瓣时，所述根据所述待检测区域对应的位置信息和所述波形掩膜，获取所述频谱波纹的测量线，包括：将所述波形掩膜输入至HRNet模型，获取所述频谱波纹的关键点；利用所述关键点，绘制所述频谱波纹的测量线。在一些实施例中，所述根据所述测量参数，确定所述待检测区域的异常程度，包括：识别所述测量参数所处的测量参数区间；将所述测量参数区间对应的异常程度作为所述待检测区域的异常程度。第二方面，本申请实施例提供了一种基于人工智能的图像分类装置，包括：获取模块，用于获取待检测区域的超声图像，所述超声图像包括三维视频图像和二维频谱图像；提取模块，用于将所述三维视频图像和所述二维频谱图像分别输入至对应的特征提取网络模型，得到视频特征和频谱特征；确定模块，用于将所述视频特征和所述频谱特征进行融合得到融合特征，根据所述融合特征确定所述待检测区域的所属类型。第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，该处理器执行该程序时实现如本申请实施例描述的方法。第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例描述的方法。本申请提出的基于人工智能的图像分类方法，获取待检测区域的超声图像，超声图像包括三维视频图像和二维频谱图像，将三维视频图像和二维频谱图像分别输入至对应的特征提取网络模型，得到视频特征和频谱特征，将视频特征和频谱特征进行融合得到融合特征，根据融合特征确定待检测区域的所属类型。由此，本申请能够充分利用三维视频图像和二维频谱图像的特征对待检测区域进行所属类型的分类识别，能够包含更丰富的特征信息，有效提高对待检测区域所属类型识别的准确性和可信度。而且，本申请对三维视频图形和二维频谱图像均使用深度学习模型进行分析，能够大大提高诊断速度，并且能够避免主管因素产生的干扰与人工误差，有效提升结果的一致性和可重复性。本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：图1示出了本申请一个实施例的基于人工智能的图像分类方法的流程图；图2示出了本申请一个实施例中三维卷积神经网络模型S3D的结构示意图；图3示出了本申请一个实施例中二维卷积神经网络模型Xception的结构示意图；图4示出了本申请一个实施例的基于人工智能的图像分类方法的原理图；图5示出了本申请另一个实施例的基于人工智能的图像分类方法的流程图；图6示出了本申请一个实施例中UNet模型的结构示意图；图7示出了本申请一个实施例中HRNet模型的结构示意图；图8示出了二尖瓣对应的测量线；图9示出了主动脉瓣对应的测量线；图10示出了本申请一个实施例的基于人工智能的图像分类装置的结构示意图；图11示出了适于用来实现本申请实施例的电子设备或服务器的计算机系统的结构示意图。具体实施方式下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关专利技术，而非对该专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与专利技术相关的部分。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。近年来，人工智能领域的神经网络深度学习技术得到了迅速的发展，它模拟人类神经网络，采用多层神经元级联学习，从而在数据中获得不同级别的抽象特征，并进行分类预测。其在语音识别、图像识别等领域取得了卓越的进展。目前，临床医师往往需要数年的培训积累经验，才能够准确的读取超声心动图中表达的身体状态信息，但是，实践中读图准确度严重受专业经验、主观感受影响，导致重复性不高、人工误差大，并存在手动分析耗时较长，需要较多的人力投入等问题。基于此，本申请提出一种基于人工智能的图像分类方法、装置、设备和介质，以通过神经网络模型对超声心动图进行准确分类识别。如图1所示，本申请实施例的基于人工智能的图像分类方法，包括以下步骤：步骤101，获取待检测区域的超声图像，超声图像包括三维视频图像和二维频谱图像。在本申请实施例中，待检测区域可为患者心脏瓣膜区域，进一步地，待检测区域可为患者心脏四组瓣膜中的任一组，例如二尖瓣、主动脉瓣、三尖瓣和肺动脉瓣等。进一步地，待检测区域为不同瓣膜时，对应的超声图像为医学领域指定的与待检测区域相关的切面图像。举例来说，在待检测区域为二尖瓣时，待本文档来自技高网...

【技术保护点】
1.一种基于人工智能的图像分类方法，其特征在于，包括以下步骤：/n获取待检测区域的超声图像，所述超声图像包括三维视频图像和二维频谱图像；/n将所述三维视频图像和所述二维频谱图像分别输入至对应的特征提取网络模型，得到视频特征和频谱特征；/n将所述视频特征和所述频谱特征进行融合得到融合特征，根据所述融合特征确定所述待检测区域的所属类型。/n

【技术特征摘要】
1.一种基于人工智能的图像分类方法，其特征在于，包括以下步骤：
获取待检测区域的超声图像，所述超声图像包括三维视频图像和二维频谱图像；
将所述三维视频图像和所述二维频谱图像分别输入至对应的特征提取网络模型，得到视频特征和频谱特征；
将所述视频特征和所述频谱特征进行融合得到融合特征，根据所述融合特征确定所述待检测区域的所属类型。


2.根据权利要求1所述的基于人工智能的图像分类方法，其特征在于，所述将所述三维视频图像和所述二维频谱图像分别输入至对应的特征提取网络模型，包括：
对所述二维频谱图像进行图像处理，得到所述二维频谱图像中频谱波纹的波形轮廓；
根据所述波形轮廓，获取所述待检测区域对应的流速-时间曲线；
将所述流速-时间曲线输入至所述二维频谱图像对应的特征提取网络模型。


3.根据权利要求1所述的基于人工智能的图像分类方法，其特征在于，还包括：
采用三维卷积神经网络作为与所述三维视频图像对应的所述特征提取网络模型；
采用长短期记忆网络模型作为与所述二维频谱图像对应的所述特征提取网络模型。


4.根据权利要求1所述的基于人工智能的图像分类方法，其特征在于，所述所属类型包括正常类型和异常类型，所述方法还包括：
在所述待检测区域为异常类型时，将所述二维频谱图像输入至分割神经网络模型中，得到频谱波纹的波形掩膜；
根据所述待检测区域对应的位置信息和所述波形掩膜，获取所述频谱波纹的测量线；
根据所述测量线，获取所述待检测区域对应的测量参数；
根据所述测量参数...

【专利技术属性】
技术研发人员：何昆仑，杨菲菲，郭华源，林锡祥，陈煦，邓玉姣，钟琴，汪驰，李瑶，于立恒，段永杰，
申请(专利权)人：中国人民解放军总医院，
类型：发明
国别省市：北京;11