一种基于超声心动图的特征图滤波的预测方法及装置制造方法及图纸

本发明专利技术公开了一种基于超声心动图的特征图滤波的预测方法及装置，所示方法包括：在单帧图像训练集中训练神经网络模型，得到神经网络模型的特征提取主干和神经网络预测头；将测试样本的单帧图像训练集按时间顺序依次输入至特征提取主干，提取对应所述单帧图像训练集的图像特征图集合；将所述特征图集合中的单张图像特征图分别基于时间邻域进行滤波处理；将滤波后的所述单张图像特征图输入神经网络预测头，得到视频样本的预测结果，所述视频样本的预测结果与单张图像特征图的时间轴相对应。本发明专利技术通过对神经网络模型提取的图像特征图在时间邻域进行滤波处理，缓解了在视频样本数据上进行预测时，视频单帧图像的帧间时间一致性比较差的问题。性比较差的问题。性比较差的问题。

【技术实现步骤摘要】
一种基于超声心动图的特征图滤波的预测方法及装置


[0001]本专利技术涉及软件开发领域，尤其涉及一种基于超声心动图的特征图滤波的预测方法及装置。

技术介绍

[0002]随着技术的发展，深度学习(deep learning)，尤其是卷积神经网络(convolutional neural network，CNN)对计算机视觉的下游任务处理上，如分类、分割、检测等，以其比传统方法的精度、鲁棒性高等的优势，带来了巨大的影响。
[0003]深度学习也在医学影像技术方面有了越来越多的应用。超声心动图是一种常用的心脏超声波检查，图像所表征的是心脏组织的对超声波的反射程度，通过连续的超声波对任意位置的血液和心肌组织运动速度进行实时检查。而在检查时，通常判断依据是根据连续的视频得到的，这让在单张静态图像下训练下的神经网络，难以捕捉帧间连续性的先验信息，得到了在时间上不稳定的视频检测结果。
[0004]现有技术中在超声心动图应用中，基于计算机视觉的下游任务进行如分类、分割、检测等处理，再根据算法得到的结果进行下一步的检查与诊断等，通常都是基于单帧静态图像下使用深度学习的算法。再将对视频中每帧图像各自得到的结果综合完成心超视频下的检查、诊断等任务。
[0005]由于超声心动图的相关检测和诊断，很多需要通过视频上的时序信息来得到。在标注数据时，对于视频数据进行逐帧标注，是件成本非常高的事，因而，常见的数据集是单张的静态图片标注得到的结果。而由单张静态图像训练出的神经网络，对视频上的每一帧分别进行处理，难以捕捉到帧与帧之间时间连续信息，从而让超声心动图的视频的结果没有稳定的时间一致性，比如出现帧间的抖动、不平滑的现象。

技术实现思路

[0006]针对上述技术问题，本专利技术提供了一种基于超声心动图的特征图滤波的预测方法及装置，可在单帧静态图像训练的神经网络模型的基础上的提高视频时间连续性的滤波优化。
[0007]本专利技术的第一方面，提供一种基于超声心动图的特征图滤波的预测方法，包括：
[0008]在单帧图像训练集中训练神经网络模型，得到神经网络模型的特征提取主干和神经网络预测头；
[0009]将测试样本的单帧图像训练集按时间顺序依次输入至特征提取主干，提取对应所述单帧图像训练集的图像特征图集合；
[0010]将所述特征图集合中的单张图像特征图分别基于时间邻域进行滤波处理；
[0011]将滤波后的所述单张图像特征图输入神经网络预测头，得到视频样本的预测结果，所述视频样本的预测结果与单张图像特征图的时间轴相对应。
[0012]在一可选实施例中，所述神经网络模型的神经网络预测头执行分割任务的损失函
数为：
[0013][0014][0015]其中，l
ce
为交叉熵损失函数，l
dice
为骰子损失函数，H与W分别是图像的高和宽，n为需要分割出的类别数，y
ij
是原始图像的分割标签，当第j个像素属于i类别时，y
ij
＝1，反之y
ij
＝0；p
ij
为网络所预测的第j个像素属于i类别的概率。
[0016]在一可选实施例中，所述神经网络模型的神经网络预测头执行关键点检测任务的损失函数为：
[0017][0018]其中，m为需要预测的关键点个数，h为神经网络预测出的热图置信度，g为热图置信度的真值。
[0019]在一可选实施例中，所述将所述特征图集合中的单张图像特征图分别基于时间邻域进行滤波处理，包括：
[0020]使用移动平均滤波或者卡尔曼滤波将所述特征图集合中的单张图像特征图进行滤波处理。
[0021]在一可选实施例中，使用卡尔曼滤波将所述特征图集合中的单张图像特征图基于时间邻域进行滤波处理时，从t＝1到t＝m
‑
1，根据如下公式依次更新：
[0022][0023]其中t为视频中每帧图片的序列，m为视频中的总帧数，X
t
是神经网络特征提取主干得到的特征图，为滤波得到的特征图。
[0024]在一可选实施例中，使用卡尔曼滤波将所述特征图集合中的单张图像特征图基于时间邻域进行滤波处理时，根据如下公式去噪：
[0025][0026]其中，f
th
为超声视频中用于表现心脏运动的采样频率；PSD(f)df为归一化后的功率谱密度。
[0027]本专利技术的第二方面，提供一种基于超声心动图的特征图滤波的预测装置，包括：
[0028]模型训练单元，用于在单帧图像训练集中训练神经网络模型，得到神经网络模型的特征提取主干和神经网络预测头；
[0029]提取单元，用于将测试样本的单帧图像训练集按时间顺序依次输入至特征提取主干，提取对应所述单帧图像训练集的图像特征图集合；
[0030]滤波单元，用于将所述特征图集合中的单张图像特征图分别基于时间邻域进行滤
波处理；
[0031]预测单元，用于将滤波后的所述单张图像特征图输入神经网络预测头，得到视频样本的预测结果，所述视频样本的预测结果与单张图像特征图的时间轴相对应。
[0032]在一可选实施例中，所述滤波单元包括参数确定单元，所述参数确定单元将所述特征图集合中的单张图像特征图基于时间邻域进行滤波处理时，根据如下公式去噪：
[0033][0034]其中，f
th
为超声视频中用于表现心脏运动的采样频率；PSD(f)df为归一化后的功率谱密度。
[0035]本专利技术的第三方面，提供一种电子设备，包括：
[0036]至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如本专利技术实施例的第一方面所述的方法。
[0037]本专利技术的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被计算机运行时，执行如本专利技术实施例的第一方面所述的方法。
[0038]本专利技术通过对神经网络模型提取的图像特征图在时间邻域进行滤波处理，缓解了在视频样本数据上进行预测时，视频单帧图像的帧间时间一致性比较差的问题；可在单帧静态图像训练的神经网络模型的基础上的提高视频时间连续性的滤波优化，另外不需要重新训练网络模型，可以作为即插即用的模块，对任意的网络进行由静态图片训练结果到时间一致性的视频预测的拓展。
附图说明
[0039]图1为本专利技术实施例中一种基于超声心动图的特征图滤波的预测方法的流程示意图。
[0040]图2为本专利技术实施例中图像特征图经过滤波滤波处理与未进行滤波处理的对比图。
[0041]图3为本专利技术实施例中未经过滤波处理与经过滤波处理的对左心室分割的面积功率谱结果。
[0042]图4为本专利技术实施例中一种基于超声心动图的特征图滤波的预测装置模块的示意图。
具体实施方式
[0043]下面将结合本专利技术实施例中的附图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于超声心动图的特征图滤波的预测方法，其特征在于，包括：在单帧图像训练集中训练神经网络模型，得到神经网络模型的特征提取主干和神经网络预测头；将测试样本的单帧图像训练集按时间顺序依次输入至特征提取主干，提取对应所述单帧图像训练集的图像特征图集合；将所述特征图集合中的单张图像特征图分别基于时间邻域进行滤波处理；将滤波后的所述单张图像特征图输入神经网络预测头，得到视频样本的预测结果，所述视频样本的预测结果与单张图像特征图的时间轴相对应。2.根据权利要求1所述的基于超声心动图的特征图滤波的预测方法，其特征在于，所述神经网络模型的神经网络预测头执行分割任务的损失函数为：神经网络模型的神经网络预测头执行分割任务的损失函数为：其中，l
ce
为交叉熵损失函数，l
dice
为骰子损失函数，H与W分别是图像的高和宽，n为需要分割出的类别数，y
ij
是原始图像的分割标签，当第j个像素属于i类别时，y
ij
＝1，反之y
ij
＝0；p
ij
为网络所预测的第j个像素属于i类别的概率。3.根据权利要求1所述的基于超声心动图的特征图滤波的预测方法，其特征在于，所述神经网络模型的神经网络预测头执行关键点检测任务的损失函数为：其中，m为需要预测的关键点个数，h为神经网络预测出的热图置信度，g为热图置信度的真值。4.根据权利要求1所述的基于超声心动图的特征图滤波的预测方法，其特征在于，所述将所述特征图集合中的单张图像特征图分别基于时间邻域进行滤波处理，包括：使用移动平均滤波或者卡尔曼滤波将所述特征图集合中的单张图像特征图进行滤波处理。5.根据权利要求4所述的基于超声心动图的特征图滤波的预测方法，其特征在于，使用卡尔曼滤波将所述特征图集合中的单张图像特征图基于时间邻域进行滤波处理时，从t＝1到t＝m
‑
1，根据如下公式依...

【专利技术属性】
技术研发人员：张运旭，陈嘉懿，蒋逸韬，石思远，崔晨，
申请(专利权)人：深圳微创心算子医疗科技有限公司，
类型：发明
国别省市：