基于神经网络的超声视频关键帧的检测方法和装置制造方法及图纸

本发明专利技术提供了一种基于神经网络的超声视频关键帧的检测方法和装置，其中，基于神经网络的超声视频关键帧的检测方法包括以下步骤：从数据库中提取超声视频数据集；对超声视频数据集进行预处理以获取超声视频训练集；根据超声视频训练集对神经网络进行训练以获取目标检测模型；根据目标检测模型对待检测超声视频进行检测以获取待检测超声视频的关键帧。根据本发明专利技术的基于神经网络的超声视频关键帧的检测方法，能够对超声视频关键帧进行自动检测，无需人工检测，不仅大大提高了检测的准确性，而且操作检测，节省了大量的人力、物力和算力资源。资源。资源。

【技术实现步骤摘要】
基于神经网络的超声视频关键帧的检测方法和装置


[0001]本专利技术视频关键帧检测
，具体涉及一种基于神经网络的超声视频关键帧的检测方法和基于神经网络的超声视频关键帧的检测装置。

技术介绍

[0002]目前临床评价一位病人的心脏功能，评估左心室的各项指标占到了很大一部分，例如需要测量得到左心室的长度、体积、射血分数等等。获得这些数据的主要方式有超声心动图、计算机断层扫描成像、核磁共振成像。其中超声心动图利用了超声成像原理，具有低成本、无辐射、可以动态观察的特点，是最常见的选择之一。由于获取上述指标需要多方向观察心脏扩张收缩过程，获取其最大容积和最小容积时刻的三维数据，临床时要求要对心脏的扩张末期和收缩末期视频关键帧进行标注，以进行进一步的数据处理。
[0003]相关技术中，对左心室ED、ES关键帧的标注，一般由心电图的输出来预测ES帧，再由医生手动观察B超或者类似的视频数据，手动标注ED帧。这种方法对于医生的专家知识和经验有很高要求，较为繁琐，比较耗时，并且心电图和超声图像常常有大量噪声，有可能因为人为因素出现误差甚至错误。

技术实现思路

[0004]本专利技术为解决上述技术问题，提供了一种基于神经网络的超声视频关键帧的检测方法，能够对超声视频关键帧进行自动检测，无需人工检测，不仅大大提高了检测的准确性，而且操作检测，节省了大量的人力、物力和算力资源。
[0005]本专利技术采用的技术方案如下：
[0006]一种基于神经网络的超声视频关键帧的检测方法，包括以下步骤：从数据库中提取超声视频数据集；对所述超声视频数据集进行预处理以获取超声视频训练集；根据所述超声视频训练集对神经网络进行训练以获取目标检测模型；根据所述目标检测模型对待检测超声视频进行检测以获取所述待检测超声视频的关键帧。
[0007]所述对所述超声视频数据集进行预处理以获取超声视频训练集包括：给所述超声视频数据集中的每一帧超声图像添加高斯噪声以获取相应的第一训练图像集；对所述第一训练图像集依次进行旋转、缩放和平移处理以获取第二训练图像集；对所述第二训练图像集进行归一化处理以获取第三训练图像集；对所述第三训练图像集进行图像裁剪处理以获取第四训练图像集，并将所述第四训练图像集融合为所述超声视频训练集。
[0008]所述根据所述超声视频训练集对神经网络进行训练以获取目标检测模型，包括：通过特征提取器对所述超声视频训练集进行特征提取以获取相应的500维特征向量；通过过程感应器将所述500维特征向量转化为N维的第一预测值；通过sigmoid层将所述第一预测值映射到0～1之间，以获取N*1维的概率预测值。
[0009]所述特征提取器采用以R(2+1)D网络结构为时空卷积模块的VideoResNet框架。
[0010]所述过程感应器包括全连接层和LeakyRelu层。
[0011]一种基于神经网络的超声视频关键帧的检测装置，包括：数据提取模块，所述数据提取模块用于从数据库中提取超声视频数据集；预处理模块，所述预处理模块用于对所述超声视频数据集进行预处理以获取超声视频训练集；训练模块，所述训练模块用于根据所述超声视频训练集对神经网络进行训练以获取目标检测模型；检测模块，所述检测模块用于根据所述目标检测模型对待检测超声视频进行检测以获取所述待检测超声视频的关键帧。
[0012]一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述的基于神经网络的超声视频关键帧的检测方法。
[0013]一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的基于神经网络的超声视频关键帧的检测方法。
[0014]本专利技术的有益效果：
[0015]本专利技术能够对超声视频关键帧进行自动检测，无需人工检测，不仅大大提高了检测的准确性，而且操作检测，节省了大量的人力、物力和算力资源。
附图说明
[0016]图1为本专利技术实施例的基于神经网络的超声视频关键帧的检测方法的流程图；
[0017]图2为本专利技术实施例的基于神经网络的超声视频关键帧的检测装置的方框示意图。
具体实施方式
[0018]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0019]图1是根据本专利技术实施例的基于神经网络的超声视频关键帧的检测方法的流程图。
[0020]如图1所示，本专利技术实施例的基于神经网络的超声视频关键帧的检测方法可包括以下步骤：
[0021]S1，从数据库中提取超声视频数据集。
[0022]具体而言，对于输入任意长宽比的超声心动视频，首先在屏幕中选点框选超声图像范围，依据此范围可以对同种型号的所有设备的所有视频进行统一规格的裁剪。然后对于得到的裁剪后的超声视频，按照病人序号的hash值进行标记，这一步可以方便之后的随机选择，或者交叉验证时的数据集划分，并记录视频的总帧数。将视频缩放为适当大小的长宽，使得视频既不会太大导致需要的储存空间过大，也能控制训练时需要的显存资源，还要使得视频不能太小以丢失关键信息。另外，设计C#或python应用程序，方便标记人员打标，标签统一储存为csv格式，进一步地，可将csv文件的数据载入python后输出为可以直接读取的npz格式文件。由此，能够自动从超声设备的显示设备读取图像，通过针对机器图像裁剪，自动分析提取裁剪过后的视频数据关键信息，能够构建数据库，统一数据关键信息，方
便标注人员对视频打标。从而减少工作人员负担，避免产生数据错误。也就是说，在需要获取超声视频数据时，可直接从数据库中调用。
[0023]S2，对超声视频数据集进行预处理以获取超声视频训练集。
[0024]根据本专利技术的一个实施例对超声视频数据集进行预处理以获取超声视频训练集包括：给超声视频数据集中的每一帧超声图像添加高斯噪声以获取相应的第一训练图像集；对第一训练图像集依次进行旋转、缩放和平移处理以获取第二训练图像集；对第二训练图像集进行归一化处理以获取第三训练图像集；对第三训练图像集进行图像裁剪处理以获取第四训练图像集，并将第四训练图像集融合为超声视频训练集。
[0025]具体而言，首先，在初始化函数中，设置视频最终输出长宽为目标值(建议为128*128)，设置数据集的划分(“train”或“test”)，并读取每个视频的帧长度、视频标签(ground truth)，保存必要的降采样倍率，计算并记录数据的平均值、方差，记录模型单次预测需要输入的视频长度N，即模型单次预测的输出长度。其次，在获取item的函数中，对于每一个item，首先加入高斯噪声(给超声视频数据集中的每一帧超声图像添加高斯噪声以获取相应的第一训练图像集)，将item小角度旋转(...

【技术保护点】

【技术特征摘要】
1.一种基于神经网络的超声视频关键帧的检测方法，其特征在于，包括以下步骤：从数据库中提取超声视频数据集；对所述超声视频数据集进行预处理以获取超声视频训练集；根据所述超声视频训练集对神经网络进行训练以获取目标检测模型；根据所述目标检测模型对待检测超声视频进行检测以获取所述待检测超声视频的关键帧。2.根据权利要求1所述的基于神经网络的超声视频关键帧的检测方法，其特征在于，所述对所述超声视频数据集进行预处理以获取超声视频训练集包括：给所述超声视频数据集中的每一帧超声图像添加高斯噪声以获取相应的第一训练图像集；对所述第一训练图像集依次进行旋转、缩放和平移处理以获取第二训练图像集；对所述第二训练图像集进行归一化处理以获取第三训练图像集；对所述第三训练图像集进行图像裁剪处理以获取第四训练图像集，并将所述第四训练图像集融合为所述超声视频训练集。3.根据权利要求1所述的基于神经网络的超声视频关键帧的检测方法，其特征在于，所述根据所述超声视频训练集对神经网络进行训练以获取目标检测模型，包括：通过特征提取器对所述超声视频训练集进行特征提取以获取相应的500维特征向量；通过过程感应器将所述500维特征向量转化为N维的第一预测值；通过sigmoid层将所述第一预测值映射到0～1之间，以获取N*1维的概率预测值。4.根据权利要...

【专利技术属性】
技术研发人员：段和平，
申请(专利权)人：安徽鲲隆康鑫医疗科技有限公司，
类型：发明
国别省市：