一种基于深度学习的婴儿痉挛症临床发作视频识别方法技术

本发明专利技术涉及计算机视觉领域、视频监控以及医疗康复等多个领域，尤其是一种基于深度学习的婴儿痉挛症临床发作视频识别方法。主旨在于结合计算机视觉技术精确定位患者活动情况，并实现自动识别患者是否发作。主要方案包括构建数据集，得到训练集和验证集，进行数据预处理；构建改进的vision transformer分类网络模型；把处理过的数据输入到改进的vision transformer分类网络中进行训练；观察训练模型收敛情况，判断损失函数是否过拟合，是否满足训练标准；如果满足训练标准则直接输出标准识别模型，不满足则找到符合预设标准的权重函数并且解冻数据集再次精化训练，得到满足标准的权重函数后输出标准婴儿痉挛症临床发作识别模型。别模型。别模型。

【技术实现步骤摘要】
一种基于深度学习的婴儿痉挛症临床发作视频识别方法


[0001]本专利技术涉及计算机视觉领域、视频监控以及医疗康复等多个领域，尤其是一种基于深度学习的婴儿痉挛症临床发作视频识别方法。

技术介绍

[0002]婴儿痉挛症是一种由癫痫/婴儿痉挛、异常的脑电波模式和智力障碍组成的症状群。它通常发生在婴儿期，可能由脑部损伤或遗传变异引起。婴儿痉挛是一种特殊类型的癫痫发作，痉挛发作的主要发作形式有三种，屈曲，伸展以及混合，在临床中动作幅度大的容易识别。临床工作中，判断痉挛发作的有无主要是通过判断脑电图波形变换情况，即使经验丰富的脑电图技师在判断痉挛与否时也会存在漏判情况，痉挛发作在脑电的工作中耗时较多(以脑电图经验10年以上的高级技师而言，一包2小时的图需要半小时以上来浏览判定)。
[0003]现有技术中，医生通过对婴儿发作时的头皮脑电图数据进行分析并对疾病予以确诊。专利《一种婴儿痉挛症的头皮脑电发作期高频振荡模型》，申请号为CN202110218074，属于脑电图模型
，通过训练用于对脑电图设备监测到的头皮脑电图的高频振荡进行分析，判断是否为婴儿痉挛症的发作期。
[0004]脑电图技术所需的设备造价高昂，包括电极、导电材料、运算放大器等，这些设备需要定期维护和更新，给研究者带来了经济负担。其次，儿童佩戴脑电设备容易造成头部不适，因为脑电帽需要紧贴头皮，并且使用导电凝胶或盐水来改善电阻接触，这些操作可能会引起儿童的不适感和抵触情绪，导致他们在实验过程中哭闹或者不配合。因为脑电帽上有许多电极连接着导线，这些导线可能会因为被试的头部移动或者外界干扰而松动或断开，影响信号的质量和稳定性。
[0005]此外，脑电图产生数据量巨大，标注十分辛苦，因为每个被试的每个通道都会产生大量的原始数据，这些数据需要进行预处理、滤波、去噪、分析等步骤。最后，对脑电信号数据进行处理十分复杂，因为脑电信号受到很多因素的影响，如头皮、头骨、眼球运动、心跳、肌肉活动等，这些因素都会产生噪声和伪差，并且干扰信号源的定位和解释。因此，对脑电信号数据进行处理需要使用复杂的数学模型和算法，并且考虑多种可能的假设和解释。
[0006]
技术实现思路
本专利技术的目的在于克服现有技术的不足，提出了一种基于深度学习的婴儿痉挛症临床发作视频识别方法，利用对监控患者的住院视频数据，结合计算机视觉技术精确定位患者活动情况，并实现自动识别患者是否发作。
[0007]为了实现上述目的采用以下技术方案：
[0008]本专利技术提供了一种基于深度学习的婴儿痉挛症临床发作识别方法，主要包括以下步骤：
[0009]步骤1：对患者临床监控视频进行发作点前后的视频段截取，得到数据集；
[0010]步骤2：对步骤1得到的数据集中的视频段样本进行预处理，得到痉挛和非痉挛图片；
[0011]步骤3：使用SAM模型对图片分割，精准定位患者位置，得到发作与未发作类别的患
者图片。
[0012]步骤4：获取患者图片数据，构建数据集，得到训练集和验证集，进行数据预处理；
[0013]步骤5：构建改进的vision transformer分类网络模型；
[0014]步骤6：把处理过的数据输入到改进的vision transformer分类网络中进行训练；
[0015]步骤7：观察训练模型收敛情况，判断损失函数是否过拟合，是否满足训练标准；如果满足训练标准则直接输出标准识别模型，不满足则找到符合预设标准的权重函数并且解冻数据集再次精化训练，得到满足标准的权重函数后输出标准婴儿痉挛症临床发作识别模型；
[0016]步骤8：利用标准婴儿痉挛症临床发作识别模型快速识别出婴儿是否发作，并判断其可能性概率，将结果输出保存为可供训练的XML文件。
[0017]上述技术方案中，上述步骤1，具体包括以下步骤：
[0018]步骤1.1：根据脑电图临床发作相关标注文件，从监控视频中截取出患者发作前后一秒的视频片段，并截取相同时间的未发作视频片段，每段视频时长为2
‑
3秒，若截取的视频片段中患者被遮挡，则剔除该发作点片段；
[0019]步骤1.2：通过编写的python程序将截取的视频段格式从m2t格式转换为可被ffmpeg使用的MP4格式，获取同等数量的发作与未发作视频段，作为正负样本。
[0020]上述技术方案中，上述步骤2，具体包括以下步骤：
[0021]步骤2.1：对获取的视频片段进行截帧处理，帧率为n，得到图像数据并对图像进行平滑处理，扩充及统一格式大小，通过编写的python程序将图片保存为JPG格式；
[0022]步骤2.2：建立两个文件夹，分别命名为
‘
seizure
’
与
‘
non
‑
seizure
’
，将通过步骤2.1得到的图片分别保存到对应的文件夹中，得到待分割文件及待分割文件的路径。
[0023]上述技术方案中，上述步骤3，具体包括以下步骤：
[0024]步骤3.1：安装好torch环境，从SAM官方github中克隆SegmentAnything代码，并下载模型文件，并安装Opencv及ipywidgets库函数，将步骤2.2准备的待分割文件路径写入模型相对位置，使用SAM模型的全自动分割方式将图片中的患者与其他对象分割出来，SAM模型的全自动分割是指在图像上生成等距离格网，图像上的每个像素点都作为提示信息，SAM从每个提示信息中预测多个掩码，然后，使用non
‑
maximal suppression对掩膜结果进行过滤和优化，得到分割的结果；
[0025]步骤3.2：通过上述步骤3.1，将分割的结果保存为PNG格式的掩码文件，使用cv2.IMREAD_UNCHANGED参数以保留png的透明通道，使用cv2.inRange对分割结果的图片进行颜色阈值化，得到不同目标的二值掩码，即得到掩码文件，使用cv2.bitwise_and对原图片和二值掩码进行按位与运算，使得每个掩码文件对应一个目标；
[0026]步骤3.3：使用Python和Opencv库来读取图片和掩码文件，根据掩码文件提取出被分割出的患者区域，然后使用cv2.imwrite函数将患者区域保存为JPG格式即精准定位患者位置，得到发作与未发作类别的患者图片；
[0027]上述技术方案中，上述步骤4，具体包括以下步骤：
[0028]步骤4.1：将上述步骤3中的步骤3.3得到的具有发作与未发作类别的患者图片制作为数据集，并按照比例7∶3划分为训练集和验证集；
[0029]步骤4.2：对步骤4.1得到的数据集进行数据预处理操作，数据预处理操作包括：数
据增强、引入多尺度机制、添加噪声和扰动；
[0030]数据增强：对数据集的训练集图像进行任意方向的翻转；对图像进行平移和裁剪；对图像实施色彩变化；
[0031]引入多尺度机制：使用Mul本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的婴儿痉挛症临床发作识别方法，其特征在于，包括以下步骤：步骤1：对患者临床监控视频进行发作点前后的视频段截取，得到数据集；步骤2：对步骤1得到的数据集中的视频段样本进行预处理，得到痉挛和非痉挛图片；步骤3：使用SAM模型对图片分割，精准定位患者位置，得到发作与未发作类别的患者图片；步骤4：获取患者图片数据，构建数据集，得到训练集和验证集，进行数据预处理；步骤5：构建改进的vision transformer分类网络模型；步骤6：把处理过的数据输入到改进的vision transformer分类网络中进行训练；步骤7：观察训练模型收敛情况，判断损失函数是否过拟合，是否满足训练标准；如果满足训练标准则直接输出标准识别模型，不满足则找到符合预设标准的权重函数并且解冻数据集再次精化训练，得到满足标准的权重函数后输出标准婴儿痉挛症临床发作识别模型；步骤8：利用标准婴儿痉挛症临床发作识别模型快速识别出婴儿是否发作，并判断其可能性概率，将结果输出保存为可供训练的XML文件。2.根据权利要求1所述的一种基于深度学习的婴儿痉挛症临床发作识别方法，其特征在于，上述步骤1，具体包括以下步骤：步骤1.1：根据脑电图临床发作相关标注文件，从监控视频中截取出患者发作前后一秒的视频片段，并截取相同时间的未发作视频片段，每段视频时长为2
‑
3秒，若截取的视频片段中患者被遮挡，则剔除该发作点片段；步骤1.2：通过编写的python程序将截取的视频段格式从m2t格式转换为可被ffmpeg使用的MP4格式，获取同等数量的发作与未发作视频段，作为正负样本。3.根据权利要求1所述的一种基于深度学习的婴儿痉挛症临床发作识别方法，其特征在于，上述步骤2，具体包括以下步骤：步骤2.1：对获取的视频片段进行截帧处理，帧率为n，得到图像数据并对图像进行平滑处理，扩充及统一格式大小，通过编写的python程序将图片保存为JPG格式；步骤2.2：建立两个文件夹，分别命名为
‘
seizure
’
与
‘
non
‑
seizure
’
，将通过步骤2.1得到的图片分别保存到对应的文件夹中，得到待分割文件及待分割文件的路径。4.根据权利要求1所述的一种基于深度学习的婴儿痉挛症临床发作识别方法，其特征在于，上述步骤3，具体包括以下步骤：步骤3.1：安装好torch环境，从SAM官方github中克隆SegmentAnything代码，并下载模型文件，并安装Opencv及ipywidgets库函数，将步骤2.2准备的待分割文件路径写入模型相对位置，使用SAM模型的全自动分割方式将图片中的患者与其他对象分割出来，SAM模型的全自动分割是指在图像上生成等距离格网，图像上的每个像素点都作为提示信息，SAM从每个提示信息中预测多个掩码，然后，使用non
‑
maximal suppression对掩膜结果进行过滤和优化，得到分割的结果；步骤3.2：通过上述步骤3.1，将分割的结果保存为PNG格式的掩码文件，使用cv2.IMREAD_UNCHANGED参数以保留png的透明通道，使用cv2.inRange对分割结果的图片进行颜色阈值化，得到不同目标的二值掩码，即得到掩码文件，使用cv2.bitwise_and对原图片和二值掩码进行按位与运算，使得每个掩码文件对应一个目标；步骤3.3：使用Python和Opencv库来读取图片和掩码文件，根据掩码文件提取出被分割
出的患者区域，然后使用cv2.imwrite函数将患者区域保存为JPG格式即精准定位患者位置，得到发作与未发作类别的患者图片。5.根据权利要求4所述的一种基于深度学习的婴儿痉挛症临床发作识别方法，其特征在于，上述步骤4，具体包括以下步骤：步骤4.1：将上述步骤3中的步骤3.3得到的具有发作与未发作类别的患者图片制作为数据集，并按照比例7∶3划分为训练集和验证集；步骤4.2：对步骤4.1得到的数据集进行数据预处理操作，数据预处理操作包括：数据增强、引入多尺度机制、添加噪声和扰动；数据增强：对数据集的训练集图像进行任意方向的翻转；对图像进行平移和裁剪；对图像实施色彩变化；引入多尺度机制：使用Multi
‑
scale融合不同尺度的图片进行数据增强，经数据集的训练集图像等比缩放到320和608的尺寸；添加噪声和扰动：对数据集的训练集图像添加高斯、椒盐噪声；对图像施加对抗扰动。6.根据权利要求...

【专利技术属性】
技术研发人员：付立军，丁黎辉，李旭，王宗，刘婧，仇慧琪，
申请(专利权)人：中科智禾数字科技北京有限公司，
类型：发明
国别省市：