基于同步视频与脑电的儿童运动性癫痫智能辅助分析方法技术

本发明专利技术公开了一种基于同步视频与脑电的儿童运动性癫痫智能辅助分析方法。本发明专利技术结合脑电信号特征和同步视频数据的特征，旨在实现精准可靠的儿童癫痫患者的发作检测识别。本发明专利技术将脑电与视频数据特征融合在一起训练分类模型，提高了发作检测的识别率，同时利用数据均衡对融合特征进行处理，克服了癫痫发作期的数据远少于发作间期的问题；同时本发明专利技术采用了YOLO目标检测的方法，检测出视频中儿童癫痫患者的位置再对其进行下一步处理，克服了实际工作中，医院摄像头采集的视频数据不够理想的问题；本发明专利技术在提取时空兴趣点后，引入时空兴趣点筛选模块，减少了对视频中冗余信息的特征提取，精简了视频特征，提高了儿童癫痫发作检测率。率。率。

【技术实现步骤摘要】
基于同步视频与脑电的儿童运动性癫痫智能辅助分析方法


[0001]本专利技术属于脑电信号处理和计算机视觉及智慧医疗辅助分析领域，涉及一种基于同步视频与脑电的儿童运动性癫痫智能辅助分析方法。

技术介绍

[0002]癫痫患者约占世界人口的1％，其中大多数都是儿童，并且大多数患者在发展中国家，这是儿童期非常常见的慢性神经系统疾病。据统计，儿童癫痫的发病率是成人的10
‑
15倍，长时的癫痫发作严重危害儿童的生长发育和认知能力的发展。因此，针对于儿童癫痫的治疗已成为世界各国关注的焦点之一。虽然儿童癫痫的分析已经越来越成熟，但其发作的随机性、重复性和不可预测性一直是癫痫分析的难点。而且现实医疗条件的不足，如医疗设备性能不佳、有效的辅助癫痫检测以及诊断系统的缺失，也是目前儿童癫痫综合征危害如此之大的原因。因此，建立一个可靠高效的儿童动作性癫痫发作自动检测系统具有很强的社会经济效益，该系统一方面可以辅助医生做初步的筛查和检测，尤其是对于大规模的离线数据，减轻医生的工作；另一方面可以为社区等低级别医院医生提供辅助诊断培训和学习。这也有助于进一步揭本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于同步视频与脑电的儿童运动性癫痫智能辅助分析方法，其特征在于包括如下步骤：步骤1、对原始数据中的原始脑电信号截取发作间期与发作期的片段，并将其划分为6秒的数据帧，使用带通滤波器对0.5至70Hz以外的频段滤除，使用陷波滤波器剔除50Hz的工频干扰，去除伪迹，最终得到干扰较少的脑电信号；步骤2、对预处理好的脑电信号提取其MFCC特征与LPCC特征，以直方图的形式可视化MFCC特征与LPCC特征；步骤3、对原始数据中的视频数据，截取与脑电信号同步的视频片段，每一段视频数据也为6秒，将视频的分辨率调整为416*416的像素，视频的帧率为20帧每秒，即一个视频总帧数为120帧；步骤4、将经过步骤3处理后的视频数据输入到YOLO的神经网络进行目标检测，该神经网络将识别出儿童癫痫患者在该视频中的位置，并用红色的框标识出；步骤5、将经过步骤4处理后的视频数据进行时空兴趣点的检测，得到每一帧中时空兴趣点的位置，对比儿童癫痫患者的位置即视频中的红框，筛选掉不在红框中的时空兴趣点；步骤6、保留以每个时空兴趣点为中心的9个block，将连续两帧同一个位置的9个block组成一个cube，并对这个cube进行HOG、HOF、LBP、MBH特征提取；步骤7、将提取到的时空兴趣点的特征放入词袋模型中，构建50个词的词库，对每个时空兴趣点的特征进行分类，并保存为词频直方图，最终得到50维的视频特征；步骤8、将提取的脑电信号特征和视频数据特征进行融合；步骤9、对融合后的特征进行SMOTE+Tomeklinks数据均衡处理,使得发作期样本数量等于发作间期的样本数量，得到最终的儿童癫痫特征；步骤10、将最终的儿童癫痫特征放入机器学习算法中进行训练，采取10折交叉验证来评估模型性能，并得到癫痫发作检测结果。2.根据权利要求1所述的基于同步视频与脑电的儿童运动性癫痫智能辅助分析方法，其特征在于所述步骤2的具体流程如下：2
‑
1、将预处理好的脑电信号按每6s一段进行切分，对每段脑电信号进行预加重、分帧、加窗后进行离散傅里叶变换得到其频谱，对频谱平方后得到其功率谱，再通过Mel三角滤波器组进行处理，再通过离散余弦变换得到梅尔频率倒谱系数特征，大小为21*12；2
‑
2、同时对预处理好的信号，利用Matlab里的LPC函数即可得到LPC系数，再通过计算倒谱便可得到21*16维的线性预测倒谱系数特征。3.根据权利要求1或2所述的基于同步视频与脑电的儿童运动性癫痫智能辅助分析方法，其特征在于所述步骤3的具体流程如下：3
‑
1、截取视频数据中与脑电信号同步的发作间期与发作期片段，每一段视频数据也为6秒，设置视频的分辨率为416*416的像素，视频的帧率为20帧每秒，即一个6秒视频的总帧数为120帧。4.根据权利要求3所述的基于同步视频与脑电的儿童运动性癫痫智能辅助分析方法，其特征在于所述步骤4的具体流程如下：4
‑
1、将已处理好的视频数据输入到主干网络中进行特征提取，使用的主干网络为Darknet
‑
53，输入矩阵大小为416*416*3，共计输入矩阵个数为2922(总视频个数)*120(每
个视频的帧数)；Darknet
‑
53的神经网络通过53个卷积以及残差卷积层来提取特征，使用残差块来缓解在深度神经网络中增加深度带来的梯度消失问题；其中在该主干网络中，使用的残差卷积就是首先进行一次卷积核为3*3、步长为2的卷积，该卷积会压缩输入进来的特征层的宽和高，得到新的特征层,称为layer，接着再进行一次1*1的卷积和3*3的卷积，并把这个结果加上layer本身；对于主干网络中，每一个卷积部分都使用nn.Conv2d函数进行卷积，nn.BatchNorm2d用来批标准化，激活函数用nn.LeakyReLU函数来实现；4
‑
2、从特征获取预测结果的过程分为两个部分，分别是构建FPN特征金字塔进行加强特征提取以及利用YOLO HEAD对三个有效特征层进行预测；4
‑
3、对获得的三个预测结果进行解码，从存储边框坐标的数值中读取出预测框的位置，对最终的多个预测结果对应的边框置信度进行得分排序以及非极大抑制筛选，从而得到预测框的最终位置；4
‑
4、得到预测框的最终位置后将其绘制在原图上，即可检测出儿童癫痫患者在视频中的位置。5.根据权利要求4所述的基于同步视频与脑电的儿童运动性癫痫智能辅助分析方法，其特征在于：步骤4
‑
2中所述的构建FPN特征金字塔进行加强特征提取的步骤如下：4
‑2‑
1.在特征提取部分，YOLO一共提取三个特征层进行目标检测，分别位于主干部分Darknet
‑
53的中间层、中下层以及底层，三个特征层的shape分别为(52,52,256)、(26，26，512)、(13，13，1024)；4
‑2‑
2.利用三个有效特征层进行FPN层的构建，将13*13*1024的特征层进行5次卷积处理，用于YOLO HEAD获得预测结果，并将这一部分使用nn.Upsample函数进行上采样与26*26*512特征层进行结合，结合后的特征层为26*26*768；4
‑2‑
3.同理继续对结合后的特征层进行5次卷积，分别用于YOLO HEAD获得预测结果和进行上采样与更高一层的特征层即52*52*512特征层进行结合，结合后的特征层为52*52*384；4
‑2‑
4.最后再对结合后的特征层进行5次卷积处理并用于YOLO HEAD获得预测结果，总计得到三个特征层用于YOLO HEAD获得预测结果；步骤4
‑
2中所述的利用YOLO HEAD对三个有效特征层进行预测的步骤如下：首先对三个加强特征层进行一次3*3的卷积用于特征整合，随后进行一次1*1的卷积用于调整通道数，最后得到输出层的三个预测结果；基于VOC数据集有20种类，再加上4个数值用于存储边框坐标，以及一个数值用于存储边框置信度，总共25个数值，又由YOLO针对每一个特征层的每一个特征点存在3个先验框，则预测结果的通道数为25*3＝75；实际情况中，输入的数据为N张416*416的图片，因此三个预测结果的shape分别是(N,13,13,75)、(N,26，26，75)...

【专利技术属性】
技术研发人员：曹九稳，方元，吴逸仙，崔小南，郑润泽，蒋铁甲，高峰，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：