一种通过拍照心电图获取心电节律信息的系统技术方案

本发明专利技术公开了一种通过拍照心电图获取心电节律信息的系统，其中，心电区域提取单元负责获取由手机摄像头拍摄的12导联纸质心电图报告，去除无关附加信息，并基于目标检测神经网络提取出心电区域；图像处理单元采用图像去噪、倾斜校正、阴影去除、数据增强等算法对其进行预处理；心电节律信息获取与异常分类单元基于卷积神经网络，获取心电图节律信息，并对其进行心律异常分类；安卓手机应用程序功能单元用于将用户的心电节律信息分类结果反馈给访问用户的结果反馈模块。本发明专利技术能够通过拍摄纸质心电图报告照片，获取心电节律信息并对其进行识别分类，是一种可管理、便携且低成本的工具，有助于在医生辅助诊断中改进心电图解释。有助于在医生辅助诊断中改进心电图解释。有助于在医生辅助诊断中改进心电图解释。

【技术实现步骤摘要】
一种通过拍照心电图获取心电节律信息的系统


[0001]本专利技术涉及心电智能诊断领域，具体涉及一种通过拍照心电图获取心电节律信息的系统。

技术介绍

[0002]心电图(ECG)是一种广泛使用的非侵入性医学测试，通过跟踪心脏的电活动来测量心脏状况。心电图包含大量直接反映心脏生理学的信息，因为它的形态和时间特征是由心脏电学和结构变化产生的。在临床诊断中，心电图是监测病人心脏电活动的主要方法，这使得心电图被广泛应用于疾病诊断、制定治疗计划等方面。
[0003]现有方法可以进一步分为两种类型。第一种是基于特征的方法，首先提取频域和小波变换等形态特征。基于这些特征，各种类型的机器学习算法，如支持向量机，决策树和神经网络用于训练异常检测模型。最近提出的另一个是基于深度神经网络的方法。这些方法通过从心电数据中提取高级特征，在端到端过程中执行异常检测。他们通过一些特征学习架构直接从数据中学习底层表示。
[0004]尽管这些方法能够在一些公共数据集上获得有竞争力的结果，但在实际临床环境中应用这些方法时，却非常具有挑战性。首先，现有的大多数方法依赖于心电数据信号。然而，现实世界中的心电数据通常被收集并存储为图像，这是算法需要考虑的关键来源。
[0005]与由多个干净且分离良好的导联信号组成的心电图信号不同，纸质心电图图像是模糊的。来自不同导联的波形与图像中密集覆盖的辅助轴(例如时间和电压轴)之间存在重叠，这对准确提取信息提出了挑战。此外，数据采样率从数字信号中的数百赫兹下降到图像数据中的十赫兹以下，从而导致严重的信息丢失。
[0006]因此，心电信号和图像之间的巨大差距将从根本上影响基于特征和基于深度神经网络的一般方法的性能。对于基于特征的方法，实际上很难提取所需的特征。虽然一个潜在的解决方案是首先将图像数字化，然而从纸质心电图中直接提取波形较为困难，同时繁杂的噪声与干扰、与心电图无关的病人信息以及医生在心电图纸上所做的手工标记都会影响心电图的分割以及干净波形的提取。因此，相关技术在实现心电图数字化时通常需要耗费人力与时间资源手动裁切，数字化的效率及质量较低。

技术实现思路

[0007]针对现有技术的以上缺陷或改进需求，本专利技术提供了一种通过拍照心电图获取心电节律信息的系统，针对纸质心电图的手动裁剪需要耗费大量的人力物力的缺陷，本专利技术采用目标检测技术提取出12导联心电图报告中的心电区域；采用深度卷积神经网络模型获取节律信息并进行异常分类；开发出界面简洁，操作便捷的安卓应用程序，满足为医生提供辅助诊断信息的需要。
[0008]为实现本专利技术的目的，提供一种通过拍照心电图获取心电节律信息的系统，包括心电区域提取单元、图像处理单元、心电节律信息获取与异常分类单元和安卓手机应用程
序功能单元，其中安卓手机应用程序功能单元包含图像读取模块、图像上传模块和结果反馈模块；所述安卓手机应用程序功能单元中的图像读取模块的输出端连接所述心电区域提取单元的输入端，所述心电区域提取单元的输出端连接所述图像处理单元的输入端，所述图像处理单元的输出端连接所述心电节律信息获取与异常分类单元的输入端，所述心电节律信息获取与异常分类单元的输出端连接安卓应用程序功能单元中结果反馈模块的输出端。
[0009]具体地，所述心电区域提取单元由安卓手机应用程序功能单元中的图像读取模块获取到用户拍摄的12导联心电报告，去除病人个人信息及医生诊断标记等无关信息，基于目标检测网络，提取出心电图波形区域后传输至图像处理单元；
[0010]具体地，所述图像处理单元采用图像去噪、图像倾斜校正、阴影去除、数据增强等算法对提取的心电区域进行预处理，预处理后的图像作为心电节律异常识别与分类单元的输入；
[0011]具体地，所述心电节律信息获取与异常分类单元基于卷积神经网络，获取心电图节律信息，并对其进行心律异常分类；
[0012]具体地，所述安卓手机应用程序功能单元包含图像读取模块、图像上传模块和结果反馈模块；图像读取模块负责拍摄、接收和读取用户的心电报告；图像上传模块负责将图像文件自动传输至后端服务器；结果反馈模块负责将心电节律信息分类结果反馈给访问用户。
[0013]具体地，所述心电区域提取单元包括以下步骤：
[0014](1)对原始的心电报告图片进行图像预处理，改善图像质量；对预处理后的心电报告图使用标注工具对心电区域的左上坐标和右下坐标进行手工标注，得到位置标签；将收集到的心电报告图片按照特定比例随机划分为训练集、验证集和测试集；
[0015](2)利用预处理后的心电报告图像和位置标签基于所述训练集和验证集对YOLO目标检测网络进行训练优化，同时设置心电区域空间位置的置信度阈值，得到空间位置信息；然后基于心电区域的空间位置信息进行切片处理，得到下采样特征图，获得优化后的心电区域提取模型；
[0016](3)利用所述基于YOLO目标检测网络的心电区域提取模型对测试集中的心电报告图片进行预测；
[0017](4)对测试集的预测结果进行精度评估。
[0018]具体地，所述步骤(2)中利用训练集和验证集对YOLO目标检测网络进行训练优化的过程为：
[0019]将训练集中的心电报告图像进行归一化处理，输入到网络的backbone部分，可以得到三种不同尺度的特征图，分别是感受野最小而尺度最大、感受野中等且尺度中等和感受野最大而尺度最小，将所述特征图输入到网络的head部分，对其上采样和特征融合，同时，经过置信度阈值过滤和非极大值抑制过滤，获得三种不同尺度下的张量数据。计算张量数据和标签值之间的损失值，并通过反向传播计算网络梯度，更新权重值，最后利用验证集优化网络，取得损失最小的一组超参数值，最终可得到基于YOLO目标检测网络的心电区域提取模型。
[0020]具体地，所述步骤(4)中评价区域提取精度的评估指标是平均精度mAP，其计算过
程如下：
[0021](1)计算目标检测网络预测框面积与实际框面积的交并比，其值可以反映预测框与实际框的贴合程度。交并比大于阈值时判定为预测结果正确；
[0022](2)计算测试集中所有心电报告图像的平均精度；
[0023](3)计算mAP，即测试集的平均精度之和除以测试集类别总数。
[0024]具体地，所述图像处理单元包括图像去噪、倾斜校正、阴影去除、数据增强；具体地，所述图像倾斜矫正先采用霍夫算法，识别心电区域的背景网格线段，再计算图像倾斜角度，对其进行矫正。
[0025]具体地，所述心电节律信息获取与异常分类单元基于卷积神经网络，获取心电图节律信息，并对其进行识别和分类，包括：
[0026]S1：根据所述图像处理单元所输出的心电区域图像及对应节律异常分类标签，构建各个特征分类标签下的心电图数据集；
[0027]S2：对所述心电图数据集中的心电图像进行预处理，并通过随机分类法将所述心电图数据集分为训练集、验证集和测试集；
[0028]S3：构建深度卷积神经网络模型，基于所述训练集本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种通过拍照心电图获取心电节律信息的系统，其特征在于，包括心电区域提取单元、图像处理单元、心电节律信息获取与异常分类单元和安卓手机应用程序功能单元，其中安卓手机应用程序功能单元包含图像读取模块、图像上传模块和结果反馈模块；所述安卓手机应用程序功能单元中的图像读取模块的输出端连接所述心电区域提取单元的输入端，所述心电区域提取单元的输出端连接所述图像处理单元的输入端，所述图像处理单元的输出端连接所述心电节律信息获取与异常分类单元的输入端，所述心电节律信息获取与异常分类单元的输出端连接安卓应用程序功能单元中结果反馈模块的输出端；所述心电区域提取单元由安卓手机应用程序功能单元中的图像读取模块获取到用户拍摄的12导联心电报告，去除病人个人信息及医生诊断标记的无关信息，基于目标检测网络，提取出心电图波形区域后传输至图像处理单元；所述图像处理单元采用图像去噪、图像倾斜校正、阴影去除、数据增强算法对提取的心电区域进行预处理，预处理后的图像作为心电节律信息获取与异常分类单元的输入；所述心电节律信息获取与异常分类单元基于卷积神经网络，获取心电图节律信息，并对其进行心律异常分类；所述安卓手机应用程序功能单元包含图像读取模块、图像上传模块和结果反馈模块；图像读取模块负责拍摄、接收和读取用户的心电报告；图像上传模块负责将图像文件自动传输至后端服务器；结果反馈模块负责将心电节律信息分类结果反馈给访问用户。2.根据权利要求1所述的一种通过拍照心电图获取心电节律信息的系统，其特征在于，所述心电区域提取单元包括以下步骤：(1)对原始的心电报告图片进行图像预处理，改善图像质量；对预处理后的心电报告图使用标注工具对心电区域的左上坐标和右下坐标进行手工标注，得到位置标签；将收集到的心电报告图片按照特定比例随机划分为训练集、验证集和测试集；(2)利用预处理后的心电报告图像和位置标签基于所述训练集和验证集对YOLO目标检测网络进行训练优化，同时设置心电区域空间位置的置信度阈值，得到空间位置信息；然后基于心电区域的空间位置信息进行切片处理，得到下采样特征图，获得优化后的心电区域提取模型；(3)利用所述基于YOLO目标检测网络的心电区域提取模型对测试集中的心电报告图片进行预测；(4)对测试集的预测结果进行精度评估。3.根据权利要求2所述的一种通过拍照心电图获取心电节律信息的系统，其特征在于，所述步骤(2)中利用训练集和验证集对YOLO目标检测网络进行训练优化的过程为：将训练集中的心电报告图像进行归一化处理，输入到网络的backbone部分，得到三种不同尺度的特征图，分别是感受野最小而尺度最大、感受野中等且尺度中等和感受野最大而尺度最小，将所述特征图输入到网络的head部分，对其上采样和特征融合，同时，经过置信度阈值过滤和非极大值抑制过滤，获得三种不同尺度下的张量数据；计算张量数据和标签值之间的损失值，并通过反向传播计算网络梯度，更新权重值，最后利用验证集优化网络，取得损失最小的一组超参数值，最终得到基于YOLO目标检测网络的心电区域提取模型。4.根据权利要求2所述的一种通过拍照心电图获取心电节律信息的系统，其特征在于，所述步骤(4)中精度评估指标是平均精度mAP，其计算过程如下：
(1)计算目标检测网络预测框面积与实际框面积的交并比，其值反映预测框与实际框的贴合程度，交并比大于阈值时判定为预测结果正确；(2)计算测试集中所有心电报告图像的平均精度；(3)计算mAP，即测试集的平均精度之和除以测试集类别总数。5.根据权利要求1所述的一种通过拍照心电图获取心电节律信息的系统，其特征在于，所述图像处理单元包括图像去噪、倾斜校正、阴影去除、数据增强；所述图像倾斜矫正先采用霍夫算法，识别心电区域的背景网格线段，再计算图像倾斜角度，对其进行矫正。6.根据权利要求1所述的一种通过拍照心电图获取心电节律信息的系统，其特征在于，所述心电节律信息获取与异常分类单元基于卷积神经网络，获取心电图节律信息，并对其进行识别和分类，包括：S1：...

【专利技术属性】
技术研发人员：刘澄玉，孙茹，张铄，赵莉娜，李建清，
申请(专利权)人：东南大学，
类型：发明
国别省市：