基于深度学习和光流法的心脏冠状动脉影像分割识别方法技术

本发明专利技术提供了一种基于深度学习和光流法的心脏冠状动脉影像分割识别方法，通过选取分段心脏造影Dicom视频中任意连续两帧图片作为训练样本，将训练样本输入神经网络中；神经网络基于所述训练样本，计算连续两帧图片之间的光流信息作为两帧之间的映射，同时将光流信息输入神经网络中；神经网络通过深度学习的方法对前一帧图片及光流信息得到的第三特征图及当前帧图片得到的第四特征图组合得到的第五特征图输入金字塔模块中，金字塔模块基于第五特征图应用金字塔融合的方法得到不同尺度的心脏血管特征图；反卷积层通过双线性插值的方法将不同尺度的心脏血管特征图沿着一个维度合并到一起，得到心脏冠状动脉影像分割识别血管图，提高了分割精确度。

Segmentation and Recognition of Coronary Artery Image Based on Deep Learning and Optical Flow Method

The present invention provides a method of segmentation and recognition of coronary artery image based on deep learning and optical flow method. By selecting two consecutive pictures in Dicom video as training samples, the training samples are input into the neural network. Based on the training samples, the neural network calculates the optical flow information between consecutive two pictures as a mapping between two frames. Optical flow information is input into the neural network, and the fifth feature map is input into the pyramid module through the combination of the third feature map from the previous frame and the fourth feature map from the current frame by the method of in-depth learning. The pyramid module uses pyramid fusion based on the fifth feature map to obtain different scales of cardiovascular feature maps. The deconvolution layer combines the different scales of cardiovascular feature maps along one dimension by bilinear interpolation, and obtains the segmentation and recognition vascular maps of coronary artery image, which improves the accuracy of segmentation.

【技术实现步骤摘要】
基于深度学习和光流法的心脏冠状动脉影像分割识别方法
本专利技术涉及互联网
，尤其涉及一种基于深度学习和光流法的心脏冠状动脉影像分割识别方法。
技术介绍
冠状动脉造影图像的分割是图像分割技术在医学领域的重要应用，冠状动脉血管的精确提取可以辅助医生诊断心血管疾病并确定合适的治疗方案，同时其也是血管三维重建的重要基础，在临床医疗中发挥着重要作用。传统应用深度学习技术对Dicom视频文件进行分割的做法是一帧一帧的进行分割，而且没有利用到帧与帧之间的关联性，最终导致分割结果抖动比较大，效果并不是那么好。
技术实现思路
为了解决上述问题，本文提出了一种基于深度学习和光流法的心脏冠状动脉影像分割识别方法，可以实现端到端的训练，以一定的准确率在心脏冠状动脉造影图像上实现血管分割识别。本专利技术采用光流法来表示帧与帧之间的关联性，并将其作为输入提供给神经网络进行训练，这使得神经网络可以获得更多有价值的信息，从而可以得到较好的分割结果。为了达到上述目的，本专利技术提供的一种基于深度学习和光流法的心脏冠状动脉影像分割识别方法，包括：选取分段心脏造影Dicom视频中任意连续两帧图片作为训练样本，将训练样本输入神经网络中；神经网络基于所述训练样本，计算连续两帧图片之间的光流信息作为两帧之间的映射，同时将光流信息输入神经网络中；神经网络通过深度学习的方法对前一帧图片及光流信息得到的第三特征图及当前帧图片得到的第四特征图组合得到的第五特征图输入金字塔模块中，金字塔模块基于第五特征图应用金字塔融合的方法得到不同尺度的心脏血管特征图；反卷积层通过双线性插值的方法将不同尺度的心脏血管特征图沿着一个维度合并到一起，得到心脏冠状动脉影像分割识别血管图。进一步的，所述分段心脏造影Dicom视频的获取方法包括：接收医疗综合数据库中存储的与病变种类信息对应的整段心脏造影Dicom视频；基于病变种类信息，使用SSN(StructuredSegmentNetwork,结构分割网络)协同分析整段心脏造影Dicom视频中出现的关键特征信息。基于关键特征信息并结合体位信息，对整段Dicom视频进行分段，并迭代该步骤，直到最终找到满足设定的分段视频。进一步的，所述卷积神经网络模块由多层相同单元多次堆叠而成，同时读取预训练模型参数；所述单元从上到下依次为卷积层、批规范化层、快捷连接层、激活函数层。进一步的，所述神经网络通过深度学习的方法对前一帧图片及光流信息得到的第三特征图的步骤包括：将两帧图片中的前一帧图片取出输入卷积模块，运行模型计算图，取出计算过程中最后一个卷积层输出的第一特征图；将光流信息输入卷积模块中进行主要特征提取，得到第二特征图；打包层接收第一特征图和第二特征图，对第一特征图和第二特征图进行线性插值的操作，将第一特征图和第二特征图进行有效信息的融合，得到第三特征图。进一步的，得到所述第四特征图的步骤包括：神经网络将当前帧图片输入卷积模块进行特征提取，取出最后一个卷积层的输出得到第四特征图。进一步的，得到所述第五特征图的步骤包括：组合层将第三特征图和第四特征图分别乘以不同的权重之后相加，得到第五特征图。进一步的，还包括参数更新的步骤，该步骤包括：比较输出的心脏冠状动脉影像分割识别血管图和医生精标注的心脏冠状动脉影像分割识别血管图的不同得到损失值，通过梯度下降法对神经网络各个层的参数进行更新；迭代运行所有的步骤，直到通过神经网络分割和识别出的心脏冠状动脉影像分割识别血管图与医生精标注的心脏冠状动脉影像分割识别血管图之间损失值低于预设的阈值。进一步的，还包括测试步骤，该步骤包括：步骤一：读取拍摄到的患者的心脏造影Dicom视频文件，提取关键帧，输入神经网络；并读取该体位对应的模型参数。步骤二：神经网络进行初始化，建立多层神经网络结构，并读取训练好的对应体位的模型参数。步骤三：神经网络接收患者的心脏造影Dicom视频图像，通过深度学习的方法对输入图片进行血管的分割和检测，输出不同体位关键帧的血管分割识别图片；步骤四：对不同体位重复步骤一到步骤三，直到将所有体位的关键帧处理完毕。本专利技术提供的一种基于深度学习和光流法的心脏冠状动脉影像分割识别方法，通过选取分段心脏造影Dicom视频中任意连续两帧图片作为训练样本，将训练样本输入神经网络中；神经网络基于所述训练样本，计算连续两帧图片之间的光流信息作为两帧之间的映射，同时将光流信息输入神经网络中；神经网络通过深度学习的方法对前一帧图片及光流信息得到的第三特征图及当前帧图片得到的第四特征图组合得到的第五特征图输入金字塔模块中，金字塔模块基于第五特征图应用金字塔融合的方法得到不同尺度的心脏血管特征图；反卷积层通过双线性插值的方法将不同尺度的心脏血管特征图沿着一个维度合并到一起，得到心脏冠状动脉影像分割识别血管图的技术方案，将相邻两帧之间的信息表示出来并用于冠状动脉心脏造影图像的分割和识别任务，并将光流法和深度学习技术结合用于心脏造影图像的分割和识别任务。以较高的准确率分割并识别心脏造影图像不同类型的血管。将深度学习技术和光流法进行结合，实现端到端的自动分割并识别血管过程。解决了传统对Dicom视频文件进行分割的做法是一帧一帧的进行分割，而且帧与帧之间没有任何关联性，导致分割精度低的技术问题。本方法采用光流法表示帧与帧之间的关联性，将血管的变化信息加入分割方法中，从而可以得到较好的结果。附图说明图1为根据本专利技术的一种基于深度学习和光流法的心脏冠状动脉影像分割识别方法的流程图。图2为根据本专利技术的一种基于深度学习和光流法的心脏冠状动脉影像分割识别方法的激活函数的图像。具体实施方式为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。实施例一参照图1，图1示出了一种基于深度学习和光流法的心脏冠状动脉影像分割识别方法实施例一流程图，包括步骤S110至步骤S120：步骤S110、选取分段心脏造影Dicom视频中任意连续两帧图片作为训练样本，将训练样本输入神经网络中；神经网络基于所述训练样本，计算连续两帧图片之间的光流信息作为两帧之间的映射，同时将光流信息输入神经网络中。步骤S120、神经网络通过深度学习的方法对前一帧图片及光流信息得到的第三特征图及当前帧图片得到的第四特征图组合得到的第五特征图输入金字塔模块中，金字塔模块基于第五特征图应用金字塔融合的方法得到不同尺度的心脏血管特征图；反卷积层通过双线性插值的方法将不同尺度的心脏血管特征图沿着一个维度合并到一起，得到心脏冠状动脉影像分割识别血管图。分段心脏造影Dicom视频的获取方法包括：接收医疗综合数据库中存储的与病变种类信息对应的整段心脏造影Dicom视频；基于病变种类信息，使用SSN(StructuredSegmentNetwork，结构分割网络)协同分析整段心脏造影Dicom视频中出现的关键特征信息；基于关键特征信息并结合体位信息，对整段Dicom视频进行分段，并迭代该步骤，直到最终找到满足设定的分段视频。即从dico本文档来自技高网...

【技术保护点】
1.一种基于深度学习和光流法的心脏冠状动脉影像分割识别方法，其特征在于，包括：选取分段心脏造影Dicom视频中任意连续两帧图片作为训练样本，将训练样本输入神经网络中；神经网络基于所述训练样本，计算连续两帧图片之间的光流信息作为两帧之间的映射，同时将光流信息输入神经网络中；神经网络通过深度学习的方法对前一帧图片及光流信息得到的第三特征图及当前帧图片得到的第四特征图组合得到的第五特征图输入金字塔模块中，金字塔模块基于第五特征图应用金字塔融合的方法得到不同尺度的心脏血管特征图；反卷积层通过双线性插值的方法将不同尺度的心脏血管特征图沿着一个维度合并到一起，得到心脏冠状动脉影像分割识别血管图。

【技术特征摘要】
1.一种基于深度学习和光流法的心脏冠状动脉影像分割识别方法，其特征在于，包括：选取分段心脏造影Dicom视频中任意连续两帧图片作为训练样本，将训练样本输入神经网络中；神经网络基于所述训练样本，计算连续两帧图片之间的光流信息作为两帧之间的映射，同时将光流信息输入神经网络中；神经网络通过深度学习的方法对前一帧图片及光流信息得到的第三特征图及当前帧图片得到的第四特征图组合得到的第五特征图输入金字塔模块中，金字塔模块基于第五特征图应用金字塔融合的方法得到不同尺度的心脏血管特征图；反卷积层通过双线性插值的方法将不同尺度的心脏血管特征图沿着一个维度合并到一起，得到心脏冠状动脉影像分割识别血管图。2.如权利要求1所述的方法，其特征在于，所述分段心脏造影Dicom视频的获取方法包括：接收医疗综合数据库中存储的与病变种类信息对应的整段心脏造影Dicom视频；基于病变种类信息，使用结构分割网络协同分析整段心脏造影Dicom视频中出现的关键特征信息。基于关键特征信息并结合体位信息，对整段Dicom视频进行分段，并迭代该步骤，直到最终找到满足设定的分段视频。3.如权利要求1或2所述的方法，其特征在于，所述卷积神经网络模块由多层相同单元多次堆叠而成，同时读取预训练模型参数；所述单元从上到下依次为卷积层、批规范化层、快捷连接层、激活函数层。4.如权利要求1所述的方法，其特征在于，所述神经网络通过深度学习的方法对前一帧图片及光流信息得到的第三特征图的步骤包括：将两帧图片中的前一帧图片取出输入卷积模块，运行模型计算图，取出计算过程中最后一个卷积层输出的第一特征图；...

【专利技术属性】
技术研发人员：张洪刚，梁枭，王筱斐，陈东浩，叶丹，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京,11