基于机器视觉的术中搭桥脑血管内血液流动性评估系统技术方案

本申请涉及颅内外血管搭桥的领域，其具体地公开了一种基于机器视觉的术中搭桥脑血管内血液流动性评估系统，其通过基于术中红外热成像数据与术前脑灌注影像进行实时配准显示，也就是，以深度神经网络模型来作为图像帧的特征提取器，分别挖掘出所述术中红外热成像数据与所述术前脑灌注影像中关于脑血管的空间位置分布特征信息以及各个所述图像帧中聚焦于血液流动的动态性变化特征信息，进而以通过仿射配准和弹性配准，将术前与术中图像叠加融合进行显示，以对于搭桥术中整个脑组织血管内的血流变化进行实时动态地监测，进而对于搭桥血管内血液流动的通畅性进行准确地判断。这样，能够提高手术精确安全性，切实保障人民群众身体健康。体健康。体健康。

【技术实现步骤摘要】
基于机器视觉的术中搭桥脑血管内血液流动性评估系统


[0001]本专利技术涉及颅内外血管搭桥的领域，且更为具体地，涉及一种基于机器视觉的术中搭桥脑血管内血液流动性评估系统。

技术介绍

[0002]颅内外血管搭桥术被广泛地应用于烟雾病、复杂颅内动脉瘤等颅脑疾病的治疗。近年来，随着生活环境的改变和影像技术的发展，相关疾病的检出率逐年升高，接受治疗的病例不断增加。目前，仅在宁波第一医院每年完成的烟雾病及颅内动脉瘤搭桥手术已近百例。
[0003]颅内外血管搭桥手术是治疗脑血管病，尤其是缺血性烟雾病或复杂动脉瘤的主要手段，正确判断吻合血管的通畅程度是保证手术成功的关键。现有观察血管通畅程度的主要方法为荧光造影技术，然而荧光显影剂(如吲哚菁绿)存在过敏风险。另外由于代谢原因，整个手术过程中重复使用荧光造影的时间间隔必须要大于15分钟以上，但由于依然会受到残留造影剂的影响，其观察的图像质量会明显下降。此外，上述手段只能观测血液的流速和流向，并不能判断脑功能代谢的变化。
[0004]红外技术被广泛地运用于康复医疗与显微外科术中，也曾被用于神经外科搭桥手术中脑温的检测。血流动力学为临床诊断提供可靠的依据，但直接在病例身上开展血流动力学研究受到诸多限制。而利用动物实验操作难度较大、成本高。基于微流控技术可构建具有复杂三维结构的微通道网络，通过流体入口边界条件的定量控制，精确地模拟出血流关键特征。国内外如浙江大学贺永、赫姆霍兹联合会分子医学中心的Holger Gerhardtg等基于微流控技术开展丰富的血流动力学研究。而国内科研单位等亦申请了一系列基于微流控芯片的血管化组织结构的应用专利。但是由于脑部血管网络分布复杂多变，缺乏针对特定网络进行图像处理的神经网络算法，导致术中所获取的血流分布及代谢改变图像质量难以令人满意。
[0005]因此，期待一种基于机器视觉的术中搭桥脑血管内血液流动性评估系统，其能够对于术中搭桥脑的整个脑组织血管的血流变化进行监测，以对于术中搭桥脑血管内血液流动性和血管通畅性进行准确地评估，进而提高手术精确安全性，切实保障人民群众身体健康。

技术实现思路

[0006]为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于机器视觉的术中搭桥脑血管内血液流动性评估系统，其通过基于术中红外热成像数据与术前脑灌注影像进行实时配准显示，也就是，以深度神经网络模型来作为图像帧的特征提取器，分别挖掘出所述术中红外热成像数据与所述术前脑灌注影像中关于脑血管的空间位置分布特征信息以及各个所述图像帧中聚焦于血液流动的动态性变化特征信息，进而以通过仿射配准和弹性配准，将术前与术中图像叠加融合进行显示，以实时动态地显示术中脑血管搭桥
手术的大脑皮层血流量分布、评估大脑皮层血流量是否达到预期。这样，能够对于整个脑组织血管内的血流变化进行实时监测，进而对于搭桥血管内血液流动的通畅性进行准确地判断，以提高手术精确安全性，切实保障人民群众身体健康。
[0007]根据本申请的一个方面，提供了一种基于机器视觉的术中搭桥脑血管内血液流动性评估系统，其包括：
[0008]数据采集模块，用于获取术前脑灌注影像以及术中红外热监控视频；
[0009]采样模块，用于从所述术中红外热监控视频提取多个图像关键帧；
[0010]降噪模块，用于将所述多个图像关键帧分别通过基于自动编码器的图像降噪器以得到多个降噪后图像关键帧；
[0011]脑血管图像特征提取模块，用于将所述多个降噪后图像关键帧中各个降噪后图像关键帧分别通过使用空间注意力机制的第一卷积神经网络模型以得到多个脑血管特征图；
[0012]语义分割模块，用于分别对所述多个脑血管特征图进行图像语义分割以得到多个脑血管分割图；
[0013]脑灌注影像特征提取模块，用于将所述术前脑灌注影像通过作为特征提取器的第二卷积神经网络模型以得到术前脑灌注特征图；
[0014]配准融合模块，用于基于坐标空间变换分别将所述多个脑血管分割图中各个脑血管分割图与所述术前脑灌注特征图进行融合以得到多个配准融合特征图；
[0015]动态特征提取模块，用于将所述多个配准融合特征图通过使用时间注意力机制的第三卷积神经网络模型以得到跟踪特征图；以及
[0016]评估结果生成模块，用于将所述跟踪特征图通过分类器以得到分类结果，所述分类结果用于表示术中搭桥脑血管内血液流动性是否满足预定要求。
[0017]在上述基于机器视觉的术中搭桥脑血管内血液流动性评估系统中，所述采样模块，包括：第一关键帧设定单元，用于设定所述术中红外热监控视频中的初始图像帧为第一图像关键帧；差分单元，用于计算所述术中红外热监控视频中沿时间维度的其他图像帧与所述第一图像关键帧之间的按位置像素差值以得到差分图像帧；统计特征值计算单元，用于计算所述差分图像帧中所有位置的像素差值的统计特征值；以及，结果确定单元，用于基于所述统计特征值与预定阈值之间的比较，确定所述差分图像帧对应的其他图像帧是否为图像关键帧。
[0018]在上述基于机器视觉的术中搭桥脑血管内血液流动性评估系统中，所述统计特征值计算单元，进一步用于：计算所述差分图像帧中所有位置的像素差值的均值和标准差作为所述统计特征值。
[0019]在上述基于机器视觉的术中搭桥脑血管内血液流动性评估系统中，所述结果确定单元，进一步用于：计算所述标准差与所述均值的加权和以得到差异特征值；以及，响应于所述差异特征值大于或等于所述预定阈值，确定所述差分图像帧对应的其他图像帧为所述图像关键帧。
[0020]在上述基于机器视觉的术中搭桥脑血管内血液流动性评估系统中，所述降噪模块，进一步用于：所述基于自动编码器的图像降噪器使用深度可分离卷积神经网络在其卷积操作中不同层的滤波器分别在两个空间维度和通道维度上进行卷积以基于三维块匹配和过滤对所述多个图像关键帧进行降噪，以得到多个降噪后图像关键帧。
[0021]在上述基于机器视觉的术中搭桥脑血管内血液流动性评估系统中，所述脑血管图像特征提取模块，进一步用于：所述第一卷积神经网络模型的各层在层的正向传递中对输入数据进行：对所述输入数据进行基于二维卷积核的卷积处理以生成卷积特征图；对所述卷积特征图进行池化处理以生成池化特征图；对所述池化特征图进行激活处理以生成激活特征图；对所述激活特征图进行沿通道维度的全局平均池化以获得空间特征矩阵；对所述空间特征矩阵进行卷积处理和激活处理以生成权重向量；以及，以所述权重向量中各个位置的权重值分别对所述激活特征图的各个特征矩阵进行加权以获得生成特征图；其中，所述第一卷积神经网络模型的最后一层输出的所述生成特征图为所述多个脑血管特征图。
[0022]在上述基于机器视觉的术中搭桥脑血管内血液流动性评估系统中，所述脑灌注影像特征提取模块，进一步用于：所述作为特征提取器的第二卷积神经网络模型的各层在层的正向传递中对输入数据进行卷积处理、池化处理和激活处理以由所述作为特征提取器的第二卷积神经网络模型的最后一层生成所述术前脑灌注特征图，其中，所述作为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于机器视觉的术中搭桥脑血管内血液流动性评估系统，其特征在于，包括：数据采集模块，用于获取术前脑灌注影像以及术中红外热监控视频；采样模块，用于从所述术中红外热监控视频提取多个图像关键帧；降噪模块，用于将所述多个图像关键帧分别通过基于自动编码器的图像降噪器以得到多个降噪后图像关键帧；脑血管图像特征提取模块，用于将所述多个降噪后图像关键帧中各个降噪后图像关键帧分别通过使用空间注意力机制的第一卷积神经网络模型以得到多个脑血管特征图；语义分割模块，用于分别对所述多个脑血管特征图进行图像语义分割以得到多个脑血管分割图；脑灌注影像特征提取模块，用于将所述术前脑灌注影像通过作为特征提取器的第二卷积神经网络模型以得到术前脑灌注特征图；配准融合模块，用于基于坐标空间变换分别将所述多个脑血管分割图中各个脑血管分割图与所述术前脑灌注特征图进行融合以得到多个配准融合特征图；动态特征提取模块，用于将所述多个配准融合特征图通过使用时间注意力机制的第三卷积神经网络模型以得到跟踪特征图；以及评估结果生成模块，用于将所述跟踪特征图通过分类器以得到分类结果，所述分类结果用于表示术中搭桥脑血管内血液流动性是否满足预定要求。2.根据权利要求1所述的基于机器视觉的术中搭桥脑血管内血液流动性评估系统，其特征在于，所述采样模块，包括：第一关键帧设定单元，用于设定所述术中红外热监控视频中的初始图像帧为第一图像关键帧；差分单元，用于计算所述术中红外热监控视频中沿时间维度的其他图像帧与所述第一图像关键帧之间的按位置像素差值以得到差分图像帧；统计特征值计算单元，用于计算所述差分图像帧中所有位置的像素差值的统计特征值；以及结果确定单元，用于基于所述统计特征值与预定阈值之间的比较，确定所述差分图像帧对应的其他图像帧是否为图像关键帧。3.根据权利要求2所述的基于机器视觉的术中搭桥脑血管内血液流动性评估系统，其特征在于，所述统计特征值计算单元，进一步用于：计算所述差分图像帧中所有位置的像素差值的均值和标准差作为所述统计特征值。4.根据权利要求3所述的基于机器视觉的术中搭桥脑血管内血液流动性评估系统，其特征在于，所述结果确定单元，进一步用于：计算所述标准差与所述均值的加权和以得到差异特征值；以及，响应于所述差异特征值大于或等于所述预定阈值，确定所述差分图像帧对应的其他图像帧为所述图像关键帧。5.根据权利要求1所述的基于机器视觉的术中搭桥脑血管内血液流动性评估系统，其特征在于，所述降噪模块，进一步用于：所述基于自动编码器的图像降噪器使用深度可分离卷积神经网络在其卷积操作中不同层的滤波器分别在两个空间维度和通道维度上进行卷积以基于三维块匹配和过滤对所述多个图像关键帧进行降噪，以得到多个降噪后图像关键帧。
6.根据权利要求1所述的基于机器视觉的术中搭桥脑血管内血液流动性评估系统，其特征在于，所述脑血管图像特征提取模块，进一步用于：所述第一卷积神经网络模型的各层在层的正向传递中对输入数据进行：对所述输入数据进行基于二维卷积核的卷积处理以生成卷积特征图；对所述卷积特征图进行池化处理以生成池化特征图；对所述池化特征图进行激活处理以生成激活特征图；对所述激活特征图进行沿通道维度的全局平均池化以获得空间特征矩阵；对所述空间特征矩阵进行卷积处理和激活处理以生成权重向量；以及以所述权重向量中各个位置的权重值分别对所述激活特征图的各个特征矩阵进行加权以获得生成特征图；其中，所述第一卷积神经网络模型的最后一层输出的所述生成特征图为所述多个脑血管特征图。7.根据权利要求1所述的基于机器视觉的术中搭桥脑血管内血液流动性评估系统，其特征在于，所述脑灌注影像特征提取模块，进一步用于：所述作为特征提取器的第二卷积神经网络模型的各层在层的正向传递中对输入数据进行卷积处理、池化处理和激活处理以由所述作为特征提取器的第二卷积神经网络模型的最后一层生成所述术前脑灌注特征图，其中，所述作为特征提取器的第二卷积神经网络模型的第一层的输入为所述术前脑灌注影像。8.根据权利要求1所述的基于机器视觉的术中搭桥脑血管内血液流动性评估系统，其特征在于，所述动态特征提取模块，包括：相邻帧提取单元，用于从所述多个配准融合特征图提取相邻的第一帧配准融合特征图和第二帧配准融合特征图；第一图像局部特征提取单元，用于将所述第一帧配准融合特征图和所述第二帧配准融合特征图分别通过所述第三卷积神经网络模型的第一卷积层和第二卷积层以得到对应于所述第一帧的第一帧特征图和对应于所述第二帧的第二帧特征图；时间注意力单元，用于将所述第一帧特征图与所述第二帧特征图进行按位置点乘后通过Softmax激活函数以得到时间注意力图；第二图像局部特征提取单元，用于将所述第一帧通过所述第三卷积神经网络模型的第三卷积层以得到局部特征图；时间注意力施加单元，用于将所述局部特征...

【专利技术属性】
技术研发人员：林静辉，高翔，
申请(专利权)人：宁波市第一医院，
类型：发明
国别省市：