可视化的支架递送系统技术方案

公开了一种可视化的支架递送系统，其基于可视化方案和机器视觉分析来判断被递送支架与被递送区域之间的相对位置关系是否符合预定要求。具体地，将包含被递送支架和被递送区域的检测图像通过目标检测网络识别提取包含被递送支架和被递送区域信息的感兴趣区域，并使用作为过滤器的卷积神经网络模型来提取所述支架和所述递送区域特征之间不同的特征表达信息，再将两者进行关联编码后通过分类器进行分类处理。这样，构建一种可视化的支架递送系统，提高了所述支架递送系统的智能性和可操作性。作性。作性。

【技术实现步骤摘要】
可视化的支架递送系统


[0001]本专利技术涉及智慧医疗领域，且更为具体的涉及一种可视化的支架递送系统。

技术介绍

[0002]介入治疗表示在不开刀暴露病灶的情况下，在血管、皮肤上作直径几毫米的微小通道，或经人体原有的通道，在影像设备的引导下对病灶局部进行治疗。
[0003]目前已研发出各种各样的体内医疗装置用于医疗用途，例如，消化道支架，其是一种由金属记忆合金制作的可以扩张消化道的金属网状物，胃肠道支架主要作用是当胃肠道有阻塞时，应用支架扩开阻塞的管道，让病人恢复饮食。比较常用的胃肠道支架有食道支架，贲门支架，肠道支架等。如何将支架递送至患者体腔内的感兴趣区域以使得该医疗支架能够发挥预定功效，是重要的技术问题。
[0004]针对上述技术问题，中国专利CN 113645927A揭露了一种支架递送系统，其能够将支架、移植物、内假体等递送到患者体腔内的感兴趣区域。在上述支架递送系统的工作中，虽然其能够将诸如支架之类的待递送物传递至预定感兴趣区域，但是具体是否被递送至预定感兴趣区域还需要专业的医生来进行判断，如果专业医生存在判断疏忽或者没有专业医生在场，都会限制其应用或者产生偏差。
[0005]因此，期待一种优化的支架递送系统。

技术实现思路

[0006]为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种可视化的支架递送系统，其基于可视化方案和机器视觉分析来判断被递送支架与被递送区域之间的相对位置关系是否符合预定要求。具体地，将包含被递送支架和被递送区域的检测图像通过目标检测网络识别提取包含被递送支架和被递送区域信息的感兴趣区域，并使用作为过滤器的卷积神经网络模型来提取所述支架和所述递送区域特征之间不同的特征表达信息，再将两者进行关联编码后通过分类器进行分类处理。这样，构建一种可视化的支架递送系统，提高了所述支架递送系统的智能性和可操作性。
[0007]根据本申请的一个方面，提供了一种可视化的支架递送系统，其包括：可视模块，用于获取由摄像头采集的包含被递送支架和被递送区域的检测图像；图像增强模块，用于将所述检测图像通过基于对抗生成网络的高清图像生成器以得到增强检测图像；感兴趣区域识别模块，用于将所述增强检测图像分别通过递送区域目标检测网络和支架目标检测网络以得到第一感兴趣区域和第二感兴趣区域；感兴趣区域特征提取模块，用于将所述第一感兴趣区域和所述第二感兴趣区域分别通过作为过滤器的卷积神经网络模型以得到支架图像特征向量和递送区域图像特征向量；关联编码模块，用于对所述支架图像特征向量和所述递送区域图像特征向量进行
关联编码以得到关联特征矩阵；优化模块，用于对所述关联特征矩阵进行基于片段式富化融合的优化以得到分类特征矩阵；以及递送结果生成模块，用于将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示被递送支架是否被递送至预定感兴趣区域。
[0008]在上述可视化的支架递送系统中，所述对抗生成网络包括生成器和鉴别器；所述图像增强模块，进一步用于将所述检测图像输入所述基于对抗生成网络的高清图像生成器以由所述高清图像生成器的生成器通过反卷积编码输出所述增强检测图像。
[0009]在上述可视化的支架递送系统中，所述递送区域目标检测网络和所述支架目标检测网络为基于锚窗的目标检测网络，所述基于锚窗的目标检测网络为Fast R
‑
CNN、Faster R
‑
CNN或RetinaNet。
[0010]在上述可视化的支架递送系统中，所述感兴趣区域特征提取模块，进一步用于：使用所述卷积神经网络模型的各层在层的正向传递中分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述卷积神经网络模型的最后一层的输出为所述支架图像特征向量或递送区域图像特征向量，所述卷积神经网络模型的第一层的输入为所述第一感兴趣区域或所述第二感兴趣区域。
[0011]在上述可视化的支架递送系统中，所述关联编码模块，进一步用于：以如下公式对所述支架图像特征向量和所述递送区域图像特征向量进行关联编码以得到关联特征矩阵；其中，所述公式为：其中表示所述支架图像特征向量，表示所述递送区域图像特征向量，表示所述递送区域图像特征向量的转置向量表示所述关联特征矩阵，表示矩阵相乘。
[0012]在上述可视化的支架递送系统中，所述优化模块，包括：片段式富化融合单元，用于对所述支架图像特征向量和所述递送区域图像特征向量进行局部序列语义的片段式富化融合以获得关联特征向量；向量相乘单元，用于将所述关联特征向量与所述关联特征向量的转置向量进行相乘以得到优化关联特征矩阵；以及，矩阵相乘单元，用于融合所述优化关联特征矩阵和所述关联特征矩阵以得到所述分类特征矩阵。
[0013]在上述可视化的支架递送系统中，所述片段式富化融合单元，进一步用于：以如下公式对所述支架图像特征向量和所述递送区域图像特征向量进行局部序列语义的片段式富化融合以获得所述关联特征向量；其中，所述公式为：其中，表示所述支架图像特征向量，表示所述递送区域图像特征向量，表示所述递送区域图像特征向量的转置向量，为特征向量和特征向量之间的距离矩阵，和均为列向量，是权重超参数，是所述关联特征向量。
[0014]在上述可视化的支架递送系统中，所述递送结果生成模块，包括：展开单元，用于
将所述分类特征矩阵按照行向量或者列向量展开为分类特征向量；全连接编码单元，用于使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，分类结果生成单元，用于将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。
[0015]根据本申请的另一方面，还提供了一种可视化的支架递送方法，其包括：获取由摄像头采集的包含被递送支架和被递送区域的检测图像；将所述检测图像通过基于对抗生成网络的高清图像生成器以得到增强检测图像；将所述增强检测图像分别通过递送区域目标检测网络和支架目标检测网络以得到第一感兴趣区域和第二感兴趣区域；将所述第一感兴趣区域和所述第二感兴趣区域分别通过作为过滤器的卷积神经网络模型以得到支架图像特征向量和递送区域图像特征向量；对所述支架图像特征向量和所述递送区域图像特征向量进行关联编码以得到关联特征矩阵；对所述关联特征矩阵进行基于片段式富化融合的优化以得到分类特征矩阵；以及将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示被递送支架是否被递送至预定感兴趣区域。
[0016]在上述可视化的支架递送方法中，所述对抗生成网络包括生成器和鉴别器；所述将所述检测图像通过基于对抗生成网络的高清图像生成器以得到增强检测图像，包括：将所述检测图像输入所述基于对抗生成网络的高清图像生成器以由所述高清图像生成器的生成器通过反卷积编码输出所述增强检测图像。
[0017]在上述可视化的支架递送方法中，所述递送区域目标检测网络和所述支架目标检测网本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种可视化的支架递送系统，其特征在于，包括：可视模块，用于获取由摄像头采集的包含被递送支架和被递送区域的检测图像；图像增强模块，用于将所述检测图像通过基于对抗生成网络的高清图像生成器以得到增强检测图像；感兴趣区域识别模块，用于将所述增强检测图像分别通过递送区域目标检测网络和支架目标检测网络以得到第一感兴趣区域和第二感兴趣区域；感兴趣区域特征提取模块，用于将所述第一感兴趣区域和所述第二感兴趣区域分别通过作为过滤器的卷积神经网络模型以得到支架图像特征向量和递送区域图像特征向量；关联编码模块，用于对所述支架图像特征向量和所述递送区域图像特征向量进行关联编码以得到关联特征矩阵；优化模块，用于对所述关联特征矩阵进行基于片段式富化融合的优化以得到分类特征矩阵；以及递送结果生成模块，用于将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示被递送支架是否被递送至预定感兴趣区域。2.根据权利要求1所述的可视化的支架递送系统，其特征在于，所述对抗生成网络包括生成器和鉴别器；所述图像增强模块，进一步用于将所述检测图像输入所述基于对抗生成网络的高清图像生成器以由所述高清图像生成器的生成器通过反卷积编码输出所述增强检测图像。3.根据权利要求2所述的可视化的支架递送系统，其特征在于，所述递送区域目标检测网络和所述支架目标检测网络为基于锚窗的目标检测网络，所述基于锚窗的目标检测网络为Fast R
‑
CNN、Faster R
‑
CNN或RetinaNet。4.根据权利要求3所述的可视化的支架递送系统，其特征在于，所述感兴趣区域特征提取模块，进一步用于：使用所述卷积神经网络模型的各层在层的正向传递中分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图；以及对所述池化特征图进行非线性激活以得到激活特征图；其中，所述卷积神经网络模型的最...

【专利技术属性】
技术研发人员：朱彤，左玉星，李文宇，
申请(专利权)人：杭州糖吉医疗科技有限公司，
类型：发明
国别省市：