管状结构的图像分割分类装置、方法及记录介质制造方法及图纸

本发明专利技术提供管状结构的图像分割分类装置和方法，利用神经网络对管状结构的图像进行分割及分类，管状结构的图像分割分类装置具备：输入单元，输入管状结构的图像；图像对生成单元，根据输入的所述图像，生成由包含所述管状结构的局部特征的局部图像和对应的包含所述管状结构的全局特征的全局图像构成的图像对；以及分割分类单元，通过所述神经网络对所述图像对进行分割及分类。像对进行分割及分类。像对进行分割及分类。

【技术实现步骤摘要】
管状结构的图像分割分类装置、方法及记录介质


[0001]本专利技术涉及管状结构的图像分割分类装置、方法及记录介质。尤其涉及利用神经网络对管状结构的图像进行分割及分类的装置、方法及记录介质。

技术介绍

[0002]人体器官或组织结构中包含管状形状的器官或者组织结构，例如血管、气管等。本说明书中将这些管状形状的器官或者组织结构统称为管状结构。通过分割(segmentation)和分类(classification)对血管等管状结构进行提取和分离是疾病诊断、评估和治疗决策的重要一环。
[0003]现有技术中，诸如黑塞矩阵(Hessian Matrix)、图割(graph cut)、血管结构的匹配等传统方法被用于管状结构的提取和分离。另外，也提出了将深度学习方法和传统方法相结合通过各自独立的步骤来执行管状结构的提取和分离。
[0004]现有技术中提出了一些基于深度学习的血管的分割方法。例如专利文献1(CN111091573A)公开了一种基于深度学习的CT影像肺血管的分割方法及系统。其包括血管分割步骤和血管动脉静脉区分步骤，并且通过将利用血管动静脉区分得到的动静脉概率图和血管初步分割结果相结合，能够分割肺内小血管和肺外大血管，并且将动脉静脉区分开来。
[0005]现有技术中还提出了一些针对人体中的其他构造物的多阶段提取的技术。例如专利文献2(日本特开2020
‑
068797)公开了一种从由医用摄像装置取得的图像数据中，以较少的运算量高速地提取目标截面的图像的技术。专利文献2中公开了对尺寸不同的多个截面图像进行与学习模型的输入图像尺寸相匹配的图像尺寸的变换，通过学习模型进行截面图像的构造物的多阶段提取。具体而言，专利文献2以人体腹部中的胎儿为例，在目标截面中作为构造物而包含第1构造物和位于第1构造物内部的第2构造物的情况下，在学习数据的学习用目标断面图像中包含第1构造物和第2构造物的图像。在这种情况下，用于学习的关注区域截面图像可以使用通过切出目标截面图像的包括第一构造物的一部分区域而放大的图像。通过将学习模型应用于从图像数据获得的截面图像，当检测到第一构造物时，可以从截面图像中提取包括第一构造物的区域而生成图像，将学习模型应用于切出的图像，检测第二构造物。

技术实现思路

[0006]现有技术中的问题
[0007]现有技术中针对血管等管状结构的提取和分离方法无法获得最佳的管状结构的提取性能，特别是在将深度学习与传统的后处理方法结合的方法中，由于现有技术是通过分开的步骤分别进行深度学习处理和后处理，因此需要基于很多假定来调整参数，有时可能会出现血管等管状结构分离和提取的失败。
[0008]用于解决技术问题的手段
[0009]本专利技术为解决上述现有技术的问题而做出。本专利技术提出了一种管状结构的图像分割分类方法及装置，将包含管状结构的图像的局部特征和全局特征结合，以便同时进行管状结构的分割和分类，在不需要传统的后处理的情况下完成管状结构的精细提取和分离。
[0010]本专利技术首先在预处理中生成反映局部特征和全局特征的图像对，随后执行基于结合了局部特征和全局特征这两者的深度学习方法的管状结构的分割和分类，由此不需要后处理即可从医学图像中提取并分离出管状结构。
[0011]具体来说，根据本专利技术的一个方面，提供了一种管状结构的图像分割分类装置，利用神经网络对管状结构的图像进行分割及分类，其特征在于，具备：输入单元，输入管状结构的图像；图像对生成单元，根据输入的所述图像，生成由包含所述管状结构的局部特征的局部图像和对应的包含所述管状结构的全局特征的全局图像构成的图像对；以及分割分类单元，通过所述神经网络对所述图像对进行分割及分类。
[0012]本专利技术执行基于结合了局部特征和全局特征这两者的深度学习方法的管状结构的分割和分类，不需要参数的调整，无需后处理，即能够以可靠的深度学习方法适用于多个脚本。根据本专利技术，可以对例如血管等长的管状结构进行分割并能够高精度地进行例如动脉和静脉等的分类。
附图说明
[0013]图1是表示有关第1实施方式的管状结构分割分类装置的结构的一例的框图。
[0014]图2是用于说明有关第1实施方式的管状结构分割分类装置执行的处理的特征的对比图。
[0015]图3是表示有关第1实施方式的管状结构分割分类装置执行的血管分割分类处理的一例的流程图。
[0016]图4是表示有关第1实施方式的管状结构分割分类装置的网络构造及所执行的各处理的步骤之间的关系的示意图。
[0017]图5是表示有关第1实施方式的管状结构分割分类装置执行的步骤S200的处理的过程的示意图。
[0018]图6是表示有关第1实施方式的管状结构分割分类装置执行的步骤S301的处理的过程的示意图。
[0019]图7是表示有关第1实施方式的管状结构分割分类装置执行的步骤S302的处理的过程的示意图。
[0020]图8是表示有关第1实施方式的管状结构分割分类装置执行的步骤S303的处理的过程的示意图。
[0021]图9是表示有关第2实施方式的管状结构分割分类装置执行的血管分类处理的一例的示意图。
具体实施方式
[0022]以下，参照附图详细地说明有关本申请的管状结构分割分类装置、方法及存储介质的实施方式。另外，有关本申请的管状结构分割分类装置、方法及存储介质不由以下所示的实施方式限定。此外，在以下的说明中，对于同样的构成要素赋予共同的标号并省略重复
的说明。
[0023](第1实施方式)
[0024]首先，对第1实施方式的管状结构分割分类装置进行说明。本申请的管状结构分割分类装置可以以超声波诊断装置、MRI成像装置等医用图像诊断装置的形式存在，也可以以工作站等形式独立存在。
[0025]图1是表示有关第1实施方式的管状结构分割分类装置1的结构的一例的框图。有关本实施方式的管状结构分割分类装置1利用神经网络对管状结构的图像进行分割及分类，如图1所示，管状结构分割分类装置1主要具有输入单元10、图像对生成单元20和分割分类单元30，输入单元10用于输入管状结构的图像。图像对生成单元20用于根据输入的图像，生成由包含管状结构的局部特征的局部图像和对应的包含管状结构的全局特征的全局图像构成的图像对。分割分类单元30通过神经网络针对图像对进行分割及分类，生成管状结构的分割图像。
[0026]管状结构分割分类装置1可以例如装备在超声波诊断装置等管状结构分割分类装置中。这时，管状结构分割分类装置1还具备省略了图示的控制部、超声波探头、显示器、输入输出接口和装置主体等，输入单元10、图像对生成单元20和分割分类单元30装备在控制部中，与这些超声波探头、显示器、输入输出接口与装置主体等可通信地连接。由于控制部、超声波探头、显示器、输入输出接口与装置主体的结构和功能等已为本领域技术人员熟知，因此省略其详细说明。
[0027]下面对有关本实施方式的管状结构分割分类装置1执行的处理进行详细本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种管状结构的图像分割分类装置，利用神经网络对管状结构的图像进行分割及分类，其特征在于，具备：输入单元，输入管状结构的图像；图像对生成单元，根据输入的所述图像，生成由包含所述管状结构的局部特征的局部图像和对应的包含所述管状结构的全局特征的全局图像构成的图像对；以及分割分类单元，通过所述神经网络对所述图像对进行分割及分类。2.如权利要求1所述的管状结构的图像分割分类装置，其特征在于，所述分割分类单元利用分别反映了所述局部特征和所述全局特征的分割及分类的结果，生成所述管状结构的分类图像。3.如权利要求2所述的管状结构的图像分割分类装置，其特征在于，所述分割分类单元通过深度学习网络对所述局部图像进行分割而获得局部掩模图像，通过深度学习网络对所述全局图像进行分类而获得全局分类图像，并基于所述局部掩模图像和所述全局分类图像生成所述管状结构的所述分类图像。4.如权利要求3所述的管状结构的图像分割分类装置，其特征在于，所述分割分类单元执行如下处理：通过第一深度学习网络对所述局部图像进行分割，获得所述管状结构的所述局部掩模图像；通过所述第一深度学习网络对所述全局图像进行分割，获得所述管状结构的全局掩模图像；基于所述全局图像、所述全局掩模图像，通过第二深度学习网络生成所述管状结构的所述全局分类图像；从所述全局分类图像中提取与所述局部图像对应的部分作为局部分类图像；以及利用所述局部图像、所述局部掩模图像、所述局部分类图像，通过第三深度学习网络生成所述管状结构的所述分类图像。5.如权利要求4所述的管状结构的图像分割分类装置，其特征在于，所述图像对生成单元执行如下处理：从预处理后的所述图像中，提取包含所述管状结构的根部以外的局部结构的图像作为所述局部图像；从预处理后的所述图像中，提取至少包含所述局部图像和所述管状结构的根部的图像作为预备全局图像；以及对所述预备全局图像进...

【专利技术属性】
技术研发人员：王扶月，王艳华，肖其林，
申请(专利权)人：佳能医疗系统株式会社，
类型：发明
国别省市：