一种基于组织切片免疫组化图像的三维重建方法、系统技术方案

本公开实施例涉及医学图像处理技术领域，涉及一种基于组织切片免疫组化图像的三维重建方法、系统。本公开实施例方法包括步骤S01，获取组织切片免疫组化的原始图像序列并进行预处理，以获得二维图像序列；步骤S02，利用图像分割模型对所述二维图像序列进行分割，以预测出移植物、肌肉组织和背景所在区域；步骤S03，利用残差网络对经步骤S02处理后的二维图像序列进行图像配准；步骤S04，对配准后的图像进行三维重建。本公开实施例系统基于上述方法实现。本公开实施例具有更为准确的分割算法和配准网络，使三维重建结果边缘更加平滑，移植物和肌肉组织被有效区分。物和肌肉组织被有效区分。物和肌肉组织被有效区分。

【技术实现步骤摘要】
一种基于组织切片免疫组化图像的三维重建方法、系统


[0001]本公开的实施例涉及医学图像处理
，尤其涉及一种基于组织切片免疫组化图像的三维重建方法、系统。

技术介绍

[0002]随着计算视觉技术的快速发展，三维重建(3D Reconstruction,简称3DR)成为了医学图像处理领域中一个重要研究方向，三维重建技术是通过深度数据获取、预处理、点云配准与融合、生成表面等过程，把真实场景刻画成符合计算机逻辑表达的数学模型。这种模型可以对如文物保护、游戏开发、建筑设计、临床医学等研究起到辅助的作用。三维重建的核心思想是从二维图像恢复三维结构。
[0003]传统的图像序列的三维重建指利用断层扫描(CT)、核磁共振(MRI)等技术获得的数据，通过软件算法实现三维立体效果可在电脑上显示出人体组织结构和器官分布，但是对于免疫组化图像序列的三维重建，目前在该方面的研究很少，虽然临床医学中的图像三维重建也需要经过图像预处理、分割、配准以及三维重建等方式实现，但分割方法、配准技术都各不相同。第一方面，因为利用断层扫描(CT)、核磁共振(MRI)等技术获得的数据图像中的目标与背景有明显的区分，为此可利用传统分割方法进行分割；而免疫组化图像中移植物分布在肌肉组织的内部，并且与背景颜色很接近，传统方法不易将其移植物、肌肉组织以及背景分割出来。第二方面，免疫组化切片序列间由于内外部因素的影响导致切片发生位移，传统配准方法的配准效果并不理想，存在图像发生特别大的形变，而没有一定的容忍度。

技术实现思路

[0004]本公开的实施例提供了一种基于组织切片免疫组化图像的三维重建方法、系统，旨在解决上述问题以及其他潜在的问题中的一个或多个。
[0005]为实现上述目的，提供以下技术方案：
[0006]根据本公开的第一方面，提供了一种基于组织切片免疫组化图像的三维重建方法，包括：
[0007]步骤S01，获取组织切片免疫组化的原始图像序列并进行预处理，以获得二维图像序列；
[0008]步骤S02，利用图像分割模型对所述二维图像序列进行分割，以预测出移植物、肌肉组织和背景所在区域；
[0009]步骤S03，利用残差网络对经步骤S02处理后的二维图像序列进行图像配准；
[0010]步骤S04，对配准后的图像进行三维重建。
[0011]本公开实施例利用图像分割模型进行图像分割，并利用残差网络进行图像配准，最终三维重建结果边缘更加平滑，移植物和肌肉组织区分度明显。
[0012]本公开实施例通过将原始二维图像转换成三维立体结构，当其应用于医用时，医
生无需基于二维图像来想象三维结构，可直接获得三维立体结构，能够从多角度、多层次地观察移植物分布在肌肉组织的位置分布及形态，大大提高了医生的工作效率。
[0013]在一些实施例中，所述步骤S01中的预处理包括：对原始图像序列进行格式转换、归一化处理和图像标注；所述图像标注包括对图像中的移植物和肌肉组织以标签形式标注。
[0014]在一些实施例中，所述步骤S02包括：
[0015]步骤S21，获取步骤S01处理后的带标签的图像序列和不带标签的图像序列；
[0016]步骤S22，将上述带标签的图像序列和不带标签的图像序列输入图像分割模型训练，利用训练后的图像分割模型来预测出移植物、肌肉组织和背景所在区域。
[0017]在一些实施例中，所述步骤S02还包括，对二维图像序列中未分割的部分进行异常点提取，将异常点填充为背景标签。
[0018]在一些实施例中，所述异常点提取过程如下：获取二维图像序列中未分割的部分，并将其与带标签的图像序列进行比对，以获得异常点；之后，将异常点填充为背景标签。
[0019]在一些实施例中，所述步骤S03包括：
[0020]步骤S31，将经步骤S02处理后的二维图像序列在特定步长内进行特征融合提取，以获得待配准图像和参考图像；
[0021]步骤S32，将步骤S31中待配准图像和参考图像输入残差网络进行训练，以获得训练好的残差网络；
[0022]步骤S33，利用奇偶交变配准准则，从步骤S02处理后的二维图像序列中获得待配准图像和参考图像，并将其输入到步骤S32训练好的残差网络中，残差网络输出配准后的图像序列。
[0023]在一些实施例中，所述步骤S04还包括：在三维重建前，对配准后的图像序列在其不连续序列间进行虚拟插值，以使得图像序列连续。
[0024]在一些实施例中，方法还包括步骤S05，基于步骤S04重建的三维切片的像素值计算切片面积，并结合切片厚度计算移植物和/或肌肉组织的体积。
[0025]本公开实施例还能基于重建的三维结构快速准确地提取移植物和/或肌肉组织的体积，并将体积数据输出，为用户提供了三维结构的同时和能输出辅助诊断的数据，从而提高了工作效率，降低了误诊漏诊率。
[0026]在一些实施例中，所述组织切片免疫组化的原始图像序列为KFB文件格式的图像。
[0027]根据本公开的第二方面，提供了一种基于组织切片免疫组化图像的三维重建系统，包括：
[0028]预处理模块，用于获取组织切片免疫组化的原始图像序列并进行预处理，以获得二维图像序列；
[0029]图像分割模块，用于利用图像分割模型对所述二维图像序列进行分割，以预测出移植物、肌肉组织和背景所在区域；
[0030]图像配准模块，用于利用残差网络对经步骤S02处理后的二维图像序列进行图像配准；
[0031]三维重建模块，用于对配准后的图像进行三维重建。
[0032]在一些实施例中，系统还包括体积输出模块，用于基于重建的三维切片的像素值
计算切片面积，并结合切片厚度计算移植物和/或肌肉组织的体积。
附图说明
[0033]通过参考附图阅读下文的详细描述，本公开的实施例的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例而非限制性的方式示出本公开的若干实施例。
[0034]图1示出本公开实施例的一种基于组织切片免疫组化图像的三维重建方法一示例的流程图；
[0035]图2示出本公开实施例的一种基于组织切片免疫组化图像的三维重建方法另一示例的流程图；
[0036]图3示出图1或图2中组织切片免疫组化的原始图像序列的示例图；
[0037]图4示出图1或图2中图像分割后的二维图像序列的示例图；
[0038]图5示出图1或图2中图像配准后的二维图像序列的示例图；
[0039]图6示出图1或图2中三维重建输出的三维图像的切片示例图；
[0040]图7示出依据本公开实施例的一种基于组织切片免疫组化图像的三维重建方法实施的具体示例图；
[0041]图8示出本公开实施例的一种基于组织切片免疫组化图像的三维重建系统的框架图。
[0042]在各个附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
[0043]下面将参本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于组织切片免疫组化图像的三维重建方法，其特征在于，包括：步骤S01，获取组织切片免疫组化的原始图像序列并进行预处理，以获得二维图像序列；步骤S02，利用图像分割模型对所述二维图像序列进行分割，以预测出移植物、肌肉组织和背景所在区域；步骤S03，利用残差网络对经步骤S02处理后的二维图像序列进行图像配准；步骤S04，对配准后的图像进行三维重建。2.根据权利要求1所述的一种基于组织切片免疫组化图像的三维重建方法，其特征在于，所述步骤S01中的预处理包括：对原始图像序列进行格式转换、归一化处理和图像标注；所述图像标注包括对图像中的移植物和肌肉组织以标签形式标注。3.根据权利要求2所述的一种基于组织切片免疫组化图像的三维重建方法，其特征在于，所述步骤S02包括：步骤S21，获取步骤S01处理后的带标签的图像序列和不带标签的图像序列；步骤S22，将上述带标签的图像序列和不带标签的图像序列输入图像分割模型训练，利用训练后的图像分割模型来预测出移植物、肌肉组织和背景所在区域。4.根据权利要求1或3所述的一种基于组织切片免疫组化图像的三维重建方法，其特征在于，所述步骤S02还包括，对二维图像序列中未分割的部分进行异常点提取，将异常点填充为背景标签。5.根据权利要求1所述的一种基于组织切片免疫组化图像的三维重建方法，其特征在于，所述步骤S03包括：步骤S31，将经步骤S02处理后的二维图像序列在特定步长内进行特征融合提取，以获得待配准图像和参考图像；步骤S32，将步骤S31中待配准图像和参考图像输入残差...

【专利技术属性】
技术研发人员：吕佳芸，王涛，梁宏斌，戴亿郑，秦帅波，
申请(专利权)人：杭州瑞普医学检验实验室有限公司，
类型：发明
国别省市：