用于显示生物标本的多个图像的图像处理系统和方法技术方案

一种显示生物组织样本的同一区域的多个同时视图的系统和方法。由处理器来执行逻辑指令以实行诸如以下各项的操作：接收生物组织样本的多个图像，基于每个图像的个体元数据将多个图像转换到共同参考系，以及将多个图像布置成用于在显示屏上同时查看被成像的生物组织样本的不同方面的显示图样。通过对生物组织样本的图像进行预处理来产生多个图像。每个图像都示出生物组织样本的同一区域的视图模式，并且每个图像都包含描述图像的空间定向（诸如平移、旋转和放大率）的元数据以便将多个图像带到共同视图。到共同视图。到共同视图。

【技术实现步骤摘要】
用于显示生物标本的多个图像的图像处理系统和方法
[0001]本申请是申请日为2016年8月25日，申请号为201680050177 .X并且专利技术名称为“用于显示生物标本的多个图像的图像处理系统和方法”申请的分案申请。


[0002]本主题公开内容涉及用于医学诊断的成像。更特别地，本主题公开内容涉及视场（FOV）图像的一致显示和变换。

技术介绍

[0003]在诸如组织切片、血液、细胞培养物等等之类的生物标本的分析中，利用染色剂的一个或多个组合给生物标本染色，并且查看结果产生的试验物或者对该试验物成像以用于进一步分析。观测该试验物实现了各种各样的过程，包括疾病的诊断、对治疗反应的评估和用来抵御疾病的新药的研制。试验物包括与抗体结合的一种或多种染色剂，该抗体与标本中的蛋白质、蛋白质片段或其他感兴趣的对象（在下文中被称为目标或目标对象）结合。抗体或使标本中的目标与染色剂结合的其他化合物被称为该主题公开内容中的生物标记物。一些生物标记物具有与染色剂的固定关系（例如常常使用的复染色苏木精），然而对于其他生物标记物来说，染色剂的选取可以被用来开发和产生新的试验物。在染色之后，可以对试验物成像以用于组织样本的含量的进一步分析。整个载片的图像通常被称为全载片图像，或简单地称为全载片。
[0004]通常，在免疫评分计算中，科学家使用包括对一片组织进行染色的多重试验物或包括对邻近连续组织切片进行染色的单一试验物来检测或量化例如同一组织块中的多种蛋白质或核酸等等。在被染色的载片可用的情况下，可以从肿瘤组织样本估计免疫学数据（例如免疫细胞的类型、密度和位置）。据报告，该数据可以被用来预测结肠直肠癌的患者存活期并且显示重要的预后作用。
[0005]在对于免疫评分计算的传统工作流程中，作为初始步骤，诸如病理学家或生物学家之类的专家读者通过在显微镜下检查载片或读取已经被扫描/数字化在显示器上的载片的图像来手动选择具有代表性的视场（FOV）或感兴趣的区域（ROI）。当组织载片被扫描时，由独立的读者来查看已扫描的图像并且基于读者的个人偏好来手动标记FOV。在选择FOV之后，计算机经由自动算法产生每个FOV中的免疫细胞的计数，或者病理学家/读者对所选FOV内的免疫细胞进行手动计数。FOV的手动选择和计数对读者来说是高度主观并且存在偏见的，因为不同读者可能选择不同的FOV来计数。因此，免疫评分研究不再是可重现的。通过使视场的选择自动化，应用一种降低独立读者的主观性的统一方法。用来执行FOV选择的低分辨率图像的使用进一步提高了计算效率，从而允许分析人员迅速进行组织区域的分析。
[0006]通常的情况是组织样本的任何单个视图都可能导致几种可能的疾病状态诊断。几种不同视图的繁琐检查必须依赖于专家读者的记忆以便将焦点限制在任何特定诊断上。
[0007]现有技术包括例如Graham等人的US2003/0210262，其通常教导在显微镜载片上显示同一区域的彼此相邻的至少两个视图，在这里各视图提供不同的照明条件，并且查看设
备提供类似的直线平移。
[0008]最后，Ruddle等人的US2012/0320094通常教导以不同放大率在查看屏幕上显示同一区域的彼此相邻的至少两个显微镜载片图像。
[0009]在US 62/005,222中公开了FOV的自动识别，并且通过对PCT/EP2015/062015的引用将其整体合并于此。

技术实现思路

[0010]本专利技术提供如在独立权利要求1和9中要求保护的一种用于显示生物组织区域的多个图像的图像处理方法和相应的图像处理系统。在其他独立权利要求和从属权利要求中提供本专利技术的实施例以及本专利技术的其他方面。
[0011]如在本文中理解的
‘
组织样本
’
是从组织区域获得的任何生物样本，诸如从用于解剖病理学的人类或动物身体获得的外科活检标本。该组织样本可以是前列腺组织样本、乳房组织样本、结肠组织样本或从另一器官或身体区域获得的组织样本。
[0012]如在本文中理解的
‘
多通道图像
’
包括从生物组织样本获得的数字图像，在该生物组织样本中利用特定的荧光染料同时对诸如核和组织结构之类的不同生物结构进行染色，该特定的荧光染料中的每一个都在不同的光谱带中发荧光由此构成多通道图像的各通道中的一个。可以用多个染色剂和/或用染色剂和复染剂来对生物组织样本染色，后者也被称为“单标记物图像”。
[0013]如在本文中理解的
‘
去混合图像
’
包括针对多通道图像中的一个通道而获得的灰度值或标量图像。通过对多通道图像进行去混合，每个通道获得一个去混合图像。
[0014]如在本文中理解的
‘
颜色通道
’
是图像传感器的一个通道。例如，该图像传感器可以具有三个颜色通道，诸如红色（R）、绿色（G）和蓝色（B）。
[0015]如在本文中理解的
‘
热图
’
是将包含在矩阵中的个体值表示为颜色的数据的图形表示。
[0016]如在本文中理解的
‘
阈值化
’
包括预定义阈值的应用或局部极大值的分类以提供分类列表并且从分类列表的顶部选择预定数目的局部极大值。
[0017]如本文中理解的
‘
空间低通滤波
’
包括使用对图像像素的邻域执行低通滤波操作（特别地线性或非线性操作）的空间滤波器的空间滤波。特别地，可以通过应用卷积滤波器来执行空间低通滤波。空间滤波比如现有技术中已知的那些（参考数字图像处理，第三版，Rafael C. Gonzalez, Richard E. Woods, 第145页,第 3.4.1章）。
[0018]如本文中所理解的
‘
局部最大滤波
’
包括如果像素等于子图像区中的最大值则将该像素视为局部最大值的滤波操作。可以通过应用所谓的最大滤波器来实施局部最大滤波（参考数字图像处理，第三版，Rafael C. Gonzalez, Richard E. Woods, 第326页,第5章）。
[0019]如在本文中所理解的
‘
视场（FOV）
’
包括具有预定尺寸和形状（诸如矩形或圆形形状）的图像部分。
[0020]根据本专利技术的实施例，癌症活检组织样本的组织区域被切片成邻近的组织切片。可以用单个或多个染色剂来标记该组织切片以用于相应生物特征的识别。借助于具有许多颜色通道的图像传感器（诸如RGB图像传感器）从被标记的组织切片中的每一个获取数字图
像。
[0021]关于所获取的多个数字图像来执行图像配准算法。如从现有技术已知的各种适当的图像配准算法可以被用来执行图像配准（参考https://en.wikipedia.org/wiki/Image_registration和http://tango.andrew.cmu.edu/~gustavor本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于同时显示感兴趣的对象的同一区域的多个视图的系统，所述系统包括：处理器；以及耦合至所述处理器的存储器，所述存储器存储计算机可读指令，所述计算机可读指令当被所述处理器执行时促使所述处理器执行包括以下各项的操作：接收多个经过预处理的图像，所述经过预处理的图像描绘与所述感兴趣的对象的至少一部分对应的同一区域的多个视图，其中每个经过预处理的图像与如下内容相关联：（i）图像查看模式，和（ii）关于全局标准参考图像系（GSRF）描述经过预处理的图像的元数据；关于全局标准参考图像系（GSRF）确定显示图像模板，所述显示图像模板促进所述多个经过预处理的图像的同时显示；生成一组可显示图像，其中基于所述显示图像模板生成所述一组可显示图像中的每个可显示图像以把经过预处理的图像的像素位置映射到所述可显示图像的对应像素位置；将所述一组可显示图像布置成用于在显示屏上查看的显示图样；以及使得经布置的所述一组可显示图像在所述显示屏上显示。2.根据权利要求1所述的系统，其中所述显示图像模板是参考图像系，参考图像系指示像素在所述多个经过预处理的图像的经过预处理的图像中的位置，并且其中每个经过预处理的图像的元数据包括经过预处理的图像局部参考图像系（PI
‑
LRF）。3.根据权利要求2所述的系统，所述GSRF是固定参考图像系，其通过定义每个经过预处理的图像局部参考系和所述全局标准参考系之间的仿射映射来指示所述多个经过预处理的图像中的两个或更多个经过预处理的图像之间的空间关系，并且其中所述元数据还包括PI
‑
LRF和GSRF之间的第一仿射映射。4.根据权利要求3所述的系统，其中所述操作还包括：接收用户动作以操纵经布置的所述一组可显示图像中的可显示图像；和基于所述用户动作与所述可显示图像一致地操纵经布置的所述一组可显示图像中的所有其他可显示图像。5.根据权利要求3所述的系统，其中确定所述显示图像模板的操作包括：创建显示图像像素网格；构建指示与所述显示图像像素网格相关联的像素位置的显示图像局部参考系(DI
‑
LRF)，其中DI
‑
LRF对应于所述显示图像模板；参考 GSRF 确定 DI
‑
LRF 的位置、定向和放大率；计算将 DI
‑
LRF 的像素位置映射到 GSRF 的像素位置的仿射变换；和基于计算的仿射变换针对所述显示图像模板生成仿射部分映射。6.根据权利要求5所述的系统，其中生成所述一组可显示图像的操作还包括：构建所述显示图像模板的拷贝和所述显示图像模板的所述仿射部分映射；用经过预处理的图像的第一仿射映射处理所述仿射部分映射以生成合成映射，其中所述合成映射指示所述经过预处理的图像的像素位置到所述可显示图像的对应像素位置；和生成所述一组可显示图像中的可显示图像，其中所述可显示图像包括一组像素，并且其中所述可显示图像是基于包括以下各项的操作生成的：对于一组图像像素中的每个图像像素：使用所述合成映射将所述图像像素的位置映射到所述经过预处理的图像中像素的对
应位置；基于所述对应位置估计所述经过预处理的图像中相邻像素的像素值；和指定所述相邻像素的估计的像素值作为所述图像像素的像素值。7.根据权利要求3所述的系统，其中，所述感兴趣的对象是生物组织样本。8.根据权利要求3所述的系统，其中，生成所述一组可显示图像的操作还包括对所述多个经过预处理的图像中的每个经过预处理的图像执行非线性校正。9.根据权利要求3所述的系统，其中，所述操作还包括：(i)响应于对所述可显示图像的用户动作，在显示屏上一致地增加所述一组可显示图像的放大水平，(ii)响应于对所述可显示图像的用户动作，在显示屏上一致地移动所述一组可显示图像，(iii)响应于对所述可显示图像的用户动作，在显示屏上一致地旋转所述一组可显示图像，或(iv)它们的组合。10.一种非临时性计算机可读介质，存储指令，所述指令在由用于同时显示感兴趣的对象的同一区域的多个视图的系统的一个或多个处理器执行时使所述系统执行一种方法，所述方法包括：接收多个经过预处理的图像，所述经过预处理的图像描绘与所述感兴趣的对象的至少一部分对应的同一区域的多个视图，其中每个经过预处理的图像与如下内容相关联：（i）图像查看模式，和（ii）关于全局标准参考图像系（GSRF）描述经过预处理的图像的元数据；关于全局标准参考图像系（GSRF）确定显示图像模板，所述显示图像模板促进所述多个经过预处理的图像的同时显示；生成一组可显示图像，其中基于所述显示图像模板生成所述一组可显示图像中的每个可显示图像以把经过预处理的图像的像素位置映射到所述可显示图像的对应像素位置；将所述一组可显示图像布置成用于在显示屏上查看的显示图样；以及使得经布置的所述一组可显示图像在所述显示屏上显示。11.根据权利要求10所述的非临时性计算机可读介质，其中所述显示图像模板是参考图像系，参考图像系指示像素在所述多个经过预处理的图像的经过预处理的图像中的位置，...

【专利技术属性】
技术研发人员：M巴恩斯，T陈，C谢夫，
申请(专利权)人：俄勒冈州普罗维登斯健康与服务部，
类型：发明
国别省市：