本发明专利技术的实施方式提供了一种方法和系统，其允许从场景的高光谱影像确定希望目标图像的参数。所述参数可以表示正被成像的场景的各个方面，特别是表示场景的物理特性。例如，在一些医学成像背景下，正被成像的特性可以是每像素一个的血液灌注或氧合饱和度信息。在一个实施方式中，通过收集较低的时间和空间分辨率的高光谱影像，然后使用空间光谱感知去马赛克处理来构建具有较高空间分辨率的信息的虚拟超立方体，然后将该虚拟超立方体用于在较高空间分辨率下对希望参数的估计，来获得参数。另选地，在另一实施方式中，不是构建虚拟超立方体然后执行估计，而是执行联合去马赛克和参数估计操作来获得参数。还可以执行各种白电平和光谱校准操作以改善所获得的结果。在建立用于手术的术中系统的功能和技术要求的同时，我们提出了iHSI系统实施方式，其允许在高度受约束的手术室中进行实时宽视野HSI和响应性手术引导。通过针对已建立的设计标准和离体组织实验执行评估，研究了分别使用线扫描和快照成像技术的利用最先进的工业HSI摄像机的两个示例性实施方式。我们还报告了在经伦理学批准的住院患者临床可行性病例研究期间使用一个实时iHSI实施方式作为脊柱融合手术的部分，因此成功证实了我们的假设：我们的发明专利技术可以无缝整合到手术室中而不中断手术工作流程。到手术室中而不中断手术工作流程。到手术室中而不中断手术工作流程。
【技术实现步骤摘要】
【国外来华专利技术】用于联合去马赛克和光谱特征图估计的方法和系统
[0001]本专利技术的实施方式总体上涉及图像和视频处理，特别是涉及用于获取和处理经实时获取的高光谱(hyperspectral)图像(并且在一些实施方式中涉及在医学背景下获取的图像)的系统和方法。
[0002]专利技术的背景和现有技术
[0003]对患者造成潜在生命改变后果的许多困难的术中(intraoperative)决定仍基于外科医生的主观视觉评估。这部分是因为，即使使用当前最先进的手术技术，在手术期间也仍然不可能可靠地标识关键的结构。跨多种外科专业已经证明了在手术期间对组织的更精细的、更少定性的术中宽视野可视化和表征的需要。
[0004]作为第一个例子，在神经肿瘤学中，手术通常是主要的治疗，其目的是尽可能安全地去除异常组织(完全切除(Gross Total Resection(GTR))。GTR的追求必须与和承担重要功能的损伤敏感区域(诸如关键神经和血管)相关联的术后(postoperative)发病率的风险进行平衡。在手术期间，诸如美国专利No.9,788,906B2中所公开的导航解决方案可以将术前(preoperative)信息(例如,MRI或CT)映射至手术台上患者的解剖结构。然而，基于术前成像的导航没有考虑术中变化。介入成像和感测(诸如手术显微镜检查、荧光成像、基于点的拉曼(Raman)光谱学、超声和术中MRI)，可以由外科医生独立地使用或作为导航信息的附件以使经手术的组织可视化。然而，基于现有术中成像的组织分化(tissue differentiation)仍然具有挑战性，这是因为临床环境中的严格手术约束(例如，术中MRI或CT)，或者不精确的肿瘤描绘(例如，超声或荧光成像)。在神经肿瘤手术中，越来越多地使用利用经5
‑
氨基乙酰丙酸(5
‑
aminolevulinic acid(5
‑
ALA))诱导的原卟啉IX(protoporphyrin IX(PpIX))的荧光引导手术。包括膀胱癌在内的其它领域也得益于PpIX荧光引导手术。然而，恶性组织边界的可视化因肿瘤标志物在健康组织中的积累而模糊不清；部分因组织自身荧光的时变荧光效应和混杂效应而造成非定量的；与副作用相关联；并且仅可以被用于特定的肿瘤类型，如在Suero Molia等人的Neurosurgical Review,2019中所综述的。旨在改善神经外科组织分化的大量现有技术清楚表明，更好的术中成像被视为改善这些困难手术中患者结局的机会。
[0005]作为第二个例子，坏死性小肠结肠炎(Necrotising Enterocolitis(NEC))是一种破坏性的新生儿疾病，通常需要手术治疗，具有潜在的重要副作用。NEC的特征在于肠粘膜缺血性坏死，从而导致穿孔、全身性腹膜炎，和在严重情况下新生儿死亡。每千名活产中有三名患有NEC，其中85％的病例发生在极低出生体重的婴儿(<1500g)中，尽管有最先进的护理，但其中30％死亡，如在Hull等人的Journal of the American College of Surgeons,2014中所综述的。NEC的手术管理包括原发性腹膜引流、探查确认手术和/或剖腹手术伴肠切除术。执行NEC剖腹手术的外科医生的主要挑战是在患有短肠综合征的婴儿长期存在的风险与在原位留下灌注不良的肠相权衡的情况下，决定切除多少肠而不致损害婴儿恢复的机会。目前，没有用于NEC剖腹手术的标准护理图像引导技术。因此，切除的手术计划依赖于外科医生的判断、灵巧性以及知觉技能。若有疑问，则可能使用粗切组织来评估出血情况。
认为早期诊断、更好的监测以及改进的手术管理可以降低NEC死亡率。
[0006]如在Shapey等人的Journal of Biophotonics,2019中所讨论的，多光谱和高光谱成像(下文中被统称为高光谱成像(HSI))是新兴的光学成像技术，其具有改变执行手术的方式的潜力。然而，目前的系统是否能够递送用于手术引导的实时、高分辨率的组织表征仍然不清楚。HSI是一种安全的、非接触的、非电离的以及非侵入式的光学成像模态，其特征使其在外科使用方面具有吸引力。通过将光分裂成远超出肉眼所能看到的多个光谱带，HSI携带了超出常规颜色信息的关于组织特性的精细信息，该精细信息可以被用于更客观的组织表征。在HSI中，在给定时间帧内，所收集的数据跨越由两个空间维和一个光谱维组成的三维空间。各个这样的三维帧被通称为高光谱图像或超立方体(hypercube)。如美国专利No.6,937,885B1中所例示的，将HSI用于医学应用的概念已为人所知并已开发了数十年。经典地，HSI依赖于通过空间和/或光谱的扫描来获取完整的超立方体。由于扫描目的所需的时间，因此，这些方法不能提供高光谱图像的实况显示。最近已经开发了能够实时获取HSI数据(被称为快照HSI)的小型传感器。这样的快照传感器以视频速率获取高光谱图像，通过牺牲光谱和空间分辨率，通常能够实现大约每秒钟30个高光谱帧甚或更多。代替获取密集超立方体(即，在场景(x
‑
y平面)的各个空间像素处具有经完全采样的光谱信息(z方向)，快照高光谱摄像机通常使用如在Pichette等人的Proc.of SPIE,2017中详述的马赛克(mosaic)图案。
[0007]这里，我们在高光谱成像系统能够以这样的视频速率获取图像的情况下将它定义为实时的，即，该时频速率适于以每秒钟几十帧的量级来提供高光谱成像信息的实况显示。
[0008]如在Shapey等人的Journal of Biophotonics,2019中所例示的，以及下面考虑到现有技术而进一步详述的，虽然现有的HSI系统可以在手术期间捕获重要信息，但是它们目前没有提供这样的手段，即，提供足够高分辨率的宽视野和实时信息以支持手术引导的手段。
[0009]已经利用许多不同的获取原理描述了供在医学应用中使用的高光谱成像。主要依靠检测器侧的光的顺序滤波。作为早期的例子，美国专利No.5,539,517A提出了一种基于干涉仪的方法，其中，通过扫描顺序地捕获光谱强度的一组预定的线性组合。差不多同时，美国专利No.6,937,885B1提出了借助于可调滤波器(诸如液晶可调滤波器(LCTF))结合关于期望组织响应的现有知识来顺序地获取HSI数据，以根据给定的诊断协议获取数据。美国专利No.8,320,996B2改进了诸如LCTF的可编程光谱分离器，以一个接一个地获取光谱带，提取与特定诊断协议相关的信息，并且提出将相加(summarising)的伪彩色图像投影到经成像的关注区域上。在E.P.专利申请No.2 851 662A2中，将与色散部件和机械扫描联接的狭缝形孔径用于以顺序方式获取光谱成像信息。由于这些方法依赖于顺序获取，因此，它们不直接适合于实时宽视野成像。而且，这些工作都没有提出一种提高所捕获的HSI的分辨率的手段。
[0010]除了在检测器端对光进行滤波之外，用于医学应用的HSI也已经通过使用经滤波的激发光本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种从高光谱影像确定希望目标图像的参数的方法，所述方法包括以下步骤：使用高光谱图像传感器来捕获场景的高光谱快照马赛克图像，所述快照马赛克图像具有相对低的空间分辨率和低的光谱分辨率；对所述快照马赛克图像采取去马赛克，以生成快照马赛克图像数据的虚拟超立方，所述虚拟超立方包括与所述快照马赛克图像相比空间分辨率相对高的图像数据；从所述虚拟超立方中的所述图像数据中，确定希望目标图像的相对高的空间分辨率参数；以及输出所确定的相对高的分辨率参数作为所述希望目标图像的表示。2.根据权利要求1所述的方法，其中，所述去马赛克是空间
‑
光谱感知的。3.根据权利要求2所述的方法，其中，所述去马赛克包括所述快照马赛克图像的图像重采样，例如线性或三次重采样，随后应用光谱校准矩阵。4.根据权利要求2所述的方法，其中，所述去马赛克包括机器学习。5.根据前述权利要求中的任一项所述的方法，其中，基于帧之间的运动补偿，所述去马赛克在两个或更多个连续帧之间在时间上是一致的。6.根据前述权利要求中的任一项所述的方法，并且所述方法还包括以下步骤：在捕获所述高光谱快照马赛克图像之前，对所述高光谱图像传感器采取白平衡操作。7.根据权利要求6所述的方法，其中，所述白平衡操作包括：单独获取参考图像，所述参考图像包括在积分时间τ
d
的暗参考马赛克图像和在积分时间τ
w
的白参考马赛克图像以及部署线性模型，其中，除了对象的以积分时间τ所获取的马赛克图像w
τ
之外，还利用关闭的快门，以积分时间τ和τ
w
来获取具有积分时间τ
w
的反射图块的白参考马赛克图像和暗参考马赛克图像w
d；τ
和并且所述白平衡操作产生由给出的反射马赛克图像。8.根据前述权利要求中的任一项所述的方法，并且所述方法还包括以下步骤：在捕获所述高光谱快照马赛克图像之前，对所述高光谱图像传感器采取空间光谱校准操作。9.根据权利要求8所述的方法，其中，在受控设置中估计真实光谱滤波器响应算子B
F
:和空间串扰算子T:W
→
W，以考虑在图像获取期间的寄生效应。10.根据权利要求9所述的方法，并且所述方法还包括以下步骤：通过使用准直光获取快照马赛克图像数据，并且结合具有已知的、通常是空间恒定的光谱特征图的成像目标来扫过所有n
Λ
个波长，对所述高光谱图像传感器的特性进行测量，以获得所测量的系统滤波器响应算子U
→
W。11.根据前述权利要求中的任一项所述的方法，其中，确定所述相对高的空间参数的步骤还包括：分析像素级高光谱信息，以获得它的由特定光谱特征图表征的独特端员的组成。12.根据前述权利要求中的任一项所述的方法，其中，确定所述相对高的空间参数的步骤还包括：根据高光谱成像的反射信息，例如像素级组织吸收信息，来估计(通常为像素的)每空间位置一个的组织特性。13.一种从高光谱影像确定希望目标图像的参数的方法，所述方法包括以下步骤：使用高光谱图像传感器来捕获场景的高光谱快照马赛克图像，所述快照马赛克图像具
有相对低的空间分辨率和低的光谱分辨率；从所述快照马赛克图像采取联合去马赛克和参数估计，以确定希望目标图像的相对高的空间分辨率参数；以及输出所确定的相对高的分辨率参数作为所述希望目标图像的表示。14.一种用于目标区域的高光谱成像的系统，所述系统包括：光源，所述光源用于照明所述目标区域；高光谱图像传感器，所述高光谱图像传感器被配置成捕获所述目标区域的一个或更多个高光谱图像；光学观测仪，所述光学观测仪联接至所述高光谱图像传感器，使得在使用期间，由所述高光谱图像传感器获取由所述光学观测仪生成的、所述目标的图像。15.根据权利要求14所述的系统，其中，所述光学观测仪与所述高光谱图像传感器之间的光路包括一个或更多个滤光器。16.根据权利要求15所述的系统，其中，所述系统被设置成调节所述一个或更多个滤光器的配置，以用于实时校准由所述...
【专利技术属性】
技术研发人员：T，
申请(专利权)人：伦敦大学国王学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。