用于联合去马赛克和光谱特征图估计的方法和系统技术方案

本发明专利技术的实施方式提供了一种方法和系统，其允许从场景的高光谱影像确定希望目标图像的参数。所述参数可以表示正被成像的场景的各个方面，特别是表示场景的物理特性。例如，在一些医学成像背景下，正被成像的特性可以是每像素一个的血液灌注或氧合饱和度信息。在一个实施方式中，通过收集较低的时间和空间分辨率的高光谱影像，然后使用空间光谱感知去马赛克处理来构建具有较高空间分辨率的信息的虚拟超立方体，然后将该虚拟超立方体用于在较高空间分辨率下对希望参数的估计，来获得参数。另选地，在另一实施方式中，不是构建虚拟超立方体然后执行估计，而是执行联合去马赛克和参数估计操作来获得参数。还可以执行各种白电平和光谱校准操作以改善所获得的结果。在建立用于手术的术中系统的功能和技术要求的同时，我们提出了iHSI系统实施方式，其允许在高度受约束的手术室中进行实时宽视野HSI和响应性手术引导。通过针对已建立的设计标准和离体组织实验执行评估，研究了分别使用线扫描和快照成像技术的利用最先进的工业HSI摄像机的两个示例性实施方式。我们还报告了在经伦理学批准的住院患者临床可行性病例研究期间使用一个实时iHSI实施方式作为脊柱融合手术的部分，因此成功证实了我们的假设：我们的发明专利技术可以无缝整合到手术室中而不中断手术工作流程。到手术室中而不中断手术工作流程。到手术室中而不中断手术工作流程。

【技术实现步骤摘要】
【国外来华专利技术】用于联合去马赛克和光谱特征图估计的方法和系统


[0001]本专利技术的实施方式总体上涉及图像和视频处理，特别是涉及用于获取和处理经实时获取的高光谱(hyperspectral)图像(并且在一些实施方式中涉及在医学背景下获取的图像)的系统和方法。
[0002]专利技术的背景和现有技术
[0003]对患者造成潜在生命改变后果的许多困难的术中(intraoperative)决定仍基于外科医生的主观视觉评估。这部分是因为，即使使用当前最先进的手术技术，在手术期间也仍然不可能可靠地标识关键的结构。跨多种外科专业已经证明了在手术期间对组织的更精细的、更少定性的术中宽视野可视化和表征的需要。
[0004]作为第一个例子，在神经肿瘤学中，手术通常是主要的治疗，其目的是尽可能安全地去除异常组织(完全切除(Gross Total Resection(GTR))。GTR的追求必须与和承担重要功能的损伤敏感区域(诸如关键神经和血管)相关联的术后(postoperative)发病率的风险进行平衡。在手术期间，诸如美国专利No.9,788,906B2中所公开的导航本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种从高光谱影像确定希望目标图像的参数的方法，所述方法包括以下步骤：使用高光谱图像传感器来捕获场景的高光谱快照马赛克图像，所述快照马赛克图像具有相对低的空间分辨率和低的光谱分辨率；对所述快照马赛克图像采取去马赛克，以生成快照马赛克图像数据的虚拟超立方，所述虚拟超立方包括与所述快照马赛克图像相比空间分辨率相对高的图像数据；从所述虚拟超立方中的所述图像数据中，确定希望目标图像的相对高的空间分辨率参数；以及输出所确定的相对高的分辨率参数作为所述希望目标图像的表示。2.根据权利要求1所述的方法，其中，所述去马赛克是空间
‑
光谱感知的。3.根据权利要求2所述的方法，其中，所述去马赛克包括所述快照马赛克图像的图像重采样，例如线性或三次重采样，随后应用光谱校准矩阵。4.根据权利要求2所述的方法，其中，所述去马赛克包括机器学习。5.根据前述权利要求中的任一项所述的方法，其中，基于帧之间的运动补偿，所述去马赛克在两个或更多个连续帧之间在时间上是一致的。6.根据前述权利要求中的任一项所述的方法，并且所述方法还包括以下步骤：在捕获所述高光谱快照马赛克图像之前，对所述高光谱图像传感器采取白平衡操作。7.根据权利要求6所述的方法，其中，所述白平衡操作包括：单独获取参考图像，所述参考图像包括在积分时间τ
d
的暗参考马赛克图像和在积分时间τ
w
的白参考马赛克图像以及部署线性模型，其中，除了对象的以积分时间τ所获取的马赛克图像w
τ
之外，还利用关闭的快门，以积分时间τ和τ
w
来获取具有积分时间τ
w
的反射图块的白参考马赛克图像和暗参考马赛克图像w
d；τ
和并且所述白平衡操作产生由给出的反射马赛克图像。8.根据前述权利要求中的任一项所述的方法，并且所述方法还包括以下步骤：在捕获所述高光谱快照马赛克图像之前，对所述高光谱图像传感器采取空间光谱校准操作。9.根据权利要求8所述的方法，其中，在受控设置中估计真实光谱滤波器响应算子B
F
:和空间串扰算子T:W
→
W，以考虑在图像获取期间的寄生效应。10.根据权利要求9所述的方法，并且所述方法还包括以下步骤：通过使用准直光获取快照马赛克图像数据，并且结合具有已知的、通常是空间恒定的光谱特征图的成像目标来扫过所有n
Λ
个波长，对所述高光谱图像传感器的特性进行测量，以获得所测量的系统滤波器响应算子U
→
W。11.根据前述权利要求中的任一项所述的方法，其中，确定所述相对高的空间参数的步骤还包括：分析像素级高光谱信息，以获得它的由特定光谱特征图表征的独特端员的组成。12.根据前述权利要求中的任一项所述的方法，其中，确定所述相对高的空间参数的步骤还包括：根据高光谱成像的反射信息，例如像素级组织吸收信息，来估计(通常为像素的)每空间位置一个的组织特性。13.一种从高光谱影像确定希望目标图像的参数的方法，所述方法包括以下步骤：使用高光谱图像传感器来捕获场景的高光谱快照马赛克图像，所述快照马赛克图像具
有相对低的空间分辨率和低的光谱分辨率；从所述快照马赛克图像采取联合去马赛克和参数估计，以确定希望目标图像的相对高的空间分辨率参数；以及输出所确定的相对高的分辨率参数作为所述希望目标图像的表示。14.一种用于目标区域的高光谱成像的系统，所述系统包括：光源，所述光源用于照明所述目标区域；高光谱图像传感器，所述高光谱图像传感器被配置成捕获所述目标区域的一个或更多个高光谱图像；光学观测仪，所述光学观测仪联接至所述高光谱图像传感器，使得在使用期间，由所述高光谱图像传感器获取由所述光学观测仪生成的、所述目标的图像。15.根据权利要求14所述的系统，其中，所述光学观测仪与所述高光谱图像传感器之间的光路包括一个或更多个滤光器。16.根据权利要求15所述的系统，其中，所述系统被设置成调节所述一个或更多个滤光器的配置，以用于实时校准由所述...

【专利技术属性】
技术研发人员：T，
申请(专利权)人：伦敦大学国王学院，
类型：发明
国别省市：