用于处理介质的多模态和/或多来源数据的方法和系统技术方案

本发明专利技术涉及一种用于处理介质的多模态和/或多来源数据的方法，其中，所述方法可由处理系统实施，该方法包括以下步骤：光学确定步骤，在该步骤中，针对所述介质的多个体积单元中的至少一个，基于一模态和/或来源的数据，确定光学特性；荧光确定步骤，在该步骤中，针对所述体积单元中的至少一个，基于第二模态和/或来源的数据，确定荧光特性；以及渲染步骤，在该步骤中，基于所述体积单元的所确定的光学和荧光特性，渲染所述介质的数据表示。本发明专利技术还涉及对应的处理系统。应的处理系统。应的处理系统。

【技术实现步骤摘要】
【国外来华专利技术】用于处理介质的多模态和/或多来源数据的方法和系统


[0001]本公开涉及一种用于处理介质的多模态和/或多来源数据的方法和系统。特别地，本公开涉及实施所述方法的图像处理方法和系统，尤其是用于医疗成像。

技术介绍

[0002]经常通过计算机实施的成像方法，例如超声成像，来辅助检查，尤其是例如医疗检查。为了该目的，获取和处理来自被检查的介质(例如岩石、动物、人体或人体部位)的检查数据，以将其呈现给检查用户或其它用户，例如医生。
[0003]例如，超声成像包括用由换能器发射的一道或多道超声脉冲(或波)对介质进行声透射(insonification)。响应于这些脉冲的回波，获得超声信号数据，例如通过使用相同的换能器。超声成像可具有可由相同超声成像系统提供的不同模态(或模式)，例如B模式(亮度模式)和(SWE，剪切波弹性成像)。
[0004]然而，解读这样的图像，或更具一般性地，解读任何检查数据，要求高专业知识。对于三维图像数据，例如3D超声图像，尤其是这样的。
[0005]在将不同模态和/或不同来源的数据组合到例如给用户显示的同一3D(三维)展示中的情况下，检查数据可变得甚至更加复杂。这样的不同模态可能会包括通过相同系统在不同模式中获得的数据，例如由超声系统获得的B模式图像数据和SWE图像数据。换句话说，不同模态的数据可能会包括相同来源(例如超声)但不同模态(例如不同超声获取模式)的数据。
[0006]不同来源也可能会包括由不同系统，例如由超声系统和其它成像系统，例如像计算机断层成像、磁共振或正电子发射断层扫描的医疗成像系统，获得的数据。
[0007]因此，组合的多模态和/或多来源数据的视觉展示(例如渲染的3D图像)可能会给用户提供信息过载，导致清晰度减小并在复杂情况下可能导致误读，使得更相关的信息可能会被其它更不相关的信息掩盖。
[0008]存在不同的用于渲染图像，尤其是3D图像或具有深度信息的图像的已知技术。例如，对于医疗图像可视化，已经开发了不同的体积渲染算法，如在Zhang Q,Eagleson R,Peters TM.Volume visualization:a technical overview with a focus on medical applications.J Digit Imaging.2011Aug；24(4):640
‑
64.doi:10.1007/sl0278
‑
010
‑
9321
‑
6.PMID:20714917；PMCID:PMC3138940中所述的。
[0009]特别地，多平面重建(MPR)是一种已知的图像处理技术，其使用任意布置的正交或倾斜平面，从3D体积提取二维(2D)切片。MPR是带有3D采集功能的商用超声系统的标准解决方案。
[0010]另一示例是表面渲染(SR)，其要求对目标表面显式或隐式建模。然后，例如通过光线追踪方法，对表面进行着色和渲染。该技术广泛地用于电子游戏和数字电影中。但它不太适合医疗超声场景，这是因为表面建模要求对先验未知数量的未知结构进行自动分割，这在实践中很难做到稳健，且需要额外的计算成本。
[0011]又一另外的示例是体积渲染(VR)，其将整个3D数据显示为2D(二维)图像，而不计算任何中间几何形状表示。
[0012]然而，这些技术不解决或减少上述问题。
[0013]而且，医疗检查(例如使用超声成像方法)经常要求实时或几乎实时的监控，尤其是对于由例如超声成像引导的医疗干预。出于该原因，已知渲染方法的较高的计算成本和对用户的潜在信息过载对于该实时的要求会是不利的。

技术实现思路

[0014]目前，仍期望克服上述问题，尤其是期望提供一种用于处理体积介质的多模态和/或多来源数据的方法和系统，该方法和系统有助于多模态和/或多来源数据的可视化、理解和解读。而且，期望该方法和系统在相应的数据表示(data representation)中，例如在具有深度信息的2D图像或3D图像中，提供所述多模态和/或多来源数据的组合或融合的表示。
[0015]因此，根据本公开的实施例，提供一种用于处理介质(例如体积介质)的多模态和/或多来源数据的方法。所述方法可由处理系统实施。该方法包括以下步骤：
[0016]·
光学确定步骤，在该步骤中，针对介质的多个体积单元中的至少一个，基于第一模态和/或来源的数据，确定光学特性；
[0017]·
荧光确定步骤，在该步骤中，针对体积单元中的至少一个，基于第二模态和/或来源的数据，确定荧光特性；以及
[0018]·
渲染步骤，在该步骤中，基于体积单元的所确定的光学和荧光特性，渲染体积介质的数据表示。
[0019]通过提供这样的方法，对来自不同模态和/或来源的数据(例如医疗成像数据)的可视化、理解和/或解读可变得容易，由此对于专家用户(例如医疗专业人士)和非专家用户(例如像患者或未经过培训的专业人士的非专业人士)，以光学合理的方式变得更直观。
[0020]本公开可通过将常规渲染算法与多色荧光机制的建模相结合，来调整常规渲染算法。这样，具有不同模态和/或来源的数据体积单元可结合在统一的渲染场景中并能够在其中进行解读。
[0021]因此，所提出的技术可允许通过不同的可定制的荧光颜色，渲染多个成像模式和/或成像来源(例如，作为第一模态的3D B模式和作为第二模态的3D SWE模式)，以使得它们能够在统一场景中可视化。在该示例中，可同时渲染来自B模式成像的介质回波反射性信息和来自SWE的组织弹性信息。
[0022]换句话说，可将介质的特性组合在同一可视化场景中。这可产生用于用户引导、监控病变或治疗的视觉线索，以及使用户和患者更容易理解和解读多模态和/或多来源数据。
[0023]另一结果是，所得的统一场景可为任何机器学习或其它基于AI的应用提供改进的基础。例如，场景可以是具有预定大小的2D或3D图像的形式，该图像可以由CNN(卷积神经网络)或期望具有预定大小和/或格式的输入数据的另一机器学习算法来处理。因此，2D或3D图像可用作CNN(或另一机器学习算法)的单一标准化输入，而无需任何其它的预处理。相反，原始的多模态和/或多来源数据可能会具有不同或变化的分辨率，这对于每种情况都会需要特定的预处理。
[0024]而且，由于确定了光学特性和荧光特性，与原始多模态和/或多来源数据相比，所
得的经渲染的表示可在对比度上得到增强，并可包括更少的噪音。该情况不仅可帮助人正确地解读经渲染的表示，而且还可改善由机器学习算法实施的任何分类和/或回归任务的结果。
[0025]例如，经渲染的数据表示可以使得给基于AI的算法提供对原始数据更真实的加权。换句话说，(基于AI的)算法可对于加权更大即更相关的数据更敏感。在一个示例中，通过荧光确定步骤，SWE模态的数据可得到增大的加权或关注(即可被突显和/或上色)。换句话说，所述数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于处理介质的多模态和/或多来源数据的方法，所述方法包括以下步骤：光学确定步骤，在该步骤中，针对所述介质的多个体积单元中的至少一个，基于第一模态和/或来源的数据，确定光学特性；荧光确定步骤，在该步骤中，针对所述体积单元中的至少一个，基于第二模态和/或来源的数据，确定荧光特性；以及渲染步骤，在该步骤中，基于所述体积单元的所确定的光学和荧光特性，渲染所述介质的数据表示。2.如权利要求1所述的方法，其中，所述体积介质的所述数据表示包括视觉表示和/或2D或3D图像。3.如上述权利要求中任一项所述的方法，其中，所述光学特性包括体积单元的至少一个光吸收率，和/或根据应用于所述至少一个体积单元的第一模态和/或来源的数据的第一介质
‑
光互动映射，确定所述光学特性，以及所述第一介质
‑
光互动映射可选地根据所述第一模态和/或来源的数据，确定反射率、方向性和吸收率中的至少一项。4.如上述权利要求中任一项所述的方法，其中，根据应用于所述至少一个体积单元的第二模态和/或来源的数据的第一光发射和/或吸收映射，确定所述荧光特性。5.如上述权利要求中任一项所述的方法，其中，在所述光学确定步骤中，根据不同于所述第一介质
‑
光互动映射的第二介质
‑
光互动映射，基于第三模态和/或来源的数据，针对所述体积单元中的至少一个，确定光学特性，和/或在所述荧光确定步骤中，根据不同于所述第一光发射和/或吸收映射的第二光发射和/或吸收映射，基于第四模态和/或来源的数据，针对所述体积单元中的至少一个，确定荧光特性。6.如上述权利要求中任一项所述的方法，其中，所述荧光确定步骤和所述光学确定步骤同时和/或并行地实施。7.如上述权利要求中任一项所述的方法，其中，将所确定的光学和荧光特性存储在数据存储器中，并且之后基于所存储的特性，实施所述渲染步骤一次或多次，或者所述渲染步骤与所述荧光确定步骤和/或所述光学确定步骤同时实施。8.如上述权利要求中任一项所述的方法，其中，所述第一模态和/或来源的数据包括来自B模式超声成像的反射率信息，和/或所述第二模态和/或来源的数据包括来自剪切波弹性成像超声成像的组织弹性信息。9.如上述权利要求中任一项所述的方法，其中，所述第二模态和/或来源的数据包括干预...

【专利技术属性】
技术研发人员：张博，
申请(专利权)人：声科影像有限公司，
类型：发明
国别省市：