实时增强制造技术

提出了一种生成医学视频数据和覆盖数据的覆盖的计算机实现的方法。所述方法包括以下步骤：从医学视频模态获取医学视频数据，所述医学视频数据至少包括不同时间点t1和t2的第一视频帧和第二视频帧(步骤S1)；分析所获取的医学视频数据，所述分析包括比较由所述第一视频帧和所述第二视频帧捕获的视频数据(步骤S2)；提供初始覆盖数据(步骤S3)；通过基于对所述医学视频数据的分析的结果调整所述初始覆盖数据来生成经修改的覆盖数据(步骤S4)；以及通过生成至少包括源自所述医学视频模态的医学视频数据并且包括所生成的经修改的覆盖数据的视频输出来生成覆盖(步骤S5)。在特定实施方式中，所确定的第一视频帧和第二视频帧中随时间的变化是在视频帧中成像的对象的空间移位。位。位。

【技术实现步骤摘要】
【国外来华专利技术】实时增强


[0001]本专利技术涉及实时增强，尤其涉及一种生成医学视频数据和覆盖数据的覆盖的计算机实现的方法、一种计算机程序、一种存储这种程序的非瞬态程序存储介质和一种用于执行这种程序的计算机，以及一种医学视频模态系统。

技术介绍

[0002]诊断性医疗过程通常涉及使用相机来使利用肉眼很难或甚至不可能看到的解剖结构可视化。在这种情况下，通过将相机放置在具有无阻碍视线的那些结构的附近，并且通过将接收到的图像发送到医学从业者可以容易地观察到的远程显示器或监视器，相机有助于使那些解剖结构可视化。例如，内窥镜手术利用相机来检查和可视化患者体内的中空器官或腔体的内部。普通内窥镜具有细长的器械主体，该器械主体具有通常放置在患者体内的远端部分和通常保持在患者体外的近端部分。虽然远端内窥镜部分设置有至少一个相机，但是整个内窥镜主体可以通过连接到内窥镜的近端部分并且可以机动化的支撑结构被保持在适当位置，使得医学从业者可以通过经由用户界面控制机动化结构来将内窥镜与相机一起移动到期望位置。
[0003]本申请的申请人Brainlab AG已经开发并获得了一种包括独立盒的技术，该独立盒能够实时转发视频信号并且能够实时地使视频信号分支以记录和/或处理视频信号。在该背景下，Brainlab AG获得了由Ayoda GmbH开发的技术，Ayoda GmbH已经提交了公开的专利申请DE 10 2017 010 351A1。该专利申请描述了一种同时公知的用于以高清晰度且实时地覆盖视频信号的技术。
[0004]本专利技术的专利技术人已经发现，在使用例如内窥镜期间，医学从业者总是需要内窥镜的实况视频图像，因为否则难以控制医疗过程。内窥镜的移动和所显示的视频图像之间的每个时间延迟都会对医学从业者造成刺激。本专利技术的专利技术人还发现，在这种情况下，以增强(即覆盖)的形式为医学从业者提供进一步的图像信息将是非常有益的。
[0005]因此，本专利技术的目的是改进医学视频数据对用户的显示。
[0006]本专利技术可以用于医学视频数据处理和医学视频数据成像中，例如结合诸如在DE 10 2017 010 351A1中详细描述的系统。
[0007]在下文中公开了本专利技术的方面、示例和示例性步骤以及实施方式。只要技术上适宜和可行，本专利技术的不同示例性特征可以根据本专利技术进行组合。
[0008]本专利技术的示例性简短说明
[0009]在下文中，给出了本专利技术的具体特征的简短描述，其不应被理解为将本专利技术仅限制于本节中描述的特征或特征的组合。
[0010]所公开的方法包括从诸如内窥镜、超声装置、显微镜或其任意组合的医学视频模态获取至少两个视频帧。当然，也可以使用其它医学视频模态。在该方法中，将这些视频帧相互比较，其中该比较可以以许多不同的方式实现，如将在下文的具体实施方式的上下文中描述的。例如，在一个实施方式中，在确定/计算视频模态和图像对象之间的运动的影响
的意义上执行漂移检测。在另一示例性实施方式中，由医学视频模态捕获的两个视频帧的比较被实现为自动确定第一视频帧中的增强模型的界标(landmark)，并且被实现为在第二视频帧中搜索并查找所述确定的界标。然后，可以在方法的进一步步骤期间使用上文描述的所述“比较”的这两个示例性实施方式的相应结果，其中基于第一视频帧和第二视频帧之间的所述比较的结果来修改初始覆盖数据。初始覆盖数据的这种修改表示经修改的覆盖数据的生成，所述经修改的覆盖数据随后与来自医学视频模态的医学视频数据一起显示给医学从业者。修改的覆盖数据和医学视频数据的组合(所述组合被显示给用户作为视频输出)在本文中被称为“覆盖”，并且被本领域的读者理解为期望的增强。
[0011]如本文所公开的，生成医学视频数据和覆盖数据的覆盖的该计算机实现的方法可以在计算机或计算单元上执行。然而，该方法还可以在医学视频模态系统中执行，所述医学视频模态系统包括用于生成所述医学视频数据的这种成像系统。这种成像装置的示例性实施方式是内窥镜、超声装置、显微镜及其任意组合。还必须注意的是，专利申请DE 10 2017010 351A1中描述的装置可以用于实现这里描述的方法。本专利技术的专利技术人已经发现，这种装置的本地处理器、计算单元或本地智能可以有益地用于优化覆盖信号的延迟。特别地，使用现场可编程门阵列(FPGA)的医学视频模态系统通常确实具有大量计算能力，其可以用于优化这种覆盖的生成。
[0012]在特定实施方式中，本专利技术的专利技术人建议基于对所述第一视频帧和所述第二视频帧的分析来计算初始覆盖数据(即增强数据)的外推。在这样的实施方式中，从医学视频模态获取的第一视频帧和第二视频帧相对于其视频内容的变化进行分析。然后，可以在该实施方式中使用根据第一视频帧和第二视频帧之间的比较而确定的视频内容的变化来计算初始覆盖数据到未来的特定时间点的外推。所提供的初始覆盖数据，在示例性实施方式中被实现为例如患者的成像身体的一部分的增强模型被外推到未来的该稍后时间点。因此，在该实施方式中，本专利技术建议分析过去视频信号的变化，将该信号外推到未来的特定时间点，然后将初始覆盖数据变形为正确的，即对应的形式。该实施方式例如在图3所示的详细实施方式中实现。
[0013]如前所述，在本专利技术的第二实施方式中，从如下意义上对从医学视频模态获取的第一视频帧和第二视频帧的分析进行比较：执行对第一视频帧中的增强模型的一个或多个界标的自动确定，随后是对第二视频帧内的所述确定的界标的搜索和查找步骤。将在图4所示的实施方式的上下文中更详细地描述该实施方式。
[0014]应当注意，所使用的初始覆盖数据可以具有若干不同的性质和来源。特别地，这样的初始覆盖数据可以是来自医疗跟踪系统的视频信号，但是也可以是例如存储在外部数据库中并且由执行所提出的方法的装置或系统检索或至少可访问的增强模型。
[0015]从本公开中，对于本领域的技术人员来说显而易见的是，在与医学视频数据相比具有非常短的延迟的意义上，可以利用本专利技术生成的覆盖是实时覆盖。特别地，可以令人惊奇地实现低于一个视频帧的延迟或者甚至低于视频帧的几个像素的延迟。另外，将在下文中利用更详细的实施方式来描述和说明利用本专利技术可实现的延迟的减少。

技术实现思路

[0016]在该部分中，例如通过参考本专利技术的可能实施方式来给出本专利技术的一般特征的描
述。
[0017]根据本专利技术的第一方面，提出了一种生成医学视频数据和覆盖数据的覆盖的计算机实现的方法。所述方法包括在步骤S1中从医学视频模态获取医学视频数据的步骤，所述医学视频数据至少包括不同时间点t1和t2的第一视频帧和第二视频帧。所述方法还包括在步骤S2中分析所获取的医学视频数据，该步骤包括执行由第一视频帧和第二视频帧捕获的视频数据的比较。如前面已经指出的，两个视频帧的捕获视频数据的这种比较可以以几种不同的方式来执行，这将在下文中更详细地解释。此外，在步骤S3中提供初始覆盖数据，并且通过基于医学视频数据的分析结果(即，基于第一视频帧和第二视频帧的视频内容的比较结果)，调整初始覆盖数据，来生成经修改的覆盖数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种生成医学视频数据和覆盖数据的覆盖的计算机实现的方法，所述方法包括以下步骤：
‑
从医学视频模态获取所述医学视频数据，所述医学视频数据至少包括不同时间点t1和t2的第一视频帧和第二视频帧(步骤S1)，
‑
分析所获取的医学视频数据，所述分析包括比较由所述第一视频帧和所述第二视频帧捕获的视频数据(步骤S2)；
‑
提供初始覆盖数据(步骤S3)，
‑
通过基于对所述医学视频数据的分析的结果调整所述初始覆盖数据来生成经修改的覆盖数据(步骤S4),以及
‑
通过生成视频输出来生成所述覆盖(步骤S5)，所述视频输出至少包括源自所述医学视频模态的医学视频数据并且包括所生成的经修改的覆盖数据。2.根据权利要求1所述的方法，其中，所生成的覆盖是实时覆盖，其特征在于，与所述医学视频数据相比，所生成的覆盖具有低于一个视频帧、低于视频帧的五行、低于视频帧的两行、低于视频帧的一行、低于视频帧的二十个像素、低于视频帧的十个像素、低于视频帧的八个像素、低于视频帧的五个像素、或低于视频帧的四个像素的时间延迟。3.根据前述权利要求中任一项所述的方法，其中，分析所获取的医学视频数据的步骤(步骤S2)包括通过比较所述第一视频帧和所述第二视频帧(301、303)来确定所述医学视频数据随时间的变化，所述方法还包括以下步骤：
‑
从所述医学视频模态获取至少第三时间点t3的第三视频帧(304)，其中，生成经修改的覆盖数据的步骤(步骤S4)包括：
‑
在计算所述初始覆盖数据到时间点t3的外推时使用所确定的第一视频帧和第二视频帧的视频数据随时间的变化(步骤S4a)，以及其中，所述覆盖的生成(步骤S5)包括：
‑
生成包括所述第三视频帧(304)和被外推(306)到第三时间点t3的初始覆盖数据的视频输出(305)(步骤S5a)。4.根据权利要求3所述的方法，其中，以下关系成立：t1<t2<t3；并且其中优选地，在所述医学视频模态的视频流中，所述第三视频帧直接跟随所述第二视频帧。5.根据权利要求3或4所述的方法，其中，所确定的第一视频帧和第二视频帧中随时间的变化是在视频帧中成像的对象的空间移位。6.根据前述权利要求中任一项所述的方法，其中，所述初始覆盖数据是增强模型，并且其中，生成经修改的覆盖数据的步骤包括将空间移位应用于所述增强模型、将失真应用于所述增强模型、新渲染所述增强模型、调整所述增强模型的参数、用另一增强模型替换所述增强模型、及其任意组合中的至少一个。
7.根据前述权利要求中任一项所述的方法，所述方法还包括以下步骤：
‑
计算所述医学视频模态的成像装置与成像对象之间的运动的影响并在生成经修改的覆盖数据时补偿所计算的影响。8.根据前述权利要求中任一项所述的方法，其中，由所述第一视频帧和所述第二视频帧捕获的视频数据的比较被实现为自动确定所述...

【专利技术属性】
技术研发人员：尼尔斯，
申请(专利权)人：博医来股份公司，
类型：发明
国别省市：