利用放大来保持邻近的环境感知制造技术

本公开涉及利用放大来保持邻近的环境感知。识别手术部位的视觉输出中的关注区域。识别手术部位的视觉输出中的关注区域。对关注区域执行放大操作，以生成变大的关注区域。基于与放大操作相关联的放大量，确定视觉输出中的关注区域周围的被遮挡区域。被遮挡区域是视觉输出的一个区域，其通过将变大的关注区域放置在视觉输出中的关注区域之上而被遮挡。对视觉输出的被遮挡区域应用非线性压缩，以生成被压缩的被遮挡区域。更新变大的关注区域以包括被压缩的被遮挡区域。压缩的被遮挡区域。压缩的被遮挡区域。

【技术实现步骤摘要】
利用放大来保持邻近的环境感知


[0001]至少一个实施例涉及根据本文所述的各种新技术对图像数据的部分执行放大操作，同时保持被放大部分的环境感知。例如，实施例根据本文所述的各种新技术提供围绕放大的关注区域的区域的环境感知。

技术介绍

[0002]内窥镜广泛用于人体内部的医疗程序。特别是，光学变焦内窥镜被用来提供高分辨率成像，具有人体内部宽视野的关注区域的特写(例如，放大)视图。放大或变大的关注区域使用户能够在保持高图像质量的同时观察变大的图像以便进一步检查。一般来说，为了保持在人体内部其他部分的视野中放大的关注区域的环境，放大的关注区域被覆盖在人体的宽视野上。然而，放大关注区域在人体内部宽视野中占据了额外的空间，导致人体内部的宽视野的一部分被覆盖的放大关注区域遮挡。因此，用户不知道人体内部的宽视野的被覆盖的放大关注区域所遮挡的部分的细节。这些细节可能是外科医生在手术过程中要知道的重要细节。
附图说明
[0003]图1为根据至少一个实施例的用于在放大的手术过程中保持邻近环境感知的系统的图；
[0004]图2A和2B为根据至少一个实施例的在放大的手术过程中对帧的一部分执行的非线性压缩以保持邻近环境感知的示例；
[0005]图3为根据至少一个实施例的在放大的手术过程中保持邻近环境感知的过程的流程图；
[0006]图4为根据至少一个实施例的基于事件触发在放大的手术过程中保持邻近环境感知的过程的流程图；
[0007]图5A
‑
5C为根据至少一个实施例的在基于事件触发保持在放大的手术过程中邻近环境感知的示例；以及
[0008]图6为示出根据至少一个实施例的计算机系统的框图。
具体实施方式
[0009]本文描述的实施例涉及用于变大图像的部分，同时保持图像的非变大部分的邻近环境感知的系统和方法。在实施例中，在医疗过程中内窥镜可以捕获身体内手术部位的图像(如视频帧)。在手术或另一医疗手术期间，图像/视频可以在可以被医生看到的显示器上显示(例如，通过视觉输出)。在某些实施例中，视觉输出可以是手术部位的单个图像或视频(例如，图像帧序列)。取决于实施例，临床医生可以在视觉输出中识别要关注的关注区域(AOI)。可替代地，处理逻辑可以自动识别AOI。一旦识别了视觉输出中的关注区域，可以对视觉输出中的所识别的关注区域执行放大操作。
[0010]取决于实施例，在对被识别的关注区域执行放大操作之前，可以从视觉输出中裁剪被识别的关注区域。在某些实施例中，基于临床医生打算保持放大的被识别的关注区域(例如，放大区域)的一部分来设置截止百分比。基于所设置的截止百分比，确定关注区域周围的压缩区域(例如，被识别的关注区域的剩余部分)。一旦确定了压缩区域，就对压缩区域应用非线性压缩以生成被压缩区域。该被压缩区域可以是围绕放大区域的环。在某些实施例中，执行压缩区域的非线性压缩可包括基于放大操作获得比例因子和基于所设置的截止百分比获得放大区域的半径。一旦获得了比例因子和放大区域的半径，就可以基于所获得的比例因子和放大区域的半径确定幂系数。此外，对于位于压缩区域内的每个像素，可以对该像素应用幂系数以获得新的像素值以更新该像素。在某些实施例中，将像素坐标从笛卡尔坐标转换为极坐标，以便将幂系数应用于像素的径向坐标。然后将像素坐标转换回笛卡尔坐标，以取得新的像素值。一旦将幂系数应用于压缩区域内的每个像素，就会生成被压缩区域。
[0011]生成被压缩区域之后，视觉输出被更新为包括经修改的关注区域，其包括放大区域和被压缩区域。取决于实施例，视觉输出可以通过将包括放大区域和被压缩区域的经修改的关注区域拼接到关注区域被从中裁剪的视觉输出而被更新。可在显示设备上显示更新后的视觉输出，其包括具有放大区域和被压缩区域的被识别的关注区域。
[0012]本公开的方面通过给临床医生的被手术部位的放大区域遮挡的手术部位的压缩部分来解决上述和其他缺陷。另外，和/或可替代地，围绕放大区域的没有被遮挡的手术部位的部分可以被压缩以适应放大区域的增加的尺寸。
[0013]本公开的优点包括但不限于，为被放大区域遮挡的手术部位的部分和围绕放大区域的手术部位的部分提供环境感知，因此，允许临床医生在不受阻碍的情况下查看放大区域中的关注区域以外的手术部位的各方面。
[0014]本文讨论的实施例涉及对内窥镜生成的医学图像执行操作。然而，应该理解的是，本文关于来自内窥镜的图像所描述的实施例也适用于其他类型的医学图像，其可以是也可以不是光学图像。实施例可应用于的其他类型医学图像的示例包括荧光透视图像、射线照相图像(例如，x射线图像)、磁共振成像(MRI)图像、超声图像、弹性成像图像、光声图像等。此外，本文关于来自内窥镜的图像所描述的实施例适用于非医学图像，例如为质量控制目的、艺术目的等而生成的图像。
[0015]图1示出了根据本公开的一些实施例的用于对图像或视频中的AOI执行放大操作同时保持AOI周围区域的邻近环境感知的系统，一般显示为系统100。系统100包括计算机系统110、图像输入设备130、手术设备140、显示器150和输入设备160。在某些实施例中，可以省略一个以上部件，如手术设备140。
[0016]计算机系统110可以是服务器、片上系统(SoC)、台式计算机、膝上型计算机、移动计算设备、视频游戏控制台、云计算环境和/或任何其他计算机系统。在实施例中，计算机系统110可以是诸如视频游戏控制台、移动电话、自动驾驶车辆、非自动驾驶车辆、视频监控系统、笔记本电脑、台式电脑、质量分析(QA)检查系统或其他系统等设备的组件。在至少一个实施例中，计算机系统110可以包括但不限于代表一个或更多个图形处理单元(GPU)、中央处理单元(CPU)和/或任何其他处理器的一个或更多个处理器120。计算机系统110可以进一步包括高速缓存、数据存储，和/或未示出的其他组件和特征。
[0017]在至少一个实施例中，计算机系统110可以包括数据存储(例如，存储器)。在至少一个实施例中，数据存储可以为或包括计算机系统110的片上存储器，其可以存储用于可以在计算机系统110的处理器120上执行的压缩组件115的指令。数据存储可以附加地或替代地存储被图像输入设备130捕获的图像或运动图像(例如，视频)的一个或更多个分量。在至少一个实施例中，数据存储可以包括三级(“L3”)高速缓存和/或二级(“L2”)高速缓存，其对于计算机系统110的处理器120可用。数据存储可以附加地或替代地包括硬盘驱动器和/或固态驱动器。
[0018]图像输入设备130可以是包括能够生成诸如图像和/或视频的图像数据的一个或更多个图像传感器的设备。在一个实施例中，图像输入设备130为捕捉手术部位的图像和/或视频(例如，运动图像)的内窥镜。在手术期间，内窥镜可以插入人体或动物体内，并且可以执行手术操作以及生成手术操作的图像数据。其他类型的医学图像输入设备包括超声机、X射线成像仪、MRI机等。图像输入设备130也可以为相机(例如，手机的相机、质量分析(Q本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，包括：在手术部位的视觉输出中识别关注区域；对所述关注区域执行放大操作以生成变大的关注区域；基于与所述放大操作相关联的放大量，确定所述视觉输出中的所述关注区域周围的被遮挡区域，其中所述被遮挡区域为通过将变大的关注区域放置在所述视觉输出中的所述关注区域之上而变为被遮挡的所述视觉输出的一个区域；对所述视觉输出的所述被遮挡区域应用非线性压缩，以生成被压缩的被遮挡区域；以及更新所述变大的关注区域以包括所述被压缩的被遮挡区域。2.根据权利要求1所述的方法，其中所述手术部位的所述视觉输出为图像。3.根据权利要求1所述的方法，其中在所述手术部位的所述视觉输出中识别所述关注区域包括：从所述手术部位的所述视觉输出裁剪所述关注区域。4.根据权利要求3所述的方法，进一步包括：将包括所述被压缩的被遮挡区域的所述变大的关注区域拼接到所述手术部位的所述视觉输出。5.根据权利要求1所述的方法，其中所述手术部位的所述视觉输出为所述手术部位的视频的一帧，并且其中针对所述视频的多个帧执行所述识别、所述执行、所述确定、所述应用、所述更新。6.根据权利要求5所述的方法，其中所述视频为所述手术部位的实时视频，所述方法进一步包括：输出包括所述视觉输出和所述变大的关注区域的所述视频的实时馈送。7.根据权利要求1所述的方法，其中对所述被遮挡区域应用非线性压缩包括：基于所述放大操作，获得比例因子；基于所述变大的关注区域的中心和所述变大的关注区域的半径之间的半径确定放大区域百分比；基于所述放大区域百分比和所述比例因子确定幂系数；针对所述被遮挡区域的每个像素，基于所述幂系数确定相应像素的新像素值；以及使用所述新像素值更新所述相应的像素。8.根据权利要求7所述的方法，其中确定所述新像素值包括：获得所述相应像素的极坐标；通过向所述相应像素的所述极坐标的半径值应用所述幂系数来确定新半径值；以及基于所述新半径值获得新像素的笛卡尔坐标。9.一种系统，包括：图像捕获装置，其配置为获取手术部位的至少一帧；以及一个或更多个处理器，其可操作地耦合到所述图像捕获装置，所述一个或更多个处理器用于执行操作，所述操作包括：基于所述手术部位的所述至少一帧，识别所述手术部位的视觉输出中的关注区域；对所述关注区域执行放大操作以生成变大的关注区域；基于与所述放大操作相关联的放大量，确定所述视觉输出中的所述关注区域周围的被遮挡区域，其中所述被遮挡区域为通过将变大的关注区域放置在所述视觉输出中的关注区
域之上而变为被遮挡的所述视觉输出的一个区域；对所述视觉输出的所述被遮挡区域应用非线性压缩，以生成被压缩的被遮挡区域；以及更新所述变大的关注区域以包括所述被压缩的被遮挡区域。10.根据权利要求9所述的系统，其中所述手术部位的所述视觉输出为图像。11.根据权利要求9所述的系统，其中在所述手术部位的所述视觉输出中识别所述关...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：辉达公司，
类型：发明
国别省市：