基于图像内容的预测和图像高速缓存器控制器制造技术

一种在包括图像客户端(100)和图像服务器(140)的系统(180)中使用的高速缓存器控制器(120)，该图像客户端通过根据用户的导航请求显示从图像服务器得到的图像数据的视图来使用户能够在具有至少三个空间维度的图像数据中导航，且该高速缓存器控制器包括被配置成获得指示在图像客户端(100)的当前视图中显示的内容的内容数据的处理器(122)，该当前视图表示在图像数据的三个空间维度中的第一视点，该处理器还被配置成根据内容数据来预测图像客户端的视图请求，该视图请求对应于表示图像数据的三个空间维度中的第二视点的视图，且该高速缓存器控制器还包括通信模块(124)，其用于根据视图请求从图像服务器获得视图并用于将视图缓存在高速缓存器(130)中。

【技术实现步骤摘要】
基于图像内容的预测和图像高速缓存器控制器本申请是申请日为2011年10月27日，申请号为201180064006.X的专利技术专利的分案申请。
本专利技术涉及在包括图像客户端、图像服务器和高速缓存的系统中使用的高速缓存器控制器和高速缓存方法。本专利技术还涉及包括高速缓存器控制器的图像服务器和图像客户端。在成像的
中，图像装置可允许用户在三个空间维度(例如体积图像数据的三个空间维度或由二维图像的堆叠形成的那些维度)中的图像数据中导航。该图像装置可例如通过根据用户所发出的导航命令显示三维重建的二维横截面来允许用户在体结构的三维重建中导航。
技术介绍
图像装置可能实际上不包括所有图像数据。相反，图像装置可能是只包含来自图像服务器的图像数据的某些视图的图像客户端。图像客户端和图像服务器可一起形成一种系统，该系统允许用户通过根据用户的导航请求获得来自图像服务器的视图并在图像客户端显示视图来在图像数据中导航。在使用期间，图像数据的所得到的视图构成比所有图像数据少的数据。因此，该系统可使图像客户端能够在图像数据中导航，而不需要图像客户端获得或在本地存储所有图像数据。然而，上述系统可能遭受在用户请求视图与图像客户端能够显示视图之间的时延，即延迟。特别是，时延可能在获得来自图像服务器的视图的时段期间出现。ChongZhang于2007年提交到芝加哥的伊利诺斯大学的标题为“OptiStore:AnOn-DemandDataProcessingMiddlewareforVeryLargeScaleInteractiveVisualization”的博士论文公开了一种运行可视化应用并连接到包括三维图像数据集的数据储存库的客户端。该客户端被布置成使可视化应用到数据集的数据访问时延最小化。为了该目的，主控制器从可视化应用接收视图信息和数据请求。该视图信息涉及例如视点的位置。主控制器然后检查所请求的数据是否存在于高速缓存器中。如果它存在，则高速缓存器将数据返回到可视化应用；否则，它将视图信息传递到预测器。基于视图信息的历史，预测器创建数据请求。最后，一旦所请求的数据从数据储存库到达，它就被存储在高速缓存器中。因此，主控制器通过从视图信息的历史预测未来的数据请求而减小了可视化应用的时延。该主控制器的问题是，它不足以减小当进行在图像客户端上在图像数据中导航时出现的时延。
技术实现思路
有利的是，具有一种用于进一步减小当进行在图像客户端上在图像数据中导航时出现的时延的装置，或一种进一步减小当进行在图像客户端上在图像数据中导航时出现的时延的方法。为了更好地处理这个问题，本专利技术的第一方面提供了在包括图像客户端和图像服务器的系统中使用的高速缓存器控制器，该图像客户端通过根据用户的导航请求显示从图像服务器得到的图像数据的视图来使用户能够在具有至少三个空间维度的图像数据中导航，且该高速缓存器控制器包括被配置成获得指示在图像客户端的当前视图中显示的内容的内容数据的处理器，该当前视图表示在图像数据的三个空间维度中的第一视点，该处理器还配置成根据内容数据来预测图像客户端的视图请求，该视图请求对应于表示图像数据的三个空间维度中的第二视点的视图，且该高速缓存器控制器还包括通信模块，该通信模块用于根据视图请求从图像服务器获得视图并用于将该视图缓存在高速缓存器中。上述高速缓存器控制器是图像客户端/服务器系统的部分。图像服务器在本地存储具有至少三个维度的图像数据，这三个维度是空间维度。图像客户端布置成显示图像数据的当前视图，即，图像数据中被当前显示给用户的一部分的可视化或视觉表示。当前视图对应于从图像数据内或从图像数据外显示图像数据的该部分的在三个空间维度内的视点。图像客户端允许用户通过提取，即检索来自图像服务器的与用户所提供的导航指令相关的视图来交互地在图像数据中导航。用户因此可在图像数据的三个空间维度中导航。此外，该系统包括配置成缓存从图像服务器得到的视图的高速缓存器。高速缓存器控制器包括配置成预测图像客户端的未来视图请求的处理器。该处理器因此有效地预测用户的未来导航行动，因为未来的视图请求一般是用户的未来导航行动的直接结果且因此与用户的未来导航行动直接相关。该预测基于指示当前视图的内容(即包含在当前视图内的某物)的数据。对应于未来视图请求的视图对应于另一视点，即，显示图像数据的另一部分。因此，未来的视图请求反映了对用户改变视点的预测。高速缓存器控制器还包括从图像服务器获得视图的通信模块。该通信模块能够指示高速缓存器将视图缓存在其高速缓存存储器中。因此，当图像客户端真正请求视图时，图像服务器不再需要提供视图。替代地，直接从高速缓存器获得视图。上面的措施具有以下效果：使用当前视图的内容来预测图像客户端的视图请求，且与视图请求相关的视图被缓存在高速缓存器中用于使图像客户端能够稍后从高速缓存器直接获得视图。视图请求由高速缓存器控制器根据当前视图的内容来预测。当前视图的内容一般对用户如何进一步在图像数据中导航有相当明显的影响。因此，高速缓存器控制器通过使该预测基于表示了用户当前正观看的内容的内容数据来预测用户如何在图像数据中导航。这产生相对准确的预测。相对准确的预测具有以下效果：高速缓存器控制器相对可能正确地预测图像客户端的未来视图请求。因此，高速缓存器控制器提供对视图请求的更好预测以用于获得相对低的时延。有利地，高速缓存器控制器向用户提供改进的导航体验。有利地，高速缓存器控制器可使用内容数据来特别地缓存可能与用户特别相关的视图。本专利技术部分基于以下认识：用户可能提供的潜在的导航请求的数量与用户正在其中导航的图像数据的维数成比例，因为维数决定了用户在导航时具有的自由度。因此，与当图像数据只有两个空间维度时相比，在图像数据具有三个空间维度的情况下更难正确地预测未来导航请求。而且，与当图像数据只有两个空间维度和一个时间维度，即，图像数据是视频帧的正常序列时相比，在图像数据具有三个空间维度的情况下更难正确地预测未来导航请求。在视频帧的序列内预测未来视图请求可包含在时间上跟踪用户正注意的对象，这是已知和相对容易的。然而应认识到，当前视图的内容一般指示用户如何在图像数据中导航，而不考虑图像数据的空间维数。例如，如果当前视图显示脊椎骨，则可能用户导航到邻近的脊椎骨是相对可能的。因此，当前视图的内容使能对未来视图请求的准确预测。任选地，该处理器配置成通过执行对当前视图的图像分析来获得内容数据。用户常常下意识地分析当前视图以确定如何进一步在图像数据中导航。图像分析允许高速缓存器控制器以相对类似的方式分析当前视图的内容。高速缓存器控制器因此使其预测基于与用户在确定如何进一步导航时使用的信息相对类似的信息。有利地，改进了对视图请求的预测，且作为结果，得到更低的时延。任选地，该处理器配置成执行图像分析以用于获得在当前视图内的对象并根据该对象来预测视图请求。当前视图可包括对象。在这种情况下，用户可例如通过识别对象并使用它作为参考点来在确定如何进一步在图像数据中导航时使用该对象。通过使用图像分析来获得对象并通过根据对象来预测视图请求，高速缓存器控制器使其预测基于与用户在确定如何进一步导航时使用的信息相对类似的信息。有利地，改进了对视图请求的预测，且作为结果，得到更低的时延。任选地，该处理器本文档来自技高网...

【技术保护点】
1.一种在包括图像客户端(100、400、500、600)和图像服务器(140、440、540、640)的系统(180、480、580、680)中使用的高速缓存器控制器(120、420、520、620)，所述图像客户端通过根据用户的导航请求显示从所述图像服务器获得的具有至少三个空间维度的图像数据的视图来使所述用户能够在所述图像数据中导航，且所述高速缓存器控制器包括：‑处理器(122)，其被配置成获得指示在所述图像客户端(100)的当前视图(200)中显示的内容的内容数据，所述当前视图表示在所述图像数据的所述三个空间维度中的第一视点；‑所述处理器还被配置成根据所述内容数据来预测所述图像客户端的视图请求，所述视图请求对应于表示所述图像数据的所述三个空间维度中的第二视点的视图；以及‑通信模块(124)，其用于根据所述视图请求从所述图像服务器获得所述视图(300)，并用于将所述视图缓存在高速缓存器(130、430、530、630)中，其中，所述处理器(122)被配置成：通过执行对所述当前视图(200)的图像分析来获得所述内容数据，从而获得在所述当前视图(200)内的对象(250)以及在所述当前视图(200)内的所述对象(250)的取向；并且基于通过对所述当前视图的所述图像分析获得的在所述当前视图内的所述对象的所述取向以及通过对所述当前视图的所述图像分析获得的所述对象的当前位置二者来预测与沿着所述对象的所述取向相邻于所述当前视图的邻近视图(300)相关联的请求，以用于预测所述视图请求。...

【技术特征摘要】
2010.11.05 EP 10190111.41.一种在包括图像客户端(100、400、500、600)和图像服务器(140、440、540、640)的系统(180、480、580、680)中使用的高速缓存器控制器(120、420、520、620)，所述图像客户端通过根据用户的导航请求显示从所述图像服务器获得的具有至少三个空间维度的图像数据的视图来使所述用户能够在所述图像数据中导航，且所述高速缓存器控制器包括：-处理器(122)，其被配置成获得指示在所述图像客户端(100)的当前视图(200)中显示的内容的内容数据，所述当前视图表示在所述图像数据的所述三个空间维度中的第一视点；-所述处理器还被配置成根据所述内容数据来预测所述图像客户端的视图请求，所述视图请求对应于表示所述图像数据的所述三个空间维度中的第二视点的视图；以及-通信模块(124)，其用于根据所述视图请求从所述图像服务器获得所述视图(300)，并用于将所述视图缓存在高速缓存器(130、430、530、630)中，其中，所述处理器(122)被配置成：通过执行对所述当前视图(200)的图像分析来获得所述内容数据，从而获得在所述当前视图(200)内的对象(250)以及在所述当前视图(200)内的所述对象(250)的取向；并且基于通过对所述当前视图的所述图像分析获得的在所述当前视图内的所述对象的所述取向以及通过对所述当前视图的所述图像分析获得的所述对象的当前位置二者来预测与沿着所述对象的所述取向相邻于所述当前视图的邻近视图(300)相关联的请求，以用于预测所述视图请求。2.根据权利要求1所述的高速缓存器控制器(520)，其中，所述处理器(122)被配置成从所述图像服务器(540)获得包括所述内容数据的元数据。3.根据权利要求1所述的高速缓存器控制器(520)，其中，所述处理器(122)被配置成从所述图像服务器(540)获得指示所述图像数据的图像内容的元数据，所述图像内容包括所述内容，且所述处理器(122)被配置成通过下列操作来从所述元数据获得所述内容数据：-获得指示在所述图像数据的所述三个空间维度中的所述第一视点的位置的位置数据；并且-根据所述位置数据选择所述元数据的部分来用于获得指示所述内容的所述元数据的所述部分作为所述内容数据。4.根据权利要求1所述的高速缓存器控制器(120)，其中，所述处理器(122)被配置成获得指示所述图像客户端(100)的之前使用的用户历史数据，且所述处理器(122)被配置成根据所述内容数据和所述用户历史数据来预测所述视图请求。5.一种图像客户端(400、500)，包括权利要求1所述的高速缓存器控制器(420、520)。6....

【专利技术属性】
技术研发人员：F·文策尔，T·内奇，S·P·M·德赖斯，
申请(专利权)人：皇家飞利浦电子股份有限公司，
类型：发明
国别省市：荷兰,NL