增强现实的非真实感绘制制造技术

本发明专利技术公开了一种用于绘制场景的捕捉图像的方法和系统，所述方法和系统通过根据捕捉到的图像像素分配像素透明度值，提供穿过绘制的图像的透视景象，例如穿过在场景背后的绘制的现实增强对象绘制图像的透视景象。所述方法和系统在绘制的图像中保存场景的某个结构，而不需要场景的模型。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及一种绘制图像的方法，尤其提供了遮挡暗示，例如在医学上的增强现实显示中。
技术介绍
增强现实(AR)正成为手术过程中的一种有价值的工具。在手术任务的过程中提供实时的、被记录的手术前数据不需要参考离线图像并且有助于将这些数据记录到真实的组织。感兴趣对象的可视化通过AR提供的“透视景象”变成可实现的。 近年来，越来越多地在微创手术(MIS)中使用医疗遥控设备。通过遥控设备辅助的MIS，微处理器控制的机械手臂增强了灵巧性，允许动作调整以减少总的手移动，以及允许执行在其他情况下不可能执行的微尺度任务。 手术遥控设备的独特操作设置提供了理想的平台，用以通过手术前/手术时的图像或计算机生成的图形增大视野。AR的行效性和临床效益已经在神经手术和整形手术中得到了广泛的认可。然而，AR在心脏和胸腔手术和肠胃手术中的应用仍然有限，其原因是由于组织变形的复杂性为AR显示带来了巨大的挑战。 AR的无缝合成依赖于许多因素，这些因素和虚拟对象显示的方式以及其与真实场景在视觉上的相互作用有关。AR中的主要问题之一是正确处理遮挡。尽管虚拟环境和现实环境的部分遮挡的处理能够通过手术场景的精确3D重建实现，但是尤其是随着实时3D组织变形恢复的新技术的出现，大部分手术AR应用包含了在暴露的组织表面背后的解剖结构的叠覆。解剖结构的叠覆对于例如冠状动脉搭桥是很重要的，在所述冠状动脉搭桥中，改良的解剖可视化和机能可视化允许更精确的手术中导航和血管切除。在前列腺切除手术中，围绕物解剖的3D可视化导致改良了神经血管束保护以及提高了自制率和效力率。 虽然在立体景象环境中提供有用的平面参考，但是传统覆盖的AR具有不精确的深度感知问题。即便对象在正确的深度绘制，但大脑也感知到对象在表面的上方浮动(例如参见由Johnson LG等人撰写的文章，刊登在Studies in Health Technology and Informatics 2003第94期第131-136页的“Surface transparency makes stereo overlaysunpredictablethe implications for augmented reality”；以及由Swan JE等人撰写的文章，刊登在IEEE Transactions on Visualization and ComputerGraphics 2007第13(3)期第429-442页的“Egocentric Depth Judgmentsin Optical，See-Through Augmented Reality”)。 对于被感知为嵌入在组织内的对象，我们的大脑期待一定程度的遮挡。为了解决AR中深度感知的问题，已经开发了许多绘制技术和显示策略以允许精确地感知虚拟结构相对于暴露的组织表面的3D深度。在Sielhorst T等人撰写的刊登在Medical Image Computingand Computer-Assisted Intervention-MICCAI 20062006第364-372页的文章“Depth Perception-A Major Issue in Medical AREvaluation Study byTwenty Surgeons”中，已经研究过在医疗AR中的深度感知问题。与上述两篇引用的参考文章一致，已经发现如果AR对象被绘制为不透明的，那么该AR对象的深度感知就很差，因为即便该AR对象被绘制在其背景正确的深度，它也看来似乎浮在外体表面的上面。两种改良深度感知的方法已经被确定将体表面和AR对象都绘制成透明的或者用其内部定义的窗口绘制体表面，以便该窗口提供遮挡线索，由此在该窗口内可以看到在另外的情况下被体表面遮挡的AR对象。关于前一个方法(透明绘制)，虽然其可以导致改良某些表面的深度感知，但是在通常情况下，绘制两个覆盖的透明表面导致在遮挡处的视觉线索冲突，这使得深度感知很差(参见上述引用Johnson等人的文章)。后一个方法(绘制窗口)的缺点是关于窗口内体表面的所行信息都丢失了。 2006年10月，在丹麦哥本哈根召开的关于医疗成像与计算机辅助手术的增强现实环境的国际学术研讨会(International Workshopon Augmented Reality environments for Medical Imaging andComputer-aided Surgery(AMI-ARCS 2006))中，C.Bichimeir和N.Navab的文章“In Virtual Window for Improved Depth Perception in Medical AR”(http://ar.in.tum.de/pub/bichlmeier2006window/bichlmeier2006window.pdf可在线获取)中已经研究了在维护关于窗口内体表面信息的同时改良通过窗口方法获得的深度感知的各种方法。下列方法已经被考虑根据体表面的形状调整窗口的形状、用由于虚拟光源而造成的强光效果将窗口表面绘制成像玻璃一样、使用简单结构纹理描绘窗口平面、为窗口模拟有限尺寸的框架以及将AR对象的背景设置为透明的或是不透明的。除了最后一个，所有这些方法的缺点是必须知道体表面的3D模型，以便窗口轮廓或表面能够按照该3D模型来绘制。这种3D模型很难，尤其是在体表面在成像过程中形变或以其他方式改变的情况下。
技术实现思路
根据本专利技术的一个方面，本专利技术提供了一种根据权利要求1中定义的绘制捕捉到的数字图像的方法。 有利的是，通过基于捕捉到的图像本身设置相应的非真实感绘制(NPR)图像的透明度值，就可能定义部分透明的窗口，该窗口保存图像的某部分结构以提供遮挡线索，使得深度感知变成可能的(在绘制二维图像的情况下)或者对其有辅助作用(在绘制三维图像的情况下)。由于所述方法是基于图像数据本身，所以该方法不需要图像下面的场景的模型。 如上所述，所述NPR图像可以绘制成二维视图或者可以捕捉第二个图像以定义立体视图。在任何情况下，可以绘制在捕捉到的图像后面的虚拟(例如AR)对象。 透明度值的分配可以在窗口内完成，使得NPR捕捉的图像在窗口外保持不透明，当不能透过窗口看到对象时遮挡该对象。为了更自然地显示场景或为了在立体视图中帮助定影两个窗口，透明度值可以自窗口内向外逐渐地混合。窗口位置可以根据观察者的视线来定义，通过连续跟踪观察者的视线或仅在接收到来自观察者的更新请求时更新位置。当然，如果是立体观看，那么两张(左和右)NPR图像中的窗口可以偏移由依照立体视图的相机位置和参数确定的量。 透明度值可以被确定为在捕捉到的图像中相应位置的标准化图像强度梯度的函数。计算所述图像强度梯度可以包括确定关于图像坐标的偏导数，图像坐标由相应位置上的图像强度分割。 如上所述的确定NPR图像透明度的方法可以被看作是设置透明度值的方法的举例，该方法通过为NPR图像的区域定义凸出图并分配透明度值来设置透明度值，透明度值作为同一凸出图中各相应位置的值的函数。可以安排所述凸出图捕捉图像的凸出特征，例如，因为该特征从下面的场景背景中突出或因为颜色和/或强度的对比而显著的特征。特别地，所本文档来自技高网...

【技术保护点】
一种绘制捕捉的数字图像的方法，所述数字图像由相机捕捉并且由多个图像像素定义为非真实感绘制的ＮＰＲ图像，所述ＮＰＲ图像由多个ＮＰＲ图像像素定义，每个ＮＰＲ图像像素都具有相关的ＮＰＲ透明度值，其中至少一些ＮＰＲ图像像素的透明度值是依据相应的、捕捉的图像的像素来确定。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：GZ杨，M勒罗第克，
申请(专利权)人：帝国创新技术有限公司，
类型：发明
国别省市：GB[英国]