一种手术显微镜双路同步微型图像的显示系统及其方法技术方案

本发明专利技术实施例公开了一种手术显微镜双路同步微型图像的显示系统及方法，系统包括手术显微镜、处理装置、裸眼3D显示设备以及投影屏幕，处理装置包括两个输出端及处理模块；处理模块接收手术图像，根据图元的三维顶点坐标进行空间变换，以得到渲染图像，根据渲染图像获取单幅深度图像，并根据单幅深度图像合成多视点图像，通过两个输出端将多视点图像同步输出至裸眼3D显示设备和投影屏幕。实施本发明专利技术实施例，可以提高基于手术显微镜进行手术的学习和交流效果。

A Display System and Method of Double-Channel Synchronized Miniature Image for Surgical Microscope

The embodiment of the present invention discloses a display system and method of double-channel synchronous micro-image of an operating microscope, which includes an operating microscope, a processing device, an open-eyed 3D display device and a projection screen. The processing device includes two output terminals and a processing module. The processing module receives the operation image and performs spatial transformation according to the three-dimensional vertex coordinates of the primitive to obtain the rendered image. A single depth image is obtained from the rendered image, and a multi-view image is synthesized from a single depth image. The multi-view image is synchronously output to the naked-eye 3D display device and projection screen through two output terminals. The implementation of the embodiment of the present invention can improve the learning and communication effect of the operation based on the operating microscope.

【技术实现步骤摘要】
一种手术显微镜双路同步微型图像的显示系统及其方法
本专利技术涉及医疗
，具体涉及一种手术显微镜双路同步微型图像的显示系统及其方法。
技术介绍
在医学领域，许多手术都需要借助显微镜进行操作实施。例如，耳科、眼科、神经外科和整形外科等都需要手术显微镜进行，术者必须经过专业训练。但由于受观察空间和观察条件的限制，手术显微镜所得到的手术实时信息仅能被主刀医生所得知，手术辅助人员或实习医生等无法准确感知，极大地降低了学习和交流效果。
技术实现思路
本专利技术实施例的目的在于提供一种手术显微镜双路同步微型图像的显示系统及其方法，以提高基于手术显微镜进行手术的学习和交流效果。为实现上述目的，第一方面，本专利技术实施例提供了一种手术显微镜双路同步微型图像的显示系统，包括手术显微镜、处理装置、裸眼3D显示设备以及投影屏幕，所述手术显微镜用于获取手术图像，所述手术图像包括多个图元。其中，所述处理装置包括两个输出端及处理模块；所述处理模块用于接收所述手术图像，根据所述图元的三维顶点坐标进行空间变换，以得到渲染图像，所述空间变换指的是依次进行图元空间变换到世界空间、世界空间变换到观察空间、观察空间变换到剪裁空间、剪裁空间变换到裸眼显示空间；所述处理模块还用于根据所述渲染图像获取单幅深度图像，并根据所述单幅深度图像合成多视点图像；所述处理模块还用于通过两个输出端将所述多视点图像同步输出至所述裸眼3D显示设备和投影屏幕。作为本申请一种优选的实施方式，任一所述输出端通过数据线与所述裸眼3D显示设备连接。作为本申请一种优选的实施方式，将所述图元的三维顶点坐标从图元空间变换到世界空间具体包括：验证所述图元所述是否存在子图元；若所述图元不存在子图元，则将所述图元的三维顶点坐标作为世界空间中的位置坐标；若所述图元存在子图元，则将所述图元的三维顶点通过变换矩阵Mmodel确定世界空间的位置坐标，变换矩阵Mmodel如下：其中px，py，pz分别为图元在世界空间中的位置，θ为旋转轴的角度，kx，ky，kz分别为缩放比例。作为本申请一种优选的实施方式，将所述图元的三维顶点坐标从世界空间变换到观察空间时具体包括：将所述图元的三维顶点通过变换矩阵Mview从世界空间变换到观察空间即：其中tx，ty，tz分别是世界空间中图像观察单元的位置坐标，-tx，-ty，-tz表示图像观察单元移到世界空间中的逆过程，θ为旋转轴的角度。作为本申请一种优选的实施方式，将所述图元的三维顶点坐标从观察空间变换到剪裁空间时具体包括：获取所述图像观察单元的最近图像的坐标范围Near、最远图像的坐标范围Far、视角FOV；利用投影矩阵Mfrustum计算图像的高度比Aspect即：三维顶点坐标与所述投影矩阵Mfrustum的乘积即可得到所述图元的三维顶点坐标从观察空间变换到剪裁空间Pclip的坐标即：其中，x，y，z分别为图元的三维顶点坐标。作为本申请一种优选的实施方式，将所述图元的三维顶点坐标从剪裁空间变换到显示空间时具体包括：获取裸眼显示单元的像素宽度pixelwidth、像素高度pixelheight；根据屏幕映射公式将图元的三维顶点坐标从剪裁空间变换到显示空间，即：其中，所述screenx为图元的三维顶点坐标从剪裁空间变换到显示空间的横坐标，所述screeny为图元的三维顶点坐标从剪裁空间变换到显示空间的纵坐标。第二方面，本专利技术实施例提供了一种手术显微镜双路同步微型图像的显示方法，适用于第一方面所述的手术显微镜双路同步微型图像的显示系统。所述方法包括：所述手术显微镜获取手术图像，所述手术图像包括多个图元；所述处理模块接收所述手术图像，根据所述图元的三维顶点坐标进行空间变换，以得到渲染图像，所述空间变换指的是依次进行图元空间变换到世界空间、世界空间变换到观察空间、观察空间变换到剪裁空间、剪裁空间变换到裸眼显示空间；所述处理模块根据所述渲染图像获取单幅深度图像，并根据所述单幅深度图像合成多视点图像；所述处理模块通过两个输出端将所述多视点图像同步输出至所述裸眼3D显示设备和投影屏幕。实施本专利技术实施例的手术显微镜双路同步微型图像的显示系统，处理模块对手术显微镜获取的手术图像进行一系列图像处理以得到多视点图像，再通过两个输出端将多视点图像同步输出至裸眼3D显示设备和投影屏幕；多视点图像在裸眼3D显示设备后可展现出3D效果，便于手术辅助人员或实习医生准确感知手术信息，也方便进行学习和交流。此外，多视点图像在投影屏幕可展现出二维平面效果，手术辅助人员或实习医生可以将裸眼3D显示设备和投影屏幕所展现的手术图像进行比对，从而更好地进行学习与交流。附图说明为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。图1是本专利技术第一实施例提供的手术显微镜双路同步微型图像显示系统的结构示意图。图2是本专利技术第一实施例提供的手术显微镜双路同步微型图像显示方法的流程示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参考图1，是本专利技术第一实施例所提供的手术显微镜双路同步微型图像的显示系统的结构示意图。如图所示，该显示系统包括包括手术显微镜100、处理装置200、裸眼3D显示设备300及投影屏幕400。手术显微镜100的输出端连接处理装置200，处理装置200包括两个输出端，分别连接裸眼3D显示设备300及投影屏幕400。其中，手术显微镜100用于获取手术图像，并将手术图像传输至处理装置200，该手术图像由多个图元构成；处理装置200还包括处理模块，该处理模块用于接收所述手术图像，根据所述图元的三维顶点坐标进行空间变换，以得到渲染图像，所述空间变换指的是依次进行图元空间变换到世界空间、世界空间变换到观察空间、观察空间变换到剪裁空间、剪裁空间变换到裸眼显示空间；所述处理模块还用于根据所述渲染图像获取单幅深度图像，并根据所述单幅深度图像合成多视点图像；所述处理模块还用于通过两个输出端将所述多视点图像同步输出至所述裸眼3D显示设备300和投影屏幕400。具体地，任意一个输出端通过数据线连接裸眼3D显示设备300。需要说明的是，多视点图像输出至投影屏幕400进行平面显示，输出至裸眼3D显示设备300进行3D显示。也就是说，处理模块可控制裸眼3D显示设备对多视点图像进行裸眼显示。具体的，为了实现屏幕后处理效果，首先需要在Unity中添加一个脚本，用于获取当前屏幕的渲染纹理，之后利用Unity中提供的函数Graphics.Bilt来调用Shader来进行图像后期的处理，其中Shader部分的工作就是进行图片的处理工作，比如虚化，高斯模糊等图像操作，最后把渲染纹理显示到屏幕上即可。Unity中深度纹理实质上是一张渲染纹理，存储着高精度的纹理值，而不是颜色值。Unity中的纹理的深度值进行了归一化，范围在0和1间，该深度值的本文档来自技高网...

【技术保护点】
1.一种手术显微镜双路同步微型图像的显示系统，包括手术显微镜、处理装置、裸眼3D显示设备以及投影屏幕，所述手术显微镜用于获取手术图像，所述手术图像包括多个图元，其特征在于，所述处理装置包括两个输出端及处理模块；所述处理模块用于接收所述手术图像，根据所述图元的三维顶点坐标进行空间变换，以得到渲染图像，所述空间变换指的是依次进行图元空间变换到世界空间、世界空间变换到观察空间、观察空间变换到剪裁空间、剪裁空间变换到裸眼显示空间；所述处理模块还用于根据所述渲染图像获取单幅深度图像，并根据所述单幅深度图像合成多视点图像；所述处理模块还用于通过两个输出端将所述多视点图像同步输出至所述裸眼3D显示设备和投影屏幕。

【技术特征摘要】
1.一种手术显微镜双路同步微型图像的显示系统，包括手术显微镜、处理装置、裸眼3D显示设备以及投影屏幕，所述手术显微镜用于获取手术图像，所述手术图像包括多个图元，其特征在于，所述处理装置包括两个输出端及处理模块；所述处理模块用于接收所述手术图像，根据所述图元的三维顶点坐标进行空间变换，以得到渲染图像，所述空间变换指的是依次进行图元空间变换到世界空间、世界空间变换到观察空间、观察空间变换到剪裁空间、剪裁空间变换到裸眼显示空间；所述处理模块还用于根据所述渲染图像获取单幅深度图像，并根据所述单幅深度图像合成多视点图像；所述处理模块还用于通过两个输出端将所述多视点图像同步输出至所述裸眼3D显示设备和投影屏幕。2.如权利要求1所述的手术显微镜双路同步微型图像的显示系统，其特征在于，任一所述输出端通过数据线与所述裸眼3D显示设备连接。3.如权利要求1所述的手术显微镜双路同步微型图像的显示系统，其特征在于，将所述图元的三维顶点坐标从图元空间变换到世界空间具体包括：验证所述图元所述是否存在子图元；若所述图元不存在子图元，则将所述图元的三维顶点坐标作为世界空间中的位置坐标；若所述图元存在子图元，则将所述图元的三维顶点通过变换矩阵Mmodel确定世界空间的位置坐标，变换矩阵Mmodel如下：其中px，py，pz分别为图元在世界空间中的位置，θ为旋转轴的角度，kx，ky，kz分别为缩放比例。4.如权利要求3所述的手术显微镜双路同步微型图像的显示系统，其特征在于，将所述图元的三维顶点坐标从世界空间变换到观察空间时具体包括：将所述图元的三维顶点通过变换矩阵Mview从世界空间变换到观察空间即：其中tx，ty，tz分别是世界空间中图像观察单元的位置坐标，-tx，-ty，-tz表示图像观察单元移到世界空间中的逆过程，θ为旋转轴的角度。5.如权利要求2所述的手术显微镜双路同步微型图像的显示系统，其特征在于，将所述图元的三维顶点坐标从观察空间变换到剪裁空间时具体包括：获取所述图像观察单元的最近图像的坐标范围Near、最远图像的坐标范围Far、视角FOV；利用投影矩阵Mfrustum计算图像的高度比Aspect即：三维顶点坐标与所述投影矩阵Mfrustum的乘积即可得到所述图元的三维顶点坐标从观察空间变换到剪裁空间Pclip的坐标即：其中，x，y，z分别为图元的三维顶点坐标。6.如权利要求5所述的手术显微镜双路同步微型图像的显示系统，其特征在于，将所述图元的三维顶点坐标从剪裁空间变换到显示空间时具体包括：获取裸眼显示单元的像素宽度pixelwidth、像素高度pixelheight；根据屏幕映射公式将图元的三维顶点坐标从剪裁空间变换到显示空间，即：其中，所述screenx为图元的三...

【专利技术属性】
技术研发人员：宋祥锐，区耀文，
申请(专利权)人：广州狄卡视觉科技有限公司，
类型：发明
国别省市：广东,44