内窥镜手术裸眼3D图像显示系统与显示方法技术方案

本发明专利技术实施例公开了一种内窥镜手术裸眼3D图像显示系统与显示方法。其中，系统包括内窥镜子系统和裸眼3D图像显示子系统；裸眼3D图像显示子系统包括3D图像处理装置、显示屏幕、双摄像头人眼跟踪装置；内窥镜子系统，连接3D图像处理装置，用于拍摄手术对象图像并发送到3D图像处理装置；双摄像头人眼跟踪装置，用于拍摄医生面部图像并确定人眼的空间位置，根据人眼空间位置得到图像交织参数；3D图像处理装置，用于转换手术对象图像的交织格式，并根据图像交织参数交织完成3D显示图像；并将3D显示图像显示于屏幕。本发明专利技术实施例实现了在内窥镜手术过程中医生无需佩戴眼睛设备，即可观看到手术对象的3D图像，在手术中没有额外的负担。

【技术实现步骤摘要】
内窥镜手术裸眼3D图像显示系统与显示方法
本专利技术实施例涉及医疗设备
，尤其涉及一种内窥镜手术裸眼3D图像显示系统与显示方法。
技术介绍
随着3D图像显示技术的发展，3D显示在腹腔镜手术领域已逐步取代2D显示技术的应用。在腹腔镜手术中应用3D图像显示技术可以提高人体内部结构辨认准确性、降低医生微创手术学习曲线、增强手术安全性。一般的，3D图像采用双摄像头内窥镜进行拍摄，其显示采用传统的偏光3D显示完成。但是，使用传统的偏光3D系统，用户均需佩戴眼镜设备，会给手术操作人员带来额外负担与不便，甚至影响手术安全。举例说明，如医生长时间手术易致偏光镜片，甚至是近视用户的双重配镜污染，进而影响手术区域辨认及操作，配镜模式与画面外医疗信息交互障碍。
技术实现思路
本专利技术实施例提供一种内窥镜手术裸眼3D图像显示系统与显示方法，以实现在内窥镜手术过程中医生无需佩戴3D眼镜设备，即可观看到手术对象的3D图像，在手术中没有额外的负担，便于手术操作。第一方面，本专利技术实施例提供了一种内窥镜手术裸眼3D图像显示系统，该系统包括：内窥镜子系统和裸眼3D图像显示子系统；其中，所述裸眼3D图像显示子系统包括3D图像处理装置、显示屏幕、双摄像头人眼跟踪装置；所述内窥镜子系统，连接所述3D图像处理装置，用于拍摄手术对象图像并发送到所述3D图像处理装置；所述双摄像头人眼跟踪装置，连接所述3D图像处理装置，用于拍摄医生面部图像并确定人眼的空间位置，根据人眼空间位置得到图像交织参数；所述3D图像处理装置，用于转换所述手术对象图像的交织格式，并根据所述图像交织参数交织完成3D显示图像；所述显示屏幕，连接所述3D图像处理装置，用于接收并显示所述3D显示图像。第二方面，本专利技术实施例还提供了一种内窥镜手术裸眼3D图像显示方法，应用于内窥镜手术裸眼3D图像显示系统，该方法包括：内窥镜子系统拍摄手术对象图像，并发送到3D图像处理装置；双摄像头人眼跟踪装置拍摄医生面部图像，并根据所述面部图像确定人眼空间位置，根据人眼空间位置确定图像交织参数；3D图像处理装置转换所述手术对象图像的交织格式，并根据所述图像交织参数，交织完成3D显示图像；将所述3D显示图像显示于显示屏幕上。本专利技术实施例通过内窥镜子系统和裸眼3D图像显示子系统实形成内窥镜手术裸眼3D图像显示系统，解决了使用传统的偏光3D系统，内窥镜手术医生需佩戴眼镜设备，在手术中操作不便的问题，实现在手术过程中直接裸眼观看3D图像的效果。附图说明图1是本专利技术实施例一中的内窥镜手术裸眼3D图像显示系统的结构示意图；图2是本专利技术实施例二中的内窥镜手术裸眼3D图像显示方法的流程图；图3是本专利技术实施例二中的根据医生面部图像确定人眼空间位置，进而确定图像交织参数方法的流程图；图4a是本专利技术实施例二中的带有单色标记的医生面部图像示意图；图4b是本专利技术实施例二中的单色标记的二值图像示意图；图4c是本专利技术实施例二中的医生面部图像中分割出的手术帽和口罩区域示意图；图5是本专利技术实施例二中的医生脸部特征点选取的示意图；图6a是本专利技术实施例二中的医生面部图像中瞳孔灰度示意图；图6b是本专利技术实施例二中的医生面部图像提取出的瞳孔的二值图像；图7a是本专利技术实施利二中按人眼空间位置确定交织参数方法示意图；图7b是本专利技术实施利二中按人眼空间位置确定交织参数方法示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。实施例一图1为本专利技术实施例一提供的内窥镜手术裸眼3D图像显示系统的结构示意图，本实施例可适用于内窥镜手术中观看3D手术对象图像的情况。如图1所示，该系统具体包括：内窥镜子系统1100和裸眼3D图像显示子系统1200。其中，裸眼3D图像显示子系统1200包括3D图像处理装置1210、显示屏幕1220和双摄像头人眼跟踪装置1230。具体的，内窥镜子系统1100，连接3D图像处理装置1210，用于拍摄手术对象图像并发送到3D图像处理装置1210。其中，手术对象图像是指在内窥镜手术过程中患者的目标手术部位，如内窥镜手术为腹腔镜手术，那么手术对象图像则是患者腹腔内需要进行手术处理的部位的图像。双摄像头人眼跟踪装置1230，包括两个摄像头1231和计算机1232，连接3D图像处理装置1210，用于拍摄医生面部图像并确定人眼的空间位置，根据人眼空间位置得到图像交织参数。具体的，采用双摄像头可以更为准确地获取人眼深度信息，即医生距离显示屏幕1220的位置。当双摄像头拍摄到医生面部图像后，则将医生的面部图像发送到计算机中，计算机则从医生面部图像中确定医生人脸区域，根据预先训练得到的医生脸部特征模型确定医生人脸区域内的左眼和右眼位置，进而根据人眼空间位置得到图像交织参数。3D图像处理装置1210，用于转换手术对象图像的交织格式，并根据图像交织参数交织完成3D显示图像。进一步的，3D图像处理装置1210包括：交织转换模块和图像交织模块，其中，交织转换模块，用于将手术对象图像的交织格式转换为适用于3D处理装置的交织格式；图像交织模块，用于根据图像交织参数，交织经过格式转换后的所述手术对象图像数据生成3D显示图像。具体的，交织转换模块在硬件执行图像交织前，将手术对象图像的格式规则化，将输入格式转化为硬件设定的几种交织格式之一，实现了硬件加速，可以减少延迟时间。优选的，硬件交织底层实现的方式为左右交织，对于上下交织格式的图像，采用格式转换的方式比直接进行上下交织较少硬件内部实现的复杂度。显示屏幕1220，连接所述3D图像处理装置1210，用于接收并显示所述3D显示图像。可选的，3D图像处理装置1210还包括：深度调节模块，用于调节手术对象图像内容深度，增强最后显示3D图像内容的深度(即医生的视差)。深度调节模块具体用于：在手术对象图像的像素矩阵的行中插入列或减少列，同时在行左端或行右端减少列或增加列；对于增加的列的区域，采用插值方法完成填充。本实施例的技术方案，通过内窥镜子系统和裸眼3D图像显示子系统实形成内窥镜手术裸眼3D图像显示系统，解决了使用传统的偏光3D系统，内窥镜手术医生需佩戴眼镜设备，在手术中操作不便的问题，实现在手术过程中直接裸眼观看3D图像的效果，本专利技术实施例还通过硬件加速实现了3D图像显示的低延迟。实施例二图2为本专利技术实施例二提供的内窥镜手术裸眼3D图像显示方法的流程图，可由本专利技术实施例中的内窥镜手术裸眼3D图像显示系统来实现。该方法具体包括：S210、内窥镜子系统拍摄手术对象图像，并发送到3D图像处理装置。具体的，内窥镜是一个配备有灯光的管子，它可以经口腔进入胃内或经其他天然孔道进入体内。利用内窥镜可以看到X射线不能显示的病变，因此它对医生非常有用。例如，借助内窥镜医生可以观察胃内的溃疡或肿瘤，据此制定出最佳的治疗方案，或者利用内窥镜进行微创手术。内窥镜进入人体后，会将其拍摄的人体内部图像传输到体外进行图像重建，以供医生对病人诊断或治疗进行使用。在本实施例中，内窥镜子系统将拍摄到的手术对象图像发送到3D图像处理装置，以进行图像处理及图像显示。S220、双摄像头人眼本文档来自技高网...

【技术保护点】
1.一种内窥镜手术裸眼3D图像显示系统，其特征在于，包括：内窥镜子系统和裸眼3D图像显示子系统；其中，所述裸眼3D图像显示子系统包括3D图像处理装置、显示屏幕、双摄像头人眼跟踪装置；所述内窥镜子系统，连接所述3D图像处理装置，用于拍摄手术对象图像并发送到所述3D图像处理装置；所述双摄像头人眼跟踪装置，连接所述3D图像处理装置，用于拍摄医生面部图像并确定人眼的空间位置，根据人眼空间位置得到图像交织参数；所述3D图像处理装置，用于转换所述手术对象图像的交织格式，并根据所述图像交织参数交织完成3D显示图像；所述显示屏幕，连接所述3D图像处理装置，用于接收并显示所述3D显示图像。

【技术特征摘要】
1.一种内窥镜手术裸眼3D图像显示系统，其特征在于，包括：内窥镜子系统和裸眼3D图像显示子系统；其中，所述裸眼3D图像显示子系统包括3D图像处理装置、显示屏幕、双摄像头人眼跟踪装置；所述内窥镜子系统，连接所述3D图像处理装置，用于拍摄手术对象图像并发送到所述3D图像处理装置；所述双摄像头人眼跟踪装置，连接所述3D图像处理装置，用于拍摄医生面部图像并确定人眼的空间位置，根据人眼空间位置得到图像交织参数；所述3D图像处理装置，用于转换所述手术对象图像的交织格式，并根据所述图像交织参数交织完成3D显示图像；所述显示屏幕，连接所述3D图像处理装置，用于接收并显示所述3D显示图像。2.根据权利要求1所述的系统，其特征在于，所述3D图像处理装置包括：交织转换模块和图像交织模块，其中，交织转换模块，用于将所述手术对象图像的交织格式转换为适用于3D处理装置的交织格式；图像交织模块，用于根据所述图像交织参数，交织经过格式转换后的所述手术对象图像数据生成3D显示图像。3.根据权利要求2所述的系统，其特征在于，所述3D图像处理装置还包括：深度调节模块，用于调节所述手术对象图像内容深度。4.根据权利要求3所述的系统，其特征在于，所述深度调节模块具体用于：在所述手术对象图像的像素矩阵的行中插入列或减少列，同时在行左端或行右端减少列或增加列；对于增加的列的区域，采用插值方法完成填充。5.根据权利要求1所述的系统，其特征在于，所述双摄像头人眼跟踪装置包括：两个人眼跟踪摄像头，用于拍摄医生面部图像；计算机，用于接收所述两个人眼跟踪摄像头拍摄的医生面部图像，并根据所述医生面部图像确定人眼的空间位置，根据人眼空间位置得到图像交织参数。6.一种内窥镜手术裸眼3D图像显示方法，应用于内窥镜手术裸眼3D图像显示系统，其特征在于，所述方法包括：内窥镜子系统拍摄手术对象图像，并发送到3D图像处理装置；双摄像头人眼跟踪装置拍摄医生面部图像，并根据所述面部图像确定人眼空间位置，根据人眼空间位置确定图像交织参数；3D图像处理装置转换所述手术对象图像的交织格式，并根据所述图像交织参数，交织完成3D显示图像；将所述3D显示图像显示于显示屏幕上。7.根据权利要求6所述的方法，其特征在于，所述根据所述面部图像确定人眼空间位置，根据人眼空间位置确定图像交织参数包括：从医生面部图像中确定医生人脸区域；根据预先训练得到的医生脸部特征模型确定医生人脸区域内的左眼和右眼位置；根据左眼和右眼位置计算出人眼空间位置，其中，所述人眼空间位置为左眼和右眼相对于双摄像头的空间坐标；根据所述空间坐标确定图像交织参数。8.根据权利要求7所述的方法，其特征在于，所述从医生面部图像...

【专利技术属性】
技术研发人员：胡彦锋，李国新，于炀，高金城，陈佳搏，谢春华，潘燕峰，潘熙松，
申请(专利权)人：张家港康得新光电材料有限公司，
类型：发明
国别省市：江苏,32