基于医学影像的三维空间坐标转换为影像二维坐标的方法技术

本发明专利技术公开了基于医学影像的三维空间坐标转换为影像二维坐标的方法，在保持X光影像拍摄的目标没有发生大幅度位移的情况下，计算捕捉到的被追踪器械的三维空间位置信息经过转换后输出该影像上的实时影像二维位置。本发明专利技术在拍摄环境没有发生较大变化的情况下，实时显示被追踪设备在拍摄好的X光影像上的位置。能够极大减少患者和医生被辐射的次数，降低相关手术难度，减少手术时间和风险。

【技术实现步骤摘要】
基于医学影像的三维空间坐标转换为影像二维坐标的方法
本专利技术属于医学影像诊断辅助
，具体涉及基于医学影像的三维空间坐标转换为影像二维坐标的方法。
技术介绍
医学影像是指为了医疗或医学研究，对人体或人体某部分，以非侵入方式取得内部组织影像的技术与处理过程。它包含以下两个相对独立的研究方向：医学成像系统和医学图像处理。前者是指图像行成的过程，包括对成像机理、成像设备、成像系统分析等问题的研究；后者是指对已经获得的图像作进一步的处理，其目的是或者是使原来不够清晰的图像复原，或者是为了突出图像中的某些特征信息，或者是对图像做模式分类等等。作为一门科学，医学影像属于生物影像，并包含影像诊断学、放射学、内视镜、医疗用热影像技术、医学摄影和显微镜。另外，包括脑波图和脑磁造影等技术，虽然重点在于测量和记录，没有影像呈显，但因所产生的数据俱有定位特性(即含有位置信息)，可被看作是另外一种形式的医学影像。然而，在现有技术中，在临床手术方面，越来越多的患者希望选择创伤小恢复快的微创手术；在引导内窥镜植入阶段，医生往往需要拍摄大量的X光影像来确认病灶位置和引导器械的位置；由于大剂量X光的使用造成的辐射会对患者身体造成伤害。在医疗培训方面，微创手术培训使用的教学器具，通常是无法直接看见引导器械需要到达的目标区域的，在穿刺过程中也同样存在拍摄大量的X光影像来确认病灶位置和引导器械的位置情况。
技术实现思路
本专利技术目的在于提供基于医学影像的三维空间坐标转换为影像二维坐标的方法，用于解决上述现有技术中存在的技术问题之一，如：在现有技术中，在临床手术方面，越来越多的患者希望选择创伤小恢复快的微创手术；在引导内窥镜植入阶段，医生往往需要拍摄大量的X光影像来确认病灶位置和引导器械的位置；由于大剂量X光的使用造成的辐射会对患者身体造成伤害。在医疗培训方面，微创手术培训使用的教学器具，通常是无法直接看见引导器械需要到达的目标区域的，在穿刺过程中也同样存在拍摄大量的X光影像来确认病灶位置和引导器械的位置情况。为实现上述目的，本专利技术的技术方案是：基于医学影像的三维空间坐标转换为影像二维坐标的方法，包括以下步骤：S1、通过三目式高清红外摄像装置配合运动捕捉系统进行三维空间位置的捕捉；将带有反光材料的标记点固定在需要被追踪的物体上，并在运动捕捉系统中将上述标记点编辑成同一个刚体，当该被追踪的物体暴露在三目式高清红外摄像装置下时，三目式高清红外摄像装置进行高速连续抓拍，然后将拍到的图片信息传输回计算机，计算出单个标记点的空间位置，再将图片中拍到的所有标记点和运动捕捉系统中编辑好的刚体进行匹配，匹配成功以后即可获得被追踪的物体的空间信息；S2、计算运动捕捉系统捕捉到的三维空间坐标系到医学影像采集设备成像空间的转换关系；首先获取多个具有唯一性的特征点在两套不同坐标系里的坐标信息，这里的唯一性是指：每一个特征点在所有特征点构成的一个集合中具有相对位置关系的唯一性，即所有的特征点的位置经采集后都可识别一一对应，任何角度下都不存在两个或两个以上的点存在对称或类似的单个坐标对应的特征点不唯一的情况；集成了这些特征点的设备即为空间配准装置，在使用该空间配准装置时只需手持该空间配准装置在X光影像采集设备和拍摄目标间的区域进行拍摄即可，该空间配准装置上共集成了两种不同的标记点：第一、特定反光材料的特征点，采用三目式高清红外摄像装置识别，并通过相对位置关系计算出其它非反光材料的特征点在这套坐标系中的位置信息；第二、大密度材料制作的标记点，在X光影像采集设备采集到的影像中，与骨骼、肌肉、手术器械区别；S3、使用医学影像采集设备对空间配准装置进行一次拍摄，根据各标记点的相对位置的三维坐标和实际成像后的二维坐标之间的对应关系，得到3x3上三角矩阵A；S4、通过opencv识别特定形状的特征点提取出每一个对应特征点在X光影像上的二维坐标；通过代入记录的特征点三维坐标和特征点的初始相对位置坐标，以及X光影像中的二维位置和步骤S3中得到的医学影像采集设备相关参数计算出三维影像采集坐标系到影像二维坐标系的转换矩阵；S5、将带有特定反光材料的特征点的追踪器械固定于穿刺设备上；三目式高清红外摄像装置只能识别特征点的位置，根据实际跟踪的点与特征点的相对位置关系，推算出这个点当前的三维坐标；再代入后续的运算，需要被追踪的点与特征点之间必须保持相对位置不变的刚性连接，标定一次穿刺设备端点，标定方法即为将需追踪的点放在标定工具的中心，对比该点与标定工具几何中心的坐标，得到该点和特征点的相对位置关系；然后通过三目式高清红外摄像装置实时采集特征点坐标，加上标定的相对位置坐标计算出端点坐标，代入计算好的转换矩阵得到该穿刺设备在X光影像上的实时二维坐标。进一步的，步骤S4中计算出三维影像采集坐标系到影像二维坐标系的转换矩阵的计算方法为：1、使用X光影像采集设备拍摄空间配准装置得到X光影像，同时使用三目式高清红外摄像装置采集P0-P3四个特征点的空间位置关系；2、自动识别出17个标记点在影像上的二维坐标；3、计算P0-P3四个特征点的相对坐标到三目式高清红外摄像装置测量坐标的变换矩阵Rt；4、计算17个标记点的相对坐标到X光影像上的二维坐标的转换矩阵H；5、根据H和A计算旋转平移矩阵RtBall，旋转平移矩阵RtBall即为标记点坐标到C-Arm中心坐标的变换矩阵；6、用RtBall左除[Rt；0001]得到RtCC，RtCC即为3x4旋转平移矩阵；7、如有一点P在三目式高清红外摄像装置采集到的坐标为（x,y,z），则P点在X光影像上的坐标为（u，v）。进一步的，步骤S1中，三目式高清红外摄像装置进行高速连续抓拍，然后将拍到的图片信息传输回计算机，图片信息具体处理步骤如下：第一步、对于高速连续抓拍到的多张图片，检测并识别每张图片信息中的标记点；第二步、将检测并识别到的标记点缩放成一个预设尺寸大小的标准标记点，并转化处理成灰度图；第三步、建立卷积神经网络，所述卷积神经网络包括依次对所输入标准标记点进行处理的输入层、预设多个卷积层、预设多个全连接层和输出层；第四步、将一部分标准标记点的灰度图作为训练集的输出，该部分灰度图对应的图片信息作为训练集的输入，对所述卷积神经网络进行训练；第五步、将一部分标准标记点的灰度图作为测试集的标准输出，该部分灰度图对应的图片信息作为测试集的输入，输入到完成训练的卷积神经网络中，将卷积神经网络此时的输出与所述标准输出进行对比，若二者匹配，则由所述卷积神经网络提取高速连续抓拍到的多张图片中的标记点，若二者不匹配，则回到第一步。进一步的，所述三目式高清红外摄像装置采用OptitrackV120摄像机。进一步的，上述第二步中，还包括以下步骤：预先设置OptitrackV120摄像机在其所在环境中拍摄图片信息中标记点部分所包含的像素点的阈值灰度值；...

【技术保护点】
1.基于医学影像的三维空间坐标转换为影像二维坐标的方法，其特征在于，包括以下步骤：/nS1、通过三目式高清红外摄像装置配合运动捕捉系统进行三维空间位置的捕捉；将带有反光材料的标记点固定在需要被追踪的物体上，并在运动捕捉系统中将上述标记点编辑成同一个刚体，当该被追踪的物体暴露在三目式高清红外摄像装置下时，三目式高清红外摄像装置进行高速连续抓拍，然后将拍到的图片信息传输回计算机，计算出单个标记点的空间位置，再将图片中拍到的所有标记点和运动捕捉系统中编辑好的刚体进行匹配，匹配成功以后即可获得被追踪的物体的空间信息；/nS2、计算运动捕捉系统捕捉到的三维空间坐标系到医学影像采集设备成像空间的转换关系；首先获取多个具有唯一性的特征点在两套不同坐标系里的坐标信息，这里的唯一性是指：每一个特征点在所有特征点构成的一个集合中具有相对位置关系的唯一性，即所有的特征点的位置经采集后都可识别一一对应，任何角度下都不存在两个或两个以上的点存在对称或类似的单个坐标对应的特征点不唯一的情况；集成了这些特征点的设备即为空间配准装置，在使用该空间配准装置时只需手持该空间配准装置在X光影像采集设备和拍摄目标间的区域进行拍摄即可，该空间配准装置上共集成了两种不同的标记点：/n第一、特定反光材料的特征点，采用三目式高清红外摄像装置识别，并通过相对位置关系计算出其它非反光材料的特征点在这套坐标系中的位置信息；/n第二、大密度材料制作的标记点，在X光影像采集设备采集到的影像中，与骨骼、肌肉、手术器械区别；/nS3、使用医学影像采集设备对空间配准装置进行一次拍摄，根据各标记点的相对位置的三维坐标和实际成像后的二维坐标之间的对应关系，得到3x3上三角矩阵A；/nS4、通过opencv识别特定形状的特征点提取出每一个对应特征点在X光影像上的二维坐标；通过代入记录的特征点三维坐标和特征点的初始相对位置坐标，以及X光影像中的二维位置和步骤S3中得到的医学影像采集设备相关参数计算出三维影像采集坐标系到影像二维坐标系的转换矩阵；/nS5、将带有特定反光材料的特征点的追踪器械固定于穿刺设备上；三目式高清红外摄像装置只能识别特征点的位置，根据实际跟踪的点与特征点的相对位置关系，推算出这个点当前的三维坐标；再代入后续的运算，需要被追踪的点与特征点之间必须保持相对位置不变的刚性连接，标定一次穿刺设备端点，标定方法即为将需追踪的点放在标定工具的中心，对比该点与标定工具几何中心的坐标，得到该点和特征点的相对位置关系；然后通过三目式高清红外摄像装置实时采集特征点坐标，加上标定的相对位置坐标计算出端点坐标，代入计算好的转换矩阵得到该穿刺设备在X光影像上的实时二维坐标。/n...

【技术特征摘要】
1.基于医学影像的三维空间坐标转换为影像二维坐标的方法，其特征在于，包括以下步骤：
S1、通过三目式高清红外摄像装置配合运动捕捉系统进行三维空间位置的捕捉；将带有反光材料的标记点固定在需要被追踪的物体上，并在运动捕捉系统中将上述标记点编辑成同一个刚体，当该被追踪的物体暴露在三目式高清红外摄像装置下时，三目式高清红外摄像装置进行高速连续抓拍，然后将拍到的图片信息传输回计算机，计算出单个标记点的空间位置，再将图片中拍到的所有标记点和运动捕捉系统中编辑好的刚体进行匹配，匹配成功以后即可获得被追踪的物体的空间信息；
S2、计算运动捕捉系统捕捉到的三维空间坐标系到医学影像采集设备成像空间的转换关系；首先获取多个具有唯一性的特征点在两套不同坐标系里的坐标信息，这里的唯一性是指：每一个特征点在所有特征点构成的一个集合中具有相对位置关系的唯一性，即所有的特征点的位置经采集后都可识别一一对应，任何角度下都不存在两个或两个以上的点存在对称或类似的单个坐标对应的特征点不唯一的情况；集成了这些特征点的设备即为空间配准装置，在使用该空间配准装置时只需手持该空间配准装置在X光影像采集设备和拍摄目标间的区域进行拍摄即可，该空间配准装置上共集成了两种不同的标记点：
第一、特定反光材料的特征点，采用三目式高清红外摄像装置识别，并通过相对位置关系计算出其它非反光材料的特征点在这套坐标系中的位置信息；
第二、大密度材料制作的标记点，在X光影像采集设备采集到的影像中，与骨骼、肌肉、手术器械区别；
S3、使用医学影像采集设备对空间配准装置进行一次拍摄，根据各标记点的相对位置的三维坐标和实际成像后的二维坐标之间的对应关系，得到3x3上三角矩阵A；
S4、通过opencv识别特定形状的特征点提取出每一个对应特征点在X光影像上的二维坐标；通过代入记录的特征点三维坐标和特征点的初始相对位置坐标，以及X光影像中的二维位置和步骤S3中得到的医学影像采集设备相关参数计算出三维影像采集坐标系到影像二维坐标系的转换矩阵；
S5、将带有特定反光材料的特征点的追踪器械固定于穿刺设备上；三目式高清红外摄像装置只能识别特征点的位置，根据实际跟踪的点与特征点的相对位置关系，推算出这个点当前的三维坐标；再代入后续的运算，需要被追踪的点与特征点之间必须保持相对位置不变的刚性连接，标定一次穿刺设备端点，标定方法即为将需追踪的点放在标定工具的中心，对比该点与标定工具几何中心的坐标，得到该点和特征点的相对位置关系；然后通过三目式高清红外摄像装置实时采集特征点坐标，加上标定的相对位置坐标计算出端点坐标，代入计算好的转换矩阵得到该穿刺设备在X光影像上的实时二维坐标。


2.如权利要求1所述的基于医学影像的三维空间坐标转换为影像二维坐标的方法，其特征在于，
步骤S4中计算出三维影像采集坐标系到影像二维坐标系的转换矩阵的计算方法为：
1、使用X光影像采集设备拍摄空间配准装置得到X光影像，同时使用三目式高清红外摄像装置采集P0-P3四个特征点的空间位置关系；
2、自动识别出17个标记点在影像上的二维坐标；
3、计算P0-P3四个特征点的相对坐标到三目式高清红外摄像装置测量坐标的变换...

【专利技术属性】
技术研发人员：曲建明，蒲立新，何明杰，范计朋，王杰锋，牟睿智，
申请(专利权)人：成都金盘电子科大多媒体技术有限公司，
类型：发明
国别省市：四川;51