本申请公开了一种三维模型和二维图像的融合误差的确定方法及电子设备，用以解决现有技术不能准确计算出生物组织的三维模型与腹腔镜视频中生物组织的二维图像的实际融合误差的问题。本申请通过将生物组织的二维图像和三维模型在虚拟相机的视角下使用配准算法进行配准后融合显示；获取二维图像中生物组织的第一外轮廓和生物组织的三维模型投影到二维平面得到的参考二维图像中生物组织的第二外轮廓；确定第一外轮廓和第二外轮廓之间的像素距离；采用预先确定的单位像素距离和物理距离之间的对应关系，确定第一外轮廓和第二外轮廓之间的像素距离对应的物理距离作为融合误差，由此可以准确的计算出生物组织的三维模型和二维图像的实际融合误差。二维图像的实际融合误差。二维图像的实际融合误差。
【技术实现步骤摘要】
三维模型和二维图像的融合误差的确定方法及电子设备
[0001]本申请涉及图像处理
，特别涉及一种三维模型和二维图像的融合误差的确定方法及电子设备。
技术介绍
[0002]腹腔镜的手术导航中，需要将术前重建的三维模型和腹腔镜视频中的生物组织进行配准，并进行融合显示，从而利用术前重建的血管、病灶标记出视频中实际的血管和病灶位置。
[0003]相关技术中衡量生物组织的三维模型与腹腔镜视频中生物组织的二维图像的匹配程度，一种方法是基于图像相似度，而基于图像相似度的测量方法无法直接给出两者匹配的实际融合误差，两者匹配的实际融合误差，都是在旋转角度、缩放、平移有精确解的前提下，计算生物组织的三维模型在配准后的相机视角下与精确解的误差。然而在实际的使用中，一般无法给出旋转角度、缩放、平移的精确解，即无法得到最佳旋转角度、缩放、平移参数，导致不能准确计算出生物组织的三维模型与腹腔镜视频中生物组织的二维图像的实际融合误差，因此如何准确计算生物组织的三维模型与腹腔镜视频中生物组织的二维图像的实际融合误差是一个急需解决的问题。
技术实现思路
[0004]本申请的目的是提供一种三维模型和二维图像的融合误差的确定方法及电子设备，用以解决现有技术不能准确计算出生物组织的三维模型与腹腔镜视频中生物组织的二维图像的实际融合误差的问题。
[0005]第一方面，本申请提供一种三维模型和二维图像的融合误差的确定方法，所述方法包括：
[0006]将所述生物组织的二维图像和三维模型在虚拟相机的视角下使用配准算法进行配准后融合显示；
[0007]获取二维图像中所述生物组织的第一外轮廓，并获取所述生物组织的三维模型投影到二维平面得到的参考二维图像中所述生物组织的第二外轮廓；
[0008]确定所述第一外轮廓和所述第二外轮廓之间的像素距离；
[0009]采用预先确定的单位像素距离和物理距离之间的对应关系，确定所述第一外轮廓和所述第二外轮廓之间的像素距离对应的物理距离作为所述融合误差。
[0010]在一种可能的实施方式中，所述确定所述第一外轮廓和所述第二外轮廓之间的像素距离，包括：
[0011]基于所述第一外轮廓和所述第二外轮廓，确定所述第一外轮廓和所述第二外轮廓中用于描述同一位置的像素点对；
[0012]基于所述像素点对，确定所述第一外轮廓和所述第二外轮廓的平均像素距离误差作为所述第一外轮廓和所述第二外轮廓之间的像素距离。
[0013]在一种可能的实施方式中，所述基于所述第一外轮廓和所述第二外轮廓，确定所述第一外轮廓和所述第二外轮廓中用于描述同一位置的像素点对，包括：
[0014]计算所述第一外轮廓和所述第二外轮廓中每个像素点对应的上下文信息；所述上下文信息为所述像素点的邻域结构；
[0015]计算所述第一外轮廓和所述第二外轮廓中任意两个像素点的花费值；
[0016]使用匈牙利算法统计出所述第一外轮廓和所述第二外轮廓的总体花费值最低的一组像素点对；其中所述一组像素点对包括多个同一位置的像素点对。
[0017]在一种可能的实施方式中，所述基于所述像素点对，确定所述第一外轮廓和所述第二外轮廓的平均像素距离误差，包括：
[0018]在同一坐标系下，确定所述第一外轮廓和所述第二外轮廓中每个像素点的坐标；所述同一坐标系包括X轴坐标和Y轴坐标；
[0019]将所述第一外轮廓和所述第二外轮廓中每个像素点对的X轴上的坐标相减，得到X轴上所有像素点对的像素距离误差；
[0020]将所述X轴上所有像素点对的像素距离误差除以X轴上像素点对的数量，得到所述X轴上的平均像素距离误差；
[0021]将所述第一外轮廓和所述第二外轮廓中每个像素点对的Y轴上的坐标相减，得到Y轴上所有像素点对的像素距离误差；
[0022]将所述Y轴上所有像素点对的像素距离误差除以Y轴上像素点对的数量，得到所述Y轴上的平均像素距离误差。
[0023]在一种可能的实施方式中，确定所述单位像素距离和物理距离之间的对应关系，具体包括：
[0024]在世界坐标系中确定所述生物组织在三维模型中的三维坐标最小值和三维坐标最大值；
[0025]在所述虚拟相机的同一视角下，将所述三维坐标最小值和三维坐标最大值投影到二维平面，得到所述三维坐标最小值和所述三维坐标最大值对应的二维坐标；
[0026]基于所述世界坐标系中三维坐标最小值和三维坐标最大值的世界坐标，计算得到三维坐标最小值和三维坐标最大值之间的物理距离；
[0027]基于所述三维坐标最小值和三维坐标最大值对应的二维坐标，计算得到两个三维坐标最小值和三维坐标最大值对应的二维坐标之间的像素距离；
[0028]基于所述三维坐标最小值和三维坐标最大值之间的物理距离和所述三维坐标最小值和三维坐标最大值对应的二维坐标之间的像素距离，确定二维坐标系中X轴上的单位像素距离对应的物理距离、以及Y轴上的单位像素距离对应的物理距离。
[0029]在一种可能的实施方式中，所述确定所述第一外轮廓和所述第二外轮廓之间的像素距离对应的物理距离，具体包括：
[0030]将所述X轴上的平均像素距离误差乘以所述X轴上的单位像素距离对应的物理距离，得到所述第一外轮廓和所述第二外轮廓之间在所述X轴上的像素距离对应的物理距离；
[0031]将所述Y轴上的平均像素距离误差乘以所述Y轴上的单位像素距离对应的物理距离，得到所述第一外轮廓和所述第二外轮廓之间在所述Y轴上的像素距离对应的物理距离；
[0032]基于所述第一外轮廓和所述第二外轮廓之间在所述X轴上的像素距离对应的物理
距离和在所述Y轴上的像素距离对应的物理距离，得到所述第一外轮廓和所述第二外轮廓之间的像素距离对应的物理距离；
[0033]将所述第一外轮廓和所述第二外轮廓之间的像素距离对应的物理距离作为所述融合误差。
[0034]在一种可能的实施方式中，所述获取二维图像中所述生物组织的第一外轮廓，并获取所述生物组织的三维模型投影到二维平面得到的参考二维图像中所述生物组织的第二外轮廓，具体包括：
[0035]利用人工智能算法，获取二维图像中所述生物组织的第一外轮廓；
[0036]创建一个视频播放尺寸与所述二维图像播放尺寸一致的虚拟窗口，使用所述虚拟相机在所述虚拟窗口上，将所述生物组织的三维模型在所述虚拟相机的同一视角下，投影到二维平面；
[0037]获取所述二维平面的二维图像，得到所述参考二维图像；
[0038]在所述参考二维图像中对所述生物组织进行边缘检测，得到所述生物组织的第二外轮廓。
[0039]在一种可能的实施方式中，所述确定所述第一外轮廓和所述第二外轮廓之间的像素距离之前，所述方法还包括：
[0040]利用曲线数据压缩算法，对所述第一外轮廓和所述第二外轮廓进行下采样处理，得到像素点数量相同的第一外轮廓和第二外轮廓。
[0041]第二方面，本申请提供一种电子设备，包括本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种三维模型和二维图像的融合误差的确定方法，其特征在于，所述方法包括：将生物组织的二维图像和三维模型在虚拟相机的视角下使用配准算法进行配准后融合显示；获取二维图像中所述生物组织的第一外轮廓，并获取所述生物组织的三维模型投影到二维平面得到的参考二维图像中所述生物组织的第二外轮廓；确定所述第一外轮廓和所述第二外轮廓之间的像素距离；采用预先确定的单位像素距离和物理距离之间的对应关系，确定所述第一外轮廓和所述第二外轮廓之间的像素距离对应的物理距离作为所述融合误差。2.根据权利要求1所述的方法，其特征在于，所述确定所述第一外轮廓和所述第二外轮廓之间的像素距离，包括：基于所述第一外轮廓和所述第二外轮廓，确定所述第一外轮廓和所述第二外轮廓中用于描述同一位置的像素点对；基于所述像素点对，确定所述第一外轮廓和所述第二外轮廓的平均像素距离误差作为所述第一外轮廓和所述第二外轮廓之间的像素距离。3.根据权利要求2所述的方法，其特征在于，所述基于所述第一外轮廓和所述第二外轮廓，确定所述第一外轮廓和所述第二外轮廓中用于描述同一位置的像素点对，包括：计算所述第一外轮廓和所述第二外轮廓中每个像素点对应的上下文信息；所述上下文信息为所述像素点的邻域结构；计算所述第一外轮廓和所述第二外轮廓中任意两个像素点的花费值；使用匈牙利算法统计出所述第一外轮廓和所述第二外轮廓的总体花费值最低的一组像素点对；其中所述一组像素点对包括多个同一位置的像素点对。4.根据权利要求2所述的方法，其特征在于，所述基于所述像素点对，确定所述第一外轮廓和所述第二外轮廓的平均像素距离误差，包括：在同一坐标系下，确定所述第一外轮廓和所述第二外轮廓中每个像素点的坐标；所述同一坐标系包括X轴坐标和Y轴坐标；将所述第一外轮廓和所述第二外轮廓中每个像素点对的X轴上的坐标相减，得到X轴上所有像素点对的像素距离误差；将所述X轴上所有像素点对的像素距离误差除以X轴上像素点对的数量，得到所述X轴上的平均像素距离误差；将所述第一外轮廓和所述第二外轮廓中每个像素点对的Y轴上的坐标相减，得到Y轴上所有像素点对的像素距离误差；将所述Y轴上所有像素点对的像素距离误差除以Y轴上像素点对的数量，得到所述Y轴上的平均像素距离误差。5.根据权利要求4所述的方法，其特征在于，确定所述单位像素距离和物理距离之间的对应关系，具体包括：在世界坐标系中确定所述生物组织在三维模型中的三维坐标最小值和三维坐标最大值；在所述虚拟相机的同一视角下，将所述三维坐标最小值和三维坐标最大值投影到二维平面，得到所述三维坐标最小值和所述三维坐标最大值对应的二维坐标；
基于所述世界坐标系中三维坐标最小值和三维坐标最大值的世界坐标，计算得到三维坐标最小值和三...
【专利技术属性】
技术研发人员：吴乙荣，李南哲，陈永健，杨欣荣，
申请(专利权)人：青岛海信医疗设备股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。