本公开提供了一种腔内动态全景成像方法、装置、设备及存储介质，其中，该方法包括：通过腔镜对病灶区域及其周围区域进行全景扫描，获取多帧原始图像；基于图像拼接算法将多帧原始图像进行拼接，得到全景图像；计算当前术野图像与全景图像的位姿关系，并在全景图像中框出当前术野图像对应的区域；从当前术野图像中消除手术器械，将消除手术器械后的当前术野图像与全景图像中对应的区域融合，得到术中全景图像。本方法能够拼接出病灶区域及其周围区域的全景图像，手术过程中在全景图像中实时框选出当前术野对应的区域，并随着手术的进行对全景图像进行动态更新。图像进行动态更新。图像进行动态更新。
【技术实现步骤摘要】
腔内动态全景成像方法、装置、设备及介质
[0001]本公开涉及医疗
，尤其涉及一种腔内动态全景成像方法、装置、电子设备及介质。
技术介绍
[0002]随着医疗技术的发展，微创手术已经十分普篇，微创手术不仅能够降低手术风险，还能显著缩短病人术后的康复时间。内窥镜被大量应用在临床微创手术中。传统内窥镜手术拍摄的是手术局部区域的二维图像，此类图像能观察的术野小，医生需要观察病灶周围区域时只能移动内窥镜对病灶周围进行逐区域观察，效率较低，不利于医生手术过程中对病灶周围全局情况的掌握。
技术实现思路
[0003]鉴于上述问题，本专利技术提供了一种腔内动态全景成像方法，以解决上述技术问题。
[0004]本公开的第一个方面提供了一种腔内动态全景成像方法，包括：通过腔镜对病灶区域及其周围区域进行全景扫描，获取多帧原始图像；基于图像拼接算法将所述多帧原始图像进行拼接，得到全景图像；计算当前术野图像与所述全景图像的位姿关系，并在所述全景图像中框出所述当前术野图像对应的区域；从所述当前术野图像中消除手术器械，将消除手术器械后的所述当前术野图像与所述全景图像中对应的区域融合，得到术中全景图像。
[0005]根据本公开的实施例，所述基于图像拼接算法将所述多帧原始图像进行拼接，得到全景图像包括：计算各帧所述原始图像之间的第一单应矩阵；基于所述第一单应矩阵生成最大生成树，得到所述多帧原始图像中关联权重最大的中心图像；将所述多帧原始图像中除所述中心图像之外的其他图像投影到所述中心图像所在平面，与所述中心图像融合，得到所述全景图像。
[0006]根据本公开的实施例，在计算各帧所述原始图像之间的第一单应矩阵之前，所述方法还包括：基于特征匹配算法计算各帧原始图像之间的位姿关系；基于所述位姿关系剔除所述多帧原始图像中的冗余图像和质量不满足预设条件的图像。
[0007]根据本公开的实施例，所述计算当前术野图像与所述全景图像的位姿关系，并在所述全景图像中框出所述当前术野图像对应的区域包括：计算所述当前术野图像与各所述原始图像之间的位姿关系，并得到所述当前术野图像与所述全景图像之间的第二单应矩阵；基于所述第二单应矩阵计算所述当前术野图像的顶点坐标映射到所述全景图像中的坐标，并以所述坐标的位置为顶点画框，得到所述全景图像中所述当前术野图像对应的区域。
[0008]根据本公开的实施例，所述从所述当前术野图像中消除手术器械包括：获取当前时刻的前后两个时刻的术野图像，所述术野图像与所述当前术野图像中手术器械的位置不同；通过基于卷积神经网络的图像分割算法分割出所述当前术野图像和所述术野图像中的手术器械；将分割出手术器械后的所述当前术野图像和所述术野图像融合，得到消除手术
器械后的所述当前术野图像。
[0009]根据本公开的实施例，所述方法还包括：从所述当前术野图像中分割出器械，并将所述当前术野图像中器械所在区域的像素值置为0；计算所述当前术野图像与各帧所述原始图像之间的位姿转换关系，拼接得到更新的全景图像。
[0010]根据本公开的实施例，所述方法还包括：若所述原始图像在所述更新的全景图像中被其他原始图像覆盖，则将所述当前术野图像替换所述原始图像。
[0011]本公开的第二个方面提供了一种腔内动态全景成像装置，包括：原始图像获取模块，用于通过腔镜对病灶区域及其周围区域进行全景扫描，获取多帧原始图像；图像拼接模块，用于基于图像拼接算法将所述多帧原始图像进行拼接，得到全景图像；位置标定模块，用于计算当前术野图像与所述全景图像的位姿关系，并在所述全景图像中框出所述当前术野图像对应的区域；图像融合模块，用于从所述当前术野图像中消除手术器械，将消除手术器械后的所述当前术野图像与所述全景图像中对应的区域融合，得到术中全景图像。
[0012]本公开的第三个方面提供了一种电子设备，包括：存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现所述腔内动态全景成像方法中的各个步骤。
[0013]本公开的第四个方面提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现所述腔内动态全景成像方法中的各个步骤。
[0014]在本公开实施例采用的上述至少一个技术方案能够达到以下有益效果：
[0015]本公开提供的一种腔内动态全景成像方法能够拼接出病灶区域及其周围区域的全景图像，手术过程中在全景图像中实时框选出当前术野对应的区域，并随着手术的进行对全景图像进行动态更新。
附图说明
[0016]为了更完整地理解本公开及其优势，现在将参考结合附图的以下描述，其中：
[0017]图1示意性示出了本公开实施例提供的一种腔内动态全景成像方法的示意图；
[0018]图2示意性示出了本公开实施例提供的一种图像坐标映射示意图；
[0019]图3示意性示出了本公开实施例提供的一种图像拼接示意图；
[0020]图4示意性示出了本公开实施例提供的一种腔内动态全景成像装置的结构框图；
[0021]图5示意性示出了本公开实施例提供的一种电子设备的结构框图。
具体实施方式
[0022]以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
[0023]在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
[0024]在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
[0025]附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。
[0026]因此，本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本公开的技术可以采取存储有指令的计算机可读介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。在本公开的上下文中，计算机可读介质可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，计算机可读介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。计算机可读介质的具体示例包括：磁存储装置本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种腔内动态全景成像方法，其特征在于，包括：通过腔镜对病灶区域及其周围区域进行全景扫描，获取多帧原始图像；基于图像拼接算法将所述多帧原始图像进行拼接，得到全景图像；计算当前术野图像与所述全景图像的位姿关系，并在所述全景图像中框出所述当前术野图像对应的区域；从所述当前术野图像中消除手术器械，将消除手术器械后的所述当前术野图像与所述全景图像中对应的区域融合，得到术中全景图像。2.根据权利要求1所述的方法，其特征在于，所述基于图像拼接算法将所述多帧原始图像进行拼接，得到全景图像包括：计算各帧所述原始图像之间的第一单应矩阵；基于所述第一单应矩阵生成最大生成树，得到所述多帧原始图像中关联权重最大的中心图像；将所述多帧原始图像中除所述中心图像之外的其他图像投影到所述中心图像所在平面，与所述中心图像融合，得到所述全景图像。3.根据权利要求2所述的方法，其特征在于，在计算各帧所述原始图像之间的第一单应矩阵之前，所述方法还包括：基于特征匹配算法计算各帧所述原始图像之间的位姿关系；基于所述位姿关系剔除所述多帧原始图像中的冗余图像和质量不满足预设条件的图像。4.根据权利要求1所述的方法，其特征在于，所述计算当前术野图像与所述全景图像的位姿关系，并在所述全景图像中框出所述当前术野图像对应的区域包括：计算所述当前术野图像与各所述原始图像之间的位姿关系，并得到所述当前术野图像与所述全景图像之间的第二单应矩阵；基于所述第二单应矩阵计算所述当前术野图像的顶点坐标映射到所述全景图像中的坐标，并以所述坐标的位置为顶点画框，得到所述全景图像中所述当前术野图像对应的区域。5.根据权利要求1所述的方法，其特征在于，所述从所述当前术野图像中消除手术器械包括：获取当前时刻的前...
【专利技术属性】
技术研发人员：邓永贡，高连胜，高德中，
申请(专利权)人：杭州华匠医学机器人有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。