基于多目成像和多偏振态成像的三维图像建立方法及系统技术方案

本申请提供了一种基于多目成像和多偏振态成像的三维图像建立方法及系统，所述方法包括：广谱光源产生宽波段的广谱光线，光谱成像设备多角度采集所述广谱光线被所述手术区域反射而形成的多个窄波段光谱图像，利用多目立体视觉算法构建所述手术区域的初级三维重建图像，多偏振态成像设备采集所述偏振光线被所述手术区域反射而形成的多个窄波段偏振图像，获得所述手术区域中的人体器官的体液覆盖图像，处理系统根据所述初级三维重建图像以及所述人体器官的体液覆盖图像，获得所述手术区域的三维重建图像，并输出至显示设备。

Method and System of Three-Dimensional Image Establishment Based on Multi-Eye Imaging and Multi-Polarization Imaging

This application provides a method and system for establishing three-dimensional images based on multi-eye imaging and multi-polarization imaging. The method includes: a broad-band light source generates broad-band light, a spectral imaging device collects multiple narrow-band spectral images formed by the reflection of the broad-band light by the surgical area from multiple angles, and a multi-eye stereo vision algorithm is used to construct the initial operation area. Level 3-D reconstruction image, the multi-polarization imaging device collects a plurality of narrow-band polarization images formed by the polarized light reflected by the operation area, obtains the body fluid coverage image of the human organs in the operation area, and the processing system obtains the three-dimensional reconstruction image of the operation area based on the primary 3-D reconstruction image and the body fluid coverage image of the human organs. And output to display device.

【技术实现步骤摘要】
基于多目成像和多偏振态成像的三维图像建立方法及系统
本申请涉及电子领域，尤其涉及一种基于多目成像和多偏振态成像的三维图像建立方法及系统。
技术介绍
随着公众对健康的重视度越来越高及医疗水平的不断提升，外科手术也越来越常见。在外科手术中，手术的成功率以及效果与手术的精确度紧密相关，传统手术都是依靠医生的经验，对手术工具以及病变位置进行目视判断，精确度不高，而且对医生的要求也很高。但是，如何提高外科手术的精度，是至今尚未解决的一个难题。
技术实现思路
本申请提供了基于多目成像和多偏振态成像的三维图像建立方法及系统，能够有效地提高外科手术的精度。第一方面，提供了一种基于多目成像和多偏振态成像的三维图像建立方法，所述方法包括以下步骤：广谱光源产生宽波段的广谱光线，其中，所述广谱光线用于照射手术区域，所述广谱光线包括自然光线和偏振光线，所述手术区域是患者被进行手术的身体区域；光谱成像设备多角度采集所述广谱光线被所述手术区域反射而形成的多个窄波段光谱图像，利用多目立体视觉算法构建所述手术区域的初级三维重建图像，其中，不同的窄波段光谱图像具有不同的成像窄波段，所述成像窄波段的数量在100以上；多偏振态成像设备采集所述偏振光线被所述手术区域反射而形成的多个窄波段偏振图像，获得所述手术区域中的人体器官的体液覆盖图像；处理系统根据所述初级三维重建图像以及所述人体器官的体液覆盖图像，获得所述手术区域的三维重建图像，并输出至显示设备。可选地，所述方法还包括：所述处理系统根据多个窄波段偏振图像，结合分类模型对所述手术区域中的体液成分种类以及器官种类进行即时分析并输出分析结果，所述即时分析包括器官种类分析、蛋白质种类分析、蛋白质含量分析、结晶种类分析以及结晶含量分析，其中，所述分类模型是预先使用样本数据对卷积神经网络进行训练得到的体液分类模型和器官分类模型；确定所述分析结果中的蛋白质含量或者结晶含量是否大于第一阈值或者小于第二阈值，其中，所述第一阈值大于所述第二阈值；在所述分析结果中的蛋白质含量或者结晶含量大于所述第一阈值或者小于所述第二阈值的情况下，发出提示信息。可选地，获得所述手术区域的三维重建图像后，所述方法还包括：将所述三维重建图像进行目标区域的渲染强化，输出强化后的三维重建图像，其中，所述目标区域包括手术区域中被遮挡的区域以及手术区域中的特定区域。可选地，将所述三维重建图像进行目标区域的渲染强化包括：在目标区域为手术区域中被遮挡的区域的情况下，移除遮挡目标区域的部位，渲染出未被遮挡的目标区域；或者，在目标区域为手术区域中的特定区域的情况下，提升所述特定区域的亮度，渲染出亮度提升后的目标区域。可选地，所述目标区域是处理系统根据手术工具发送的位置信息确定的区域，其中，所述手术工具中设置有陀螺仪，加速度计，距离传感器中的一个或者多个，所述位置信息是根据所述陀螺仪，所述加速度计和所述距离传感器中的一个或者多个采集到的位置数据计算得到的；或者，所述目标区域是处理系统根据接收的用户请求确定的区域。第二方面，提供了一种基于多目成像和多偏振态成像的三维图像建立系统，所述系统包括：广谱光源，广谱光源产生宽波段的广谱光线，其中，所述广谱光线用于照射手术区域，所述广谱光线包括自然光线和偏振光线，所述手术区域是患者被进行手术的身体区域；光谱成像设备，用于多角度采集所述广谱光线被所述手术区域反射而形成的多个窄波段光谱图像，利用多目立体视觉算法构建所述手术区域的初级三维重建图像，其中，不同的窄波段光谱图像具有不同的成像窄波段，所述成像窄波段的数量在100以上；多偏振态成像设备，用于采集所述广谱光线被所述手术区域反射而形成的多个窄波段偏振图像，获得所述手术区域中的人体器官的体液覆盖图像；处理系统，处理系统根据所述初级三维重建图像以及所述人体器官的体液覆盖图像，获得所述手术区域的三维重建图像，并输出至显示设备。可选地，所述处理系统还用于根据多个窄波段偏振图像，结合分类模型对所述手术区域中的体液成分种类以及器官种类进行即时分析并输出分析结果，所述即时分析包括器官种类分析、蛋白质种类分析、蛋白质含量分析、结晶种类分析以及结晶含量分析，其中，所述分类模型是预先使用样本数据对卷积神经网络进行训练得到的体液分类模型和器官分类模型；所述处理系统还用于确定所述分析结果是否大于第一阈值或者小于第二阈值，其中，所述第一阈值大于所述第二阈值；所述处理系统还用于在所述分析结果大于所述第一阈值或者小于所述第二阈值的情况下，发出提示信息。可选地，所述处理系统还用于获得所述手术区域的三维重建图像后，将所述三维重建图像进行目标区域的渲染强化，输出强化后的三维重建图像，其中，所述目标区域包括手术区域中被遮挡的区域以及手术区域中的特定区域。可选地，所述处理系统具体用于在目标区域为手术区域中被遮挡的区域的情况下，移除遮挡目标区域的部位，渲染出未被遮挡的目标区域；或者，所述处理系统具体用于在目标区域为手术区域中的特定区域的情况下，提升所述特定区域的亮度，渲染出亮度提升后的目标区域。可选地，所述目标区域是处理系统根据手术工具发送的位置信息确定的区域，其中，所述手术工具中设置有陀螺仪，加速度计，距离传感器中的一个或者多个，所述位置信息是根据所述陀螺仪，所述加速度计和所述距离传感器中的一个或者多个采集到的位置数据计算得到的；或者，所述目标区域是处理系统根据接收的用户请求确定的区域。本申请提供的基于多目成像和多偏振态成像的三维图像建立方法及系统，通过广谱光源产生宽波段的广谱光线，光谱成像设备多角度采集所述广谱光线被所述手术区域反射而形成的多个窄波段光谱图像，利用多目立体视觉算法构建所述手术区域的初级三维重建图像，多偏振态成像设备采集所述偏振光线被所述手术区域反射而形成的多个窄波段偏振图像，获得所述手术区域中的人体器官的体液覆盖图像，使得处理系统根据所述初级三维重建图像以及所述人体器官的体液覆盖图像，获得所述手术区域的三维重建图像，并输出至显示设备。通过根据多个窄波段光谱图像和多个窄波段偏振图像获得更丰富的有效信息，从而重建出精确度更高的三维图像，并且，还可以通过虚拟增强技术对重建后的三维图像根据医生需求进行渲染强化，从而引导或辅助医生正确进行手术，提高了手术的精度。附图说明图1是本申请提供的一种基于多目成像和多偏振态成像的三维图像建立方法的流程示意图；图2是本申请提供的一种基于多目成像和多偏振态成像的三维图像建立方法中光谱光源排列示意图；图3是本申请提供的一种通过增强现实的方式进行提示信息的示意图；图4a是本申请提供的一种增强现实前的手术区域重建图像；图4b是本申请提供的一种增强现实后的手术区域重建图像；图5a是本申请提供的另一种增强现实前的手术区域重建图像；图5b是本申请提供的另一种增强现实后的手术区域重建图像；图6是本申请提供的一种基于多目成像和多偏振态成像的三维图像建立系统的结构示意图。具体实施例参阅图1，图1是本申请实施例提供的一种基于多目成像和多偏振态成像的三维图像建立方法的流程示意图。本实施例的基于多目成像和多偏振态成像的三维图像建立方法，包括如下步骤：S101：广谱光源产生宽波段的广谱光线，其中，所述广谱光线用于照射手术区域，所述广谱光线包括自然光线和偏振光线，所述手术区本文档来自技高网...

【技术保护点】
1.一种基于多目成像和多偏振态成像的三维图像建立方法，其特征在于，所述方法包括：广谱光源产生宽波段的广谱光线，其中，所述广谱光线用于照射手术区域，所述广谱光线包括自然光线和偏振光线，所述手术区域是患者被进行手术的身体区域；光谱成像设备多角度采集所述广谱光线被所述手术区域反射而形成的多个窄波段光谱图像，利用多目立体视觉算法构建所述手术区域的初级三维重建图像，其中，不同的窄波段光谱图像具有不同的成像窄波段，所述成像窄波段的数量在100以上；多偏振态成像设备采集所述偏振光线被所述手术区域反射而形成的多个窄波段偏振图像，获得所述手术区域中的人体器官的体液覆盖图像；处理系统根据所述初级三维重建图像以及所述人体器官的体液覆盖图像，获得所述手术区域的三维重建图像，并输出至显示设备。

【技术特征摘要】
1.一种基于多目成像和多偏振态成像的三维图像建立方法，其特征在于，所述方法包括：广谱光源产生宽波段的广谱光线，其中，所述广谱光线用于照射手术区域，所述广谱光线包括自然光线和偏振光线，所述手术区域是患者被进行手术的身体区域；光谱成像设备多角度采集所述广谱光线被所述手术区域反射而形成的多个窄波段光谱图像，利用多目立体视觉算法构建所述手术区域的初级三维重建图像，其中，不同的窄波段光谱图像具有不同的成像窄波段，所述成像窄波段的数量在100以上；多偏振态成像设备采集所述偏振光线被所述手术区域反射而形成的多个窄波段偏振图像，获得所述手术区域中的人体器官的体液覆盖图像；处理系统根据所述初级三维重建图像以及所述人体器官的体液覆盖图像，获得所述手术区域的三维重建图像，并输出至显示设备。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：所述处理系统根据多个窄波段偏振图像，结合分类模型对所述手术区域中的体液成分种类以及器官种类进行即时分析并输出分析结果，所述即时分析包括器官种类分析、蛋白质种类分析、蛋白质含量分析、结晶种类分析以及结晶含量分析，其中，所述分类模型是预先使用样本数据对卷积神经网络进行训练得到的体液分类模型和器官分类模型；确定所述分析结果中的蛋白质含量或者结晶含量是否大于第一阈值或者小于第二阈值，其中，所述第一阈值大于所述第二阈值；在所述分析结果中的蛋白质含量或者结晶含量大于所述第一阈值或者小于所述第二阈值的情况下，发出提示信息。3.根据权利要求1所述的方法，其特征在于，获得所述手术区域的三维重建图像后，所述方法还包括：将所述三维重建图像进行目标区域的渲染强化，输出强化后的三维重建图像，其中，所述目标区域包括手术区域中被遮挡的区域以及手术区域中的特定区域。4.根据权利要求3所述的方法，其特征在于，将所述三维重建图像进行目标区域的渲染强化包括：在目标区域为手术区域中被遮挡的区域的情况下，移除遮挡所述目标区域的部位，渲染出未被遮挡的目标区域；或者，在目标区域为手术区域中的特定区域的情况下，提升所述特定区域的亮度，渲染出亮度提升后的目标区域。5.根据权利要求4所述的方法，其特征在于，所述目标区域是处理系统根据手术工具发送的位置信息确定的区域，其中，所述手术工具中设置有陀螺仪，加速度计，距离传感器中的一个或者多个，所述位置信息是根据所述陀螺仪，所述加速度计和所述距离传感器中的一个或者多个采集到的位置数据计算得到的；或者，所述目标区域是处理系统根据接收的用户请求确定的区域。6.一种基于多目成像...

【专利技术属性】
技术研发人员：舒远，李梓彤，陈维宇，刘楚明，阮思纯，徐炜文，王星泽，
申请(专利权)人：合刃科技深圳有限公司，
类型：发明
国别省市：广东,44