本发明专利技术提供了一种手术器械定位方法、手术机器人、电子设备和存储介质，该定位方法包括：获取包括手术器械的内窥图像；对内窥图像进行识别，以识别出至少一个标识符；根据标识符的位置信息，获取标识符所在的手术器械的位置信息。该手术机器人包括控制器和至少一条机械臂，其中，至少一条机械臂的末端安装有手术器械和内窥镜；手术器械上设有多个标识符；内窥镜配置为采集包括手术器械的内窥图像；控制器被配置为用于实现上文的手术器械定位方法。本发明专利技术可以在复杂的手术环境中准确地定位手术器械的位置，有效规避因所述手术器械上的关节点被遮挡，而无法对所述手术器械进行定位的问题。题。题。
【技术实现步骤摘要】
手术器械定位方法、手术机器人、设备和介质
[0001]本专利技术涉及图像处理
，特别涉及一种手术器械定位方法、手术机器人、电子设备和存储介质。
技术介绍
[0002]由于传统腹腔镜手术中医生可观察的视野范围有限，绝大多数外科手术需要凭借医生的经验确定手术过程，而且其中有些病发部分是不可预见的，影响了手术效果。随着立体双目视觉技术在医疗领域的应用，基于立体视觉的微创手术器械定位可以用于手术导航，辅助医生分析手术器械与病发部分的位置与方向，这对于减少手术创伤和提高手术质量有重大意义，并对手术机器人技术的应用有重要价值。
[0003]作为一门新发展的微创方法，腹腔镜手术因为其术后瘢痕小、疼痛轻、恢复快、住院时间短等优势，深受患者青睐，成为越来越多患者的最佳选择，但是由于腹腔镜手术存在视野局限性、医生对术中环境感知差，也造成了术中出血、病灶边界定位不准、健康组织切除过多、并发症风险高等诸多问题。计算机视觉技术可以进行微创手术器械定位，为医生提供更丰富的交互信息，辅助医生完成手术操作，提高手术质量。
[0004]手术器械定位的最终目的是进行器械末端的定位，在手术过程中，手术器械的末端与病发位置相接触，导致难以直接识别和标记手术器械末端，所以需要在器械中通过视觉技术检测手术器械自身的关节点，通过确定关节点的三维坐标对手术器械末端进行定位，以达到确定手术器械末端位置的作用。
[0005]然而由于手术器械自身的关节点特征不明显，导致算法无法识别手术器械自身的关节点的情况频繁出现。此外，由于手术器械自身的关节点经常被遮挡，导致镜头无法捕捉到手术器械自身的关节点。另外，由于手术器械的相似度较高，在多种手术器械同时作业时，很难区分手术器械的类别。
[0006]需要说明的是，公开于该专利技术
技术介绍
部分的信息仅仅旨在加深对本专利技术一般
技术介绍
的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。
技术实现思路
[0007]本专利技术的目的在于提供一种手术器械定位方法、手术机器人、电子设备和存储介质，可以在复杂的手术环境中准确地定位手术器械的位置。
[0008]为达到上述目的，本专利技术提供一种手术器械定位方法，所述手术器械上设有多个标识符，所述定位方法包括：
[0009]获取包括所述手术器械的内窥图像；
[0010]对所述内窥图像进行识别，以识别出至少一个所述标识符；
[0011]根据所述标识符的位置信息，获取所述标识符所在的所述手术器械的位置信息。
[0012]可选的，所述对所述内窥图像进行识别，以识别出至少一个所述标识符，包括：
[0013]对所述内窥图像进行手术器械感兴趣区域的检测，以获取至少一幅手术器械感兴趣区域图像，其中，每幅所述手术器械感兴趣区域图像各包括一个手术器械；
[0014]针对每一幅所述手术器械感兴趣区域图像，对该手术器械感兴趣区域图像进行标识符位置区域的检测，以获取至少一幅标识符图像，其中，每幅所述标识符图像各包括一个标识符；
[0015]针对每一幅所述标识符图像，对该标识符图像进行标识符内容的识别，以识别出该标识符图像中的所述标识符的内容。
[0016]可选的，所述对所述内窥图像进行手术器械感兴趣区域的检测，以获取至少一幅手术器械感兴趣区域图像，包括：
[0017]采用第一神经网络模型对所述内窥图像进行手术器械感兴趣区域的检测，以获取各个所述手术器械感兴趣区域的位置信息；
[0018]根据所述手术器械感兴趣区域的位置信息，在所述内窥图像上裁剪出对应的区域，以获取对应的手术器械感兴趣区域图像。
[0019]可选的，所述对该手术器械感兴趣区域图像进行标识符位置区域的检测，以获取至少一幅标识符图像，包括：
[0020]采用第二神经网络模型对该手术器械感兴趣区域图像进行标识符区域的检测，以获取各个所述标识符所在区域的位置信息；
[0021]根据所述标识符所在区域的位置信息，在该手术器械感兴趣区域图像上裁剪出对应的区域，以获取对应的标识符图像。
[0022]可选的，所述对该标识符图像进行标识符内容的识别，以识别出该标识符图像中的所述标识符的内容，包括：
[0023]采用第三神经网络模型对该标识符图像进行标识符内容的识别，以识别出该标识符图像中的所述标识符的内容。
[0024]可选的，在采用第三神经网络模型对该标识符图像进行标识符内容的识别之前，所述手术器械定位方法还包括：
[0025]对该标识符图像进行倾斜校正，以将该标识符图像中的标识符调整至正位。
[0026]可选的，所述手术器械定位方法还包括：
[0027]针对每一个所识别出的所述标识符，根据该标识符的内容信息以及预先存储的标识符与手术器械类别之间的对应关系，确定该标识符所在的所述手术器械的类别。
[0028]可选的，针对每一幅所述手术器械感兴趣区域图像，在识别出该幅所述手术器械感兴趣区域图像所对应的每一幅所述标识符图像中的所述标识符的内容后，所述手术器械定位方法还包括：
[0029]根据各幅所述标识符图像中的所述标识符在该幅手术器械感兴趣区域图像中的位置信息，按序对该幅手术器械感兴趣区域图像中的各个所述标识符进行排列，并根据各个所述标识符的内容信息，获取该幅手术器械感兴趣区域图像的标识符段内容识别结果；
[0030]在预先存储的手术器械标识符数据库中进行查找，以查找出与该幅手术器械感兴趣区域图像的标识符段内容识别结果最接近的目标标识符段，其中，所述手术器械标识符数据库中存储有各个所述手术器械上所设有的各个所述标识符的内容信息和顺序信息；
[0031]根据所查找出的所述目标标识段中的各个所述标识符的内容信息，对该幅手术器
械感兴趣区域图像中的标识符内容识别结果有误的所述标识符的内容信息进行修正。
[0032]可选的，所述根据所述标识符的位置信息，获取所述标识符所在的所述手术器械的位置信息，包括：
[0033]根据所述标识符在所述内窥图像的坐标系下的位置信息，获取所述标识符在用于采集所述内窥图像的内窥镜的坐标系下的位置信息；
[0034]根据所述标识符在所述内窥镜的坐标系下的位置信息以及所述内窥镜在基准坐标系下的位置信息，获取所述标识符在所述基准坐标系下的位置信息；
[0035]根据所述标识符在所述基准坐标系下的位置信息以及所述标识符在其所在的所述手术器械上的位置信息，获取所述标识符所在的所述手术器械在所述基准坐标系下的位置信息。
[0036]为达到上述目的，本专利技术还提供一种手术机器人，包括控制器和至少一条机械臂，其中，至少一条所述机械臂的末端安装有手术器械和内窥镜；
[0037]所述手术器械上设有多个标识符；
[0038]所述内窥镜配置为采集包括所述手术器械的内窥图像；
[0039]所述控制器被配置为用于实现上文所述的手术器械定位方法。
[0040]可选的，所述多个本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种手术器械定位方法，其特征在于，所述手术器械上设有多个标识符，所述定位方法包括：获取包括所述手术器械的内窥图像；对所述内窥图像进行识别，以识别出至少一个所述标识符；根据所述标识符的位置信息，获取所述标识符所在的所述手术器械的位置信息。2.根据权利要求1所述的手术器械定位方法，其特征在于，所述对所述内窥图像进行识别，以识别出至少一个所述标识符，包括：对所述内窥图像进行手术器械感兴趣区域的检测，以获取至少一幅手术器械感兴趣区域图像，其中，每幅所述手术器械感兴趣区域图像各包括一个手术器械；针对每一幅所述手术器械感兴趣区域图像，对该手术器械感兴趣区域图像进行标识符位置区域的检测，以获取至少一幅标识符图像，其中，每幅所述标识符图像各包括一个标识符；针对每一幅所述标识符图像，对该标识符图像进行标识符内容的识别，以识别出该标识符图像中的所述标识符的内容。3.根据权利要求2所述的手术器械定位方法，其特征在于，所述对所述内窥图像进行手术器械感兴趣区域的检测，以获取至少一幅手术器械感兴趣区域图像，包括：采用第一神经网络模型对所述内窥图像进行手术器械感兴趣区域的检测，以获取各个所述手术器械感兴趣区域的位置信息；根据所述手术器械感兴趣区域的位置信息，在所述内窥图像上裁剪出对应的区域，以获取对应的手术器械感兴趣区域图像。4.根据权利要求2所述的手术器械定位方法，其特征在于，所述对该手术器械感兴趣区域图像进行标识符位置区域的检测，以获取至少一幅标识符图像，包括：采用第二神经网络模型对该手术器械感兴趣区域图像进行标识符区域的检测，以获取各个所述标识符所在区域的位置信息；根据所述标识符所在区域的位置信息，在该手术器械感兴趣区域图像上裁剪出对应的区域，以获取对应的标识符图像。5.根据权利要求2所述的手术器械定位方法，其特征在于，所述对该标识符图像进行标识符内容的识别，以识别出该标识符图像中的所述标识符的内容，包括：采用第三神经网络模型对该标识符图像进行标识符内容的识别，以识别出该标识符图像中的所述标识符的内容。6.根据权利要求5所述的手术器械定位方法，其特征在于，在采用第三神经网络模型对该标识符图像进行标识符内容的识别之前，所述手术器械定位方法还包括：对该标识符图像进行倾斜校正，以将该标识符图像中的标识符调整至正位。7.根据权利要求1所述的手术器械定位方法，其特征在于，所述手术器械定位方法还包括：针对每一个所识别出的所述标识符，根据该标识符的内容信息以及预先存储的标识符与手术器械类别之间的对应关系，确定该标识符所在的所述手术器械的类别。8.根据权利要求2所述的手术器械定位方法，其特征在于...
【专利技术属性】
技术研发人员：ꢀ七四专利代理机构，
申请(专利权)人：上海微创医疗机器人集团股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。