【技术实现步骤摘要】
手术针关键点的定位方法、医疗系统及介质
[0001]本说明书属于医疗器械
,尤其涉及手术针关键点的定位方法、医疗系统及介质。
技术介绍
[0002]通常医疗系统在采集得到关于手术区域的内窥镜图像后,需要对内窥镜图像中的目标物 (例如,手术器械、手术针)的关键点进行定位。
[0003]目前在图像关键点检测领域,主要采用深度学习算法,通过卷积神经网络对物体关键点 坐标进行热力图回归计算。采用该种计算方式进行计算时,受限于计算量等问题,使得关键 点检测结果存在不可避免的量化误差,特别是图像中的目标物除了包含手术器械等像素相对 较大的目标物,同时又包含手术针等像素比较小的目标物时,严重影响了像素比较小的手术 针关键点定位的准确性。
[0004]目前,亟需对现有的手术针关键点定位方法进行改进,以提升像素比较小的手术针关键 点定位的准确性。
技术实现思路
[0005]本说明书提供了一种手术针关键点的定位方法、医疗系统及介质,能够精准地对诸如手 术场景等环境较为复杂的场景下所采集到的图像中的目标物,特别是像素比较小的手术针, 进行关键点定位。
[0006]本说明书实施方式提供了一种手术针关键点的定位方法,包括:
[0007]对包含手术器械和手术针的待处理图片进行训练,获取网络模型,并通过所述网络模型 至少输出与手术针关键点个数相匹配的热力图;
[0008]对所述热力图进行平滑处理获得调整后的热力图,并基于所述调整后的热力图求出调整 后的热力图上的手术针关键点坐标; />[0009]将所述调整后的热力图上的手术针关键点坐标映射至所述待处理图片中,确定出所述待 处理图片中的手术针关键点坐标。
[0010]在一个优选的实施方式中,所述对包含手术器械和手术针的待处理图片进行训练包括:
[0011]对包含手术器械和手术针的待处理图片中的手术针关键点进行数据标注后生成数据标 签;
[0012]对所述数据标签对应的数据进行预处理,构建训练数据。
[0013]在一个优选的实施方式中,所述获取网络模型包括:
[0014]基于所述训练数据的选取相匹配的深度学习网络模型;
[0015]将所述训练数据输入所述深度学习网络模型中进行模型训练,以获取用于输出热力图的 网络模型。
[0016]在一个优选的实施方式中,所述网络模型在输出与手术针关键点个数相匹配的热
力图的 同时还输出能调整尺度差异的尺度图。
[0017]在一个优选的实施方式中,所述方法还包括:
[0018]增加所述网络模型的网络分支;
[0019]利用所述网络分支预测目标尺度图;
[0020]将所述网络分支预测的目标尺度图和所述热力图的标准差相乘,获得不同视野下的标准 差,其中,有效区较大的手术器械关键点所对应的标准差大于有效区较小的手术针关键点。
[0021]在一个优选的实施方式中,所述方法还包括:
[0022]利用所述网络模型输出的尺度图对数据标签进行原高斯核大小调整,获取所述数据标签 的原高斯核的放缩系数,生成优化后的数据标签;
[0023]根据所述优化后的数据标签和所述网络模型输出的热力图确定所述网络模型的损失函 数;
[0024]根据所述损失函数反向优化所述网络模型的参数。
[0025]在一个优选的实施方式中,所述对包含手术器械和手术针的待处理图片进行训练具体为 通过深度神经网络进行训练。
[0026]在一个优选的实施方式中,所述深度神经网络的训练步骤包括:
[0027]将所述深度神经网络中的参数、计数器进行初始化;
[0028]将待处理图片转换成数组后输入所述深度神经网络;
[0029]通过所述深度神经网络计算获得神经网络每一层的输出,并通过损失函数确定标签与输 出之间的误差;
[0030]基于损失函数确定的所述误差,通过链式求导方法,反向梯度更新所述深度神经网络每 一层的参数;
[0031]当所述误差满足预设条件后训练结束。
[0032]在一个优选的实施方式中,在对包含手术器械和手术针的待处理图片进行训练前,所述 方法还包括:获取待处理图片,所述待处理图片包括直接采集的图像和/或经过优化处理的图 像。
[0033]在一个优选的实施方式中,当所述待处理图片为经过优化处理的图像时,所述优化处理 的方式包括:
[0034]将采集的图像输入到图像检测网络模型中,获取图像中目标物的检测框位置;
[0035]根据所述检测框位置,将所述目标物从所述图像中截取出,以获得包含目标物的图像。
[0036]在一个优选的实施方式中,所述基于所述调整后的热力图求出调整后的热力图上的关键 点坐标包括:
[0037]将调整后的热力图用二维高斯函数表示;
[0038]对上述二维高斯函数两边分别求对数函数,获得第一关系式;
[0039]将调整前和调整后的热力图上的关键点坐标导入泰勒公式中,获得第二关系式;
[0040]根据所述第一关系式和第二关系式求一阶导数和二阶导数,获得调整后的热力图上的关 键点坐标。
[0041]一种医疗系统,包括内窥镜和图像的处理装置,所述图像的处理装置用于采用上
述任一 项所述手术针关键点的定位方法对所述内窥镜采集的图像进行处理。
[0042]一种计算机可读存储介质,其上存储有计算机指令,所述指令被执行时实现上述任一项 所述方法的相关步骤。
[0043]本专利技术的特点和优点是:
[0044]整体上,本申请说明书中所提供的手术针关键点的定位方法,通过对包含手术器械和手 术针的待处理图片进行训练,获取匹配的网络模型,并且对利用网络模型输出的热力图进行 平滑处理,更准确地计算出热力图的峰值,实现手术针关键点坐标优化,当将优化后的手术 针关键点坐标映射至原图(即待处理图片)中时,能够更为精准地确定出待处理图片中的手 术针关键点坐标,当其应用在手术器械中时,能够更为准确地定位手术针等像素较小的目标 物的手术针关键点位置,从而待处理图片在计算成本较低的前提下,提高了手术针关键点的 坐标准确性,对后期自动手术缝合奠定基础。
[0045]参照后文的说明和附图,详细公开了本专利技术的特定实施方式,指明了本专利技术的原理可以 被采用的方式。应该理解,本专利技术的实施方式在范围上并不因而受到限制。在所附权利要求 的精神和条款的范围内,本专利技术的实施方式包括许多改变、修改和等同。针对一种实施方式 描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用,与其它 实施方式中的特征相组合,或替代其它实施方式中的特征。
附图说明
[0046]为了更清楚地说明本说明书实施方式,下面将对实施方式中所需要使用的附图作简单地 介绍,下面描述中的附图仅仅是本说明书中记载的一些实施方式,对于本领域普通技术人员 来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。...
【技术保护点】
【技术特征摘要】
1.一种手术针关键点的定位方法,其特征在于,包括:对包含手术器械和手术针的待处理图片进行训练,获取网络模型,并通过所述网络模型至少输出与手术针关键点个数相匹配的热力图;对所述热力图进行平滑处理获得调整后的热力图,并基于所述调整后的热力图求出调整后的热力图上的手术针关键点坐标;将所述调整后的热力图上的手术针关键点坐标映射至所述待处理图片中,确定出所述待处理图片中的手术针关键点坐标。2.根据权利要求1所述的手术针关键点的定位方法,其特征在于,所述对包含手术器械和手术针的待处理图片进行训练包括:对包含手术器械和手术针的待处理图片中的手术针关键点进行数据标注后生成数据标签;对所述数据标签对应的数据进行预处理,构建训练数据。3.根据权利要求1所述的手术针关键点的定位方法,其特征在于,所述获取网络模型包括:基于所述训练数据的选取相匹配的深度学习网络模型;将所述训练数据输入所述深度学习网络模型中进行模型训练,以获取用于输出热力图的网络模型。4.根据权利要求1所述的手术针关键点的定位方法,其特征在于,所述网络模型在输出与手术针关键点个数相匹配的热力图的同时还输出能调整尺度差异的尺度图。5.根据权利要求4所述的手术针关键点的定位方法,其特征在于,所述方法还包括:增加所述网络模型的网络分支;利用所述网络分支预测目标尺度图;将所述网络分支预测的目标尺度图和所述热力图的标准差相乘,获得不同视野下的标准差,其中,有效区较大的手术器械关键点所对应的标准差大于有效区较小的手术针关键点。6.根据权利要求4所述的手术针关键点的定位方法,其特征在于,所述方法还包括:利用所述网络模型输出的尺度图对数据标签进行原高斯核大小调整,获取所述数据标签的原高斯核的放缩系数,生成优化后的数据标签;根据所述优化后的数据标签和所述网络模型输出的热力图确定所述网络模型的损失函数;根据所述损失函数反向优化所述网络模型的参数。7.根据权利要求4所述的手术针关键点的定位方法,其...
【专利技术属性】
技术研发人员:请求不公布姓名,
申请(专利权)人:上海微创医疗机器人集团股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。