训练方法技术

本申请提供一种训练方法

【技术实现步骤摘要】
训练方法、软组织形变估计方法、装置、设备及存储介质


[0001]本申请涉及图像处理领域，尤其涉及一种软组织形变估计模型的训练方法
、
软组织形变估计方法
、
装置
、
电子设备及计算机可读存储介质
。

技术介绍

[0002]在医疗手术过程中，软组织变形无处不在
。
对软组织形变进行估计是各种下游应用的基础，包括但不限于智能感知和手术决策辅助
(
通过对形变的估计，进而识别预测出软组织的硬度等属性，并将这类相关信息可以叠加到图像中呈现给医生，给医生的手术提供智能决策
)、
机器人手术自动化
(
通过对软组织的形变估计，实现对组织上关键点的预测和追踪，该信息可以作为视觉伺服控制的反馈，以实现对软组织的自动化操控
)
等
。
尽管对这项任务进行了广泛的研究，但相关技术中的软组织形变估计方案的准确度仍然不够精确
。

技术实现思路

[0003]有鉴于此，本申请提供一种软组织形变估计模型的训练方法
、
软组织形变估计方法
、
装置
、
电子设备及计算机可读存储介质
。
[0004]具体地，本申请是通过如下技术方案实现的：
[0005]第一方面，本申请实施例提出了一种软组织形变估计模型的训练方法，包括：
[0006]获取训练样本集，所述训练样本集中的不同样本包括不同时刻的点云以及点云中的三维点的速度矢量；其中，任一样本基于对相邻时刻从两个不同方位采集到的四张软组织图像进行深度估计以及光流估计得到；
[0007]利用所述训练样本集中的样本对预设的神经网络模型进行自监督训练，得到软组织形变估计模型；
[0008]其中，所述自监督训练指示重复以下迭代过程直到满足迭代结束条件：
[0009]在每一轮迭代过程中，基于所述训练样本集中的样本获取神经网络模型输出的速度场，对所述速度场进行积分得到满足微分同胚映射关系的第一形变场和第二形变场；
[0010]利用所述第一形变场对所述相邻时刻中的前一时刻采集的两张软组织图像分别进行形变处理得到两张第一形变图像，再利用所述第二形变场分别对两张第一形变图像进行形变处理得到两张第二形变图像；
[0011]在迭代结束条件未满足的情况下，根据所述四张软组织图像
、
所述两张第一形变图像和所述两张第二形变图像调整所述神经网络模型的参数，得到下一迭代过程中的神经网络模型
。
[0012]根据本说明书一个或多个实施例的第二方面，提出了一种软组织形变估计方法，包括：
[0013]获取相邻时刻从两个不同方位采集到的四张软组织图像；
[0014]对所述四张软组织图像进行深度估计以及光流估计，得到在相邻时刻中的前一时刻的点云和点云中的三维点的速度矢量；
[0015]经将所述点云和点云中的三维点的速度矢量输入软组织形变估计模型进行处理，得到速度场；其中，所述软组织形变估计模型基于第一方面任意一项所述的方法训练得到；
[0016]对所述速度场进行积分，以根据积分的结果得到软组织形变信息
。
[0017]根据本公开实施例的第三方面，提供一种软组织形变估计模型的训练装置，包括：
[0018]训练样本获取模块，用于获取训练样本集，所述训练样本集中的不同样本包括不同时刻的点云以及点云中的三维点的速度矢量；其中，任一样本基于对相邻时刻从两个不同方位采集到的四张软组织图像进行深度估计以及光流估计得到；
[0019]自监督训练模块，用于利用所述训练样本集中的样本对预设的神经网络模型进行自监督训练，得到软组织形变估计模型；
[0020]其中，所述自监督训练模块具体用于重复以下迭代过程直到满足迭代结束条件：在每一轮迭代过程中，基于所述训练样本集中的样本获取神经网络模型输出的速度场，对所述速度场进行积分得到满足微分同胚映射关系的第一形变场和第二形变场；利用所述第一形变场对所述相邻时刻中的前一时刻采集的两张软组织图像分别进行形变处理得到两张第一形变图像，再利用所述第二形变场分别对两张第一形变图像进行形变处理得到两张第二形变图像；在迭代结束条件未满足的情况下，根据所述四张软组织图像
、
所述两张第一形变图像和所述两张第二形变图像调整所述神经网络模型的参数，得到下一迭代过程中的神经网络模型
。
[0021]根据本公开实施例的第四方面，提供一种软组织形变估计装置，包括：
[0022]图像获取模块，用于获取相邻时刻从两个不同方位采集到的四张软组织图像；
[0023]图像处理模块，用于对所述四张软组织图像进行深度估计以及光流估计，得到在相邻时刻中的前一时刻的点云和点云中的三维点的速度矢量；
[0024]形变估计模块，用于经所述点云和点云中的三维点的速度矢量输入软组织形变估计模型进行处理，得到速度场；其中，所述软组织形变估计模型基于第一方面任意一项所述的方法训练得到；
[0025]软组织形变信息获取模块，用于对所述速度场进行积分，以根据积分的结果得到软组织形变信息
。
[0026]根据本公开实施例的第五方面，提供一种电子设备，包括：
[0027]处理器；
[0028]用于存储处理器可执行指令的存储器；
[0029]其中，所述处理器执行所述可执行指令时，用于实现第一方面所述的方法
。
[0030]根据本公开实施例的第六方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述方法的步骤
。
[0031]本公开的实施例提供的技术方案可以包括以下有益效果：
[0032]本公开实施例中，能够借助于软组织形变估计模型来实现软组织形变估计，该软组织形变估计模型基于不同时刻的点云以及点云中的三维点的速度矢量进行自监督训练得到，每个时刻的点云以及点云中的三维点的速度矢量基于对相邻时刻从两个不同方位采集到的四张软组织图像进行深度估计以及光流估计得到，点云表征了软组织的语义信息，以及点云中的三维点的速度矢量表征了软组织的运动流信息；使得该软组织形变估计模型可以聚合软组织的语义信息和运动流信息，实现从三维空间感知软组织形变规律，并且得
到的第一形变场和第二形变场满足微分同胚映射关系，保证了预估的形变场符合软组织形变过程中的物理规律，从而有利于提高预估的形变场的准确性，实现准确预估软组织在实际三维空间中的变形
。
[0033]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开
。
附图说明
[0034]图1是本申请一示例性实施例示出的一种机器人外科手术系统的示意图
。
[0035]图2是本申请一示例性实施例示出的一种患者侧机器人的示意图
。...

【技术保护点】

【技术特征摘要】
1.
一种软组织形变估计模型的训练方法，其特征在于，包括：获取训练样本集，所述训练样本集中的不同样本包括不同时刻的点云以及点云中的三维点的速度矢量；其中，任一样本基于对相邻时刻从两个不同方位采集到的四张软组织图像进行深度估计以及光流估计得到；利用所述训练样本集中的样本对预设的神经网络模型进行自监督训练，得到软组织形变估计模型；其中，所述自监督训练指示重复以下迭代过程直到满足迭代结束条件：在每一轮迭代过程中，基于所述训练样本集中的样本获取神经网络模型输出的速度场，对所述速度场进行积分得到满足微分同胚映射关系的第一形变场和第二形变场；利用所述第一形变场对所述相邻时刻中的前一时刻采集的两张软组织图像分别进行形变处理得到两张第一形变图像，再利用所述第二形变场分别对两张第一形变图像进行形变处理得到两张第二形变图像；在迭代结束条件未满足的情况下，根据所述四张软组织图像
、
所述两张第一形变图像和所述两张第二形变图像调整所述神经网络模型的参数，得到下一迭代过程中的神经网络模型
。2.
根据权利要求1所述的方法，其特征在于，所述第一形变场表征从所述相邻时刻中的前一时刻到后一时刻的形变情况，所述第二形变场表征从所述相邻时刻中的后一时刻到前一时刻的形变情况
。3.
根据权利要求1或2所述的方法，其特征在于，所述自监督训练的学习目标包括：第一形变图像与所述相邻时刻中的后一时刻采集的软组织图像相同或相似，和，第二形变图像与所述相邻时刻中的前一时刻采集的软组织图像相同或相似
。4.
根据权利要求1所述的方法，其特征在于，所述利用所述第一形变场对所述相邻时刻中的前一时刻采集的两张软组织图像分别进行形变处理得到两张第一形变图像，包括：对于所述相邻时刻中的前一时刻采集的各张软组织图像，利用第一形变场对该张软组织图像对应的点云进行形变处理，得到第一形变点云；利用图像采集装置的内外参数，将第一形变点云投影到二维空间，得到与该张软组织图像对应的第一形变图像；所述利用所述第二形变场分别对两张第一形变图像进行形变处理得到两张第二形变图像，包括：对于每张第一形变图像，利用第二形变场对第一形变图像对应的第一形变点云进行形变处理，得到第二形变点云；利用图像采集装置的内外参数，将第二形变点云投影到二维空间，得到第二形变图像
。5.
根据权利要求1所述的方法，其特征在于，所述根据所述四张软组织图像
、
所述两张第一形变图像和所述两张第二形变图像调整所述神经网络模型的参数，包括：根据两张第一形变图像与所述相邻时刻中的后一时刻采集的两张软组织图像计算第一损失值；以及，根据两张第二形变图像与所述相邻时刻中的前一时刻采集的两张软组织图像计算第二损失值；根据所述第一损失值和第二损失值调整所述神经网络模型的参数
。6.
根据权利要求5所述的方法，其特征在于，所述第一损失值包括所述相邻时刻中的后
一时刻采集的软组织图像的像素值与属于同一方位的第一形变图像的像素值之间的光度损失值；所述第二损失值包括所述相邻时刻中的前一时刻采集的软组织图像中的像素坐标与属于同一方位的第二形变图像中的像素坐标之间的
L1
范数距离
。7.
根据权利要求5或6所述的方法，其特征在于，所述方法还包括：根据所述点云中的三维点的速度矢量与所述第一形变场之间的相似度，计算第三损失值；和
/
或，根据所述第一形变场和所述第二形变场之间的梯度变化，计算第四损失值；所述根据所述第一损失值和第二损失值调整所述神经网络模型的参数，还包括：根据所述第三损失值和所述第四损失值中的至少一种
、
所述第一损失值和所述第二损失值调整所述神经网络模型的参数
。8.
根据权利要求1所述的方法，其特征在于，所述神经网络模型包括第一编码器
、
第二编码器和解码器；所述第一编码器用于对样本包含的点云进行特征提取，获取点云特征；所述第二编码器用于对样本包含的点云中的三维点的速度矢量进行特征提取，获取运动特征；所述解码器用于根据所述点云特征和所述运动特征进行形变估计处理，得到速度场
。9.
根据权利要求8所述的方法，其特征在于，所述神经网络模型包括
U
型神经网络模型；其中，所述第一编码器和所述第二编码器跳跃连接，以及，所述第二编码器和所述解码器跳跃连接
。10.
根据权利要求8或9所述的方法，其特征在于，所述第一编码器和所述第二编码器均包含
N
个神经网络层；
N
为大于1的整数；所述第一编码器中的神经网络层和所述第二编码器的神经网络层跳跃连接；所述第一编码器中的第
n+1
个神经网络层的输入数据为所述第一编码器中的第
n
个神经网络层的输出数据，以及所述第二编码器中的第
n+1
个神经网络层的输入数据为所述第二编码器中的第
n
个神经网络层的输出数据和所述第一编码器中的第
n
个神经网络层的输出数据拼接的结果，1＜
n≤...

【专利技术属性】
技术研发人员：请求不公布姓名，请求不公布姓名，请求不公布姓名，请求不公布姓名，请求不公布姓名，
申请(专利权)人：深圳康诺思腾科技有限公司，
类型：发明
国别省市：