标志点检测模型生成方法及标志点检测方法技术

本发明专利技术提供了一种标志点检测模型生成方法及标志点检测方法。所述生成方法包括：构建含有预先标记的标志点的三维模型；获取三维模型多个不同视角的二维图像，并将标志点的三维位置数据转换为二维位置数据；利用深度学习方法，将每个视角的二维图像及标志点的二维位置数据作为输入分别训练得到多个神经网络模型；获取具标志点的第二响应图，并对所述第一响应图进行修正得到修正的第一响应图，将修正的第一响应图上标志点的位置数据作为映射层输入，通过映射关系得到标志点的预测三维位置数据；根据原始三维位置数据和预测三维位置数据计算得到损失值，响应损失值满足预设条件得到训练完成的标志点检测模型。本发明专利技术提供的方法具有性能好的优点。

【技术实现步骤摘要】
标志点检测模型生成方法及标志点检测方法
本专利技术涉及医学图像处理
，尤其涉及一种标志点检测模型生成方法及标志点检测方法。
技术介绍
在临床医学手术应用、生物科学研究以及形态学识别等领域，标志点的准确检测起着重要作用；同时标志点也是其他研究领域的基础，如配准、分割等。深度学习为特征学习提供了一个有效的工具。近年来，深度学习模型以及用于三维形状特征表示取得了很大的成果。相关技术中利用深度学习处理三维数据主要分为两种类型。第一类是基于三维体数据进行标志点的检测。体数据是由一张一张CT(ComputedTomography，电子计算机断层扫描)切片组成，数据从三个维度长度、宽度、高度出发，训练的网络使用的是二维图像，训练一般直接对标志点进行学习，通过取imagepatch(图像块)来解决有限医学图像数据的问题。第二类是基于训练数据转换。Haggai等人提出的检测方法：先基于体数据建模，然后对建好的三维模型进行标记，接着将三维数据转化为二维数据进行训练，转换过程中会出现某些区域不连续的问题。第一类方法直接对原始体数据进行学习，省去了建模的部分，数据处理简单化，但是在训练阶段，由于体数据的计算量比较大，所以计算复杂度是一个很大的问题。第二类方法在操作过程中，每个数据的处理过程很耗时，而且为了处理转换过程中模型的不连续性问题，转换的得到的二维数据就会比原始数据量要大，训练时间自然也跟着增加了。除此之外有些研究对于模型也有要求，要求三维模型是球状的才能进行数据转换。因此，实有必要提供一种改进的标志点检测模型生成方法及用于检测标志点的方法以解决上述问题。【专利
技术实现思路
】本专利技术将二维图像作为深度学习工具的输入进行训练得到神经网络模型，再通过修正(增强)标志点的像素值及二维至三维的映射关系得到标志点的三维预测位置数据，相比基于三维的CNN来说，在保证实际可用的前提下，性能更好，时间效率更高。为实现上述目的，本专利技术提供一种标志点检测模型生成方法，所述方法包括：构建三维模型，所述三维模型上包含有预先标记的标志点，所述标志点对应的位置数据为原始三维位置数据；基于所述三维模型，获取多个不同视角的二维图像，并根据所述原始三维位置数据和与视角对应的视点位置数据计算得到所述标志点的二维位置数据，所述多个不同视角包括至少一个全局视角和一个局部视角，所述二维图像包括深度图像和表面参考图像；利用深度学习方法，将每个视角的所述深度图像及所述标志点的二维位置数据作为输入，将优化得到的响应图作为输出，分别训练得到多个神经网络模型，每个不同视角的二维图像对应一个神经网络模型，其中输出的响应图包括对应全局视角的第一响应图和对应局部视角的第二响应图；基于所述表面参考图像获取具标志点的第二响应图，将所述具标志点的第二响应图对所述第一响应图进行修正得到修正的第一响应图，将所述修正的第一响应图上标志点的位置数据作为映射层输入，基于二维到三维的映射关系得到标志点的预测三维位置数据；根据所述原始三维位置数据和所述预测三维位置数据计算得到损失值，响应所述损失值满足预设条件得到训练完成的所述标志点检测模型。可选地，所述根据所述原始三维位置数据和与视角对应的视点位置数据计算得到所述标志点的二维位置数据，具体为：其中，所述原始三维位置数据为S(x,y,z)，所述视点位置数据为V(x,y,z)，所述标志点的二维位置数据为I(x,y)。可选地，所述利用深度学习方法，将每个视角的所述深度图像及所述标志点的二维位置数据作为输入，将优化得到的响应图作为输出，分别训练得到多个神经网络模型，每个不同视角的二维图像对应一个神经网络模型，其中输出的响应图包括对应全局视角的第一响应图和对应局部视角的第二响应图，具体为：搭建第一ECNN网络框架，将每个全局视角的深度图像及所述标志点的二维位置数据作为输入，将第一响应图作为输出，分别训练得到全局视角对应的神经网络模型；搭建第二ECNN网络框架，将每个局部视角的深度图像及所述标志点的二维位置数据作为输入，将第二响应图作为输出，分别训练得到局部视角对应的神经网络模型，所述第二ECNN网络框架的网络层数小于所述第一ECNN网络框架的网络层数。可选地，所述基于所述表面参考图像获取具标志点的第二响应图，将所述具标志点的第二响应图对所述第一响应图进行修正得到修正的第一响应图，将所述修正的第一响应图上标志点的位置数据作为映射层输入，基于二维到三维的映射关系得到标志点的预测三维位置数据的步骤包括：根据所述表面参考图像获取特定表面参考图像，所述特定表面参考图像为具有标志点的局部视角对应的表面参考图像；获取与所述特定表面参考图像同一个视角的第二响应图，所述第二响应图具有标志点；若所述第一响应图和所述第二响应图上均包括A点，将所述第一响应图上A点的像素值和第二响应图上A点的像素值按照预设公式进行计算得到修正的第一响应图上A点的像素值；获取所述修正的第一响应图上标志点中的各个像素点的像素值，并将标志点中具有最大像素值的像素点作为期望位置；将所述期望位置的位置数据作为映射层输入，基于二维到三维的映射关系得到的位置数据为标志点的预测三维位置数据。可选地，所述预设公式为：Gi'＝α×max(Gi,Li)+(1-α)×min(Gi,Li)；其中：0.8<α<1；Gi'为修正的第一响应图上A点的像素值，Gi为第一响应图上A点的像素值，Li为第二响应图上A点的像素值。可选地，所述方法还包括：根据所述原始三维位置数据和预测三维位置数据计算得到损失值，响应所述损失值不满足预设条件得到训练未完成的所述标志点检测模型；调整训练的相关参数，继续执行训练步骤、修正映射步骤得到标志点的新预测三维位置数据；根据所述原始三维位置数据和新预测三维位置数据计算得到新的损失值；当所述新的损失值与其前一次获得的损失值差值在阈值范围内时，满足预设条件。本专利技术同时提供一种标志点检测方法，所述方法包括：获取测试数据，所述测试数据包括多个不同视角的二维图像以及待生成标志点的位置数据，所述多个不同视角包括至少有一个全局视角和一个局部视角，所述二维图像包括表面参考图像和深度参考图像；将所述测试数据输入上文任一项所述的方法生成的所述标志点检测模型中，生成预测标志点。可选地，当全局视角对应的二维图像为K个，所述待生成标志点的预测标志点数量为M个，将M个预测标志点的质心作为最终预测标志点的位置，所述质心为到M个所述预测标志点的邻域顶点距离最近的点，其中，2≤K≤4，2≤M≤K。本专利技术还提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上文所述的方法。本专利技术还提供了一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如上文所述的方法。与相关技术相比，本专利技术提出的标志点检测模型生成方法，构建三维模型，所述三维模型上包含有预先标记的标志点；基于所述三维模型，获取包括至少一个全局视角和至少一个局部视角的二维图像(包括深度图像和表面参考图像)，并同时将标志点的坐标由三维坐标转换为二维坐标，将所述深度图像和标志点的二维位置数据作为深度学习工具的输入进行本文档来自技高网...

【技术保护点】
1.一种标志点检测模型生成方法，其特征在于，所述方法包括：构建三维模型，所述三维模型上包含有预先标记的标志点，所述标志点对应的位置数据为原始三维位置数据；基于所述三维模型，获取多个不同视角的二维图像，并根据所述原始三维位置数据和与视角对应的视点位置数据计算得到所述标志点的二维位置数据，所述多个不同视角包括至少一个全局视角和一个局部视角，所述二维图像包括深度图像和表面参考图像；利用深度学习方法，将每个视角的所述深度图像及所述标志点的二维位置数据作为输入，将优化得到的响应图作为输出，分别训练得到多个神经网络模型，每个不同视角的二维图像对应一个神经网络模型，其中输出的响应图包括对应全局视角的第一响应图和对应局部视角的第二响应图；基于所述表面参考图像获取具标志点的第二响应图，将所述具标志点的第二响应图对所述第一响应图进行修正得到修正的第一响应图，将所述修正的第一响应图上标志点的位置数据作为映射层输入，基于二维到三维的映射关系得到标志点的预测三维位置数据；根据所述原始三维位置数据和所述预测三维位置数据计算得到损失值，响应所述损失值满足预设条件得到训练完成的所述标志点检测模型。

【技术特征摘要】
1.一种标志点检测模型生成方法，其特征在于，所述方法包括：构建三维模型，所述三维模型上包含有预先标记的标志点，所述标志点对应的位置数据为原始三维位置数据；基于所述三维模型，获取多个不同视角的二维图像，并根据所述原始三维位置数据和与视角对应的视点位置数据计算得到所述标志点的二维位置数据，所述多个不同视角包括至少一个全局视角和一个局部视角，所述二维图像包括深度图像和表面参考图像；利用深度学习方法，将每个视角的所述深度图像及所述标志点的二维位置数据作为输入，将优化得到的响应图作为输出，分别训练得到多个神经网络模型，每个不同视角的二维图像对应一个神经网络模型，其中输出的响应图包括对应全局视角的第一响应图和对应局部视角的第二响应图；基于所述表面参考图像获取具标志点的第二响应图，将所述具标志点的第二响应图对所述第一响应图进行修正得到修正的第一响应图，将所述修正的第一响应图上标志点的位置数据作为映射层输入，基于二维到三维的映射关系得到标志点的预测三维位置数据；根据所述原始三维位置数据和所述预测三维位置数据计算得到损失值，响应所述损失值满足预设条件得到训练完成的所述标志点检测模型。2.根据权利要求1所述的标志点检测模型生成方法，其特征在于，所述根据所述原始三维位置数据和与视角对应的视点位置数据计算得到所述标志点的二维位置数据，具体为：其中，所述原始三维位置数据为S(x,y,z)，所述视点位置数据为V(x,y,z)，所述标志点的二维位置数据为I(x,y)。3.根据权利要求1所述的标志点检测模型生成方法，其特征在于，所述利用深度学习方法，将每个视角的所述深度图像及所述标志点的二维位置数据作为输入，将优化得到的响应图作为输出，分别训练得到多个神经网络模型，每个不同视角的二维图像对应一个神经网络模型，其中输出的响应图包括对应全局视角的第一响应图和对应局部视角的第二响应图，具体为：搭建第一ECNN网络框架，将每个全局视角的深度图像及所述标志点的二维位置数据作为输入，将第一响应图作为输出，分别训练得到全局视角对应的神经网络模型；搭建第二ECNN网络框架，将每个局部视角的深度图像及所述标志点的二维位置数据作为输入，将第二响应图作为输出，分别训练得到局部视角对应的神经网络模型，所述第二ECNN网络框架的网络层数小于所述第一ECNN网络框架的网络层数。4.根据权利要求1所述的标志点检测模型生成方法，其特征在于，所述基于所述表面参考图像获取具标志点的第二响应图，将所述具标志点的第二响应图对所述第一响应图进行修正得到修正的第一响应图，将所述修正的第一响应图上标志点的位置数据作为映射层输入，基于二维到三维的...

【专利技术属性】
技术研发人员：廖胜辉，贺佳丽，任辉，赵于前，李建锋，邹北骥，
申请(专利权)人：中南大学，
类型：发明
国别省市：湖南,43