三维空间关键点的位置检测方法、装置、设备及存储介质制造方法及图纸

本申请提供了一种三维空间关键点的位置检测方法、装置、电子设备、计算机可读存储介质。该三维空间关键点的位置检测方法，包括：获取髋关节CT图像；通过窗宽和窗位，基于髋关节CT图像提取体数据；将体数据在矢状面方向上进行投影，得到投影图像；将投影图像输入预设的关键点检测网络模型，输出三维空间关键点的位置检测结果；其中，关键点检测网络模型是基于优化后的BlazePose网络进行模型训练得到的，优化后的BlazePose网络中的卷积层为ResNeSt网络结构，同时在网络中的上采样和下采样中都使用了跳跃级联结构。根据本申请实施例，能够提高三维空间膝关节关键点的检测效率和准确率。率。率。

【技术实现步骤摘要】
三维空间关键点的位置检测方法、装置、设备及存储介质


[0001]本申请属于深度学习智能识别
，尤其涉及一种三维空间关键点的位置检测方法、装置、电子设备、计算机可读存储介质。

技术介绍

[0002]目前，三维空间膝关节关键点的检测是人工检测，导致检测效率和准确率低下。
[0003]因此，如何提高三维空间膝关节关键点的检测效率和准确率是本领域技术人员亟需解决的技术问题。

技术实现思路

[0004]本申请实施例提供一种三维空间关键点的位置检测方法、装置、电子设备、计算机可读存储介质，能够提高三维空间膝关节关键点的检测效率和准确率。
[0005]第一方面，本申请实施例提供一种三维空间关键点的位置检测方法，包括：
[0006]获取髋关节CT图像；
[0007]通过窗宽和窗位，基于髋关节CT图像提取体数据；
[0008]将体数据在矢状面方向上进行投影，得到投影图像；
[0009]将投影图像输入预设的关键点检测网络模型，输出三维空间关键点的位置检测结果；
[0010]其中，关键点检测网络模型是基于优化后的BlazePose网络进行模型训练得到的，优化后的BlazePose网络中的卷积层为ResNeSt网络结构，同时在网络中的上采样和下采样中都使用了跳跃级联结构。
[0011]可选的，将体数据在矢状面方向上进行投影，得到投影图像，包括：
[0012]计算三维数据在y轴方向上的总和；
[0013]对总和进行归一化处理；
[0014]将归一化处理后的总和变换到0
‑
255范围的图像格式，得到投影图像。
[0015]可选的，将投影图像输入预设的关键点检测网络模型，输出三维空间关键点的位置检测结果，包括：
[0016]检测三维空间关键点分别在x轴、z轴方向上的坐标；
[0017]利用z轴方向上的坐标除以髋关节CT图像的层厚，得到三维空间关键点的所在层数；
[0018]在三维空间关键点的所在层数，检测x轴方向上的坐标与mask图像的交点，得到在y轴方向上的坐标。
[0019]可选的，ResNeSt网络结构包括两个Split
‑
Attention模块，每一个模块包含3个输入以跨不同的feature
‑
map，结合不同feature
‑
map特征，实现feature
‑
map注意力。
[0020]可选的，Split
‑
Attention模块由feature
‑
map组和split attention操作组成，能够在不同的feature
‑
map组上加入特征图attention。
[0021]可选的，方法还包括：
[0022]在多标签分类中，分别计算目标类别的预测概率和真实概率；
[0023]基于预测概率和真实概率，计算标签平滑后的概率值。
[0024]可选的，在关键点检测网络模型训练过程中，设置训练的batch_size为32；
[0025]设置初始化学习率为1e
‑
4，附加学习率衰减策略，每迭代5000次，学习率衰减为上一次学习率的0.9；
[0026]设置优化器为Adam优化器；
[0027]设置损失函数为DICE loss；
[0028]设置每迭代1000次，对训练集和验证集做一次验证，通过早停法来判断网络训练停止时间，并得到关键点检测网络模型。
[0029]第二方面，本申请实施例提供了一种三维空间关键点的位置检测装置，所述装置包括：
[0030]图像获取模块，用于获取髋关节CT图像；
[0031]数据提取模块，用于通过窗宽和窗位，基于髋关节CT图像提取体数据；
[0032]投影模块，用于将体数据在矢状面方向上进行投影，得到投影图像；
[0033]结果输出模块，用于将投影图像输入预设的关键点检测网络模型，输出三维空间关键点的位置检测结果；
[0034]其中，关键点检测网络模型是基于优化后的BlazePose网络进行模型训练得到的，优化后的BlazePose网络中的卷积层为ResNeSt网络结构，同时在网络中的上采样和下采样中都使用了跳跃级联结构。
[0035]第三方面，本申请实施例提供了一种电子设备，电子设备包括：处理器以及存储有计算机程序指令的存储器；
[0036]所述处理器执行所述计算机程序指令时实现如第一方面所示的三维空间关键点的位置检测方法。
[0037]第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如第一方面所示的三维空间关键点的位置检测方法。
[0038]本申请实施例的三维空间关键点的位置检测方法、装置、电子设备、计算机可读存储介质，能够提高三维空间膝关节关键点的检测效率和准确率。
[0039]该三维空间关键点的位置检测方法，包括：获取髋关节CT图像；通过窗宽和窗位，基于髋关节CT图像提取体数据；将体数据在矢状面方向上进行投影，得到投影图像；将投影图像输入预设的关键点检测网络模型，输出三维空间关键点的位置检测结果。
[0040]可见，该方法中关键点检测网络模型是基于优化后的BlazePose网络进行模型训练得到的，优化后的BlazePose网络中的卷积层为ResNeSt网络结构，同时在网络中的上采样和下采样中都使用了跳跃级联结构，能够提高三维空间膝关节关键点的检测效率和准确率。
附图说明
[0041]为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体
实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0042]图1是本申请一个实施例提供的三维空间关键点的位置检测方法的流程示意图；
[0043]图2是本申请一个实施例提供的关键点x值与mask交点示意图；
[0044]图3是本申请一个实施例提供的三维空间关键点的位置检测方法的流程示意图；
[0045]图4是本申请一个实施例提供的三维空间关键点的位置检测方法的流程示意图；
[0046]图5是本申请一个实施例提供的优化后的BlazePose网络结构示意图；
[0047]图6是本申请一个实施例提供的ResNeSt网络结构示意图；
[0048]图7是本申请一个实施例提供的Split
‑
Attention模块结构示意图；
[0049]图8是本申请一个实施例提供的三维空间关键点的位置检测装置的结构示意图；
[0050]图9是本申请一个实施例提供的电子设备的结构示意图。
具体实施方式...

【技术保护点】

【技术特征摘要】
1.一种三维空间关键点的位置检测方法，其特征在于，包括：获取髋关节CT图像；通过窗宽和窗位，基于髋关节CT图像提取体数据；将体数据在矢状面方向上进行投影，得到投影图像；将投影图像输入预设的关键点检测网络模型，输出三维空间关键点的位置检测结果；其中，关键点检测网络模型是基于优化后的BlazePose网络进行模型训练得到的，优化后的BlazePose网络中的卷积层为ResNeSt网络结构，同时在网络中的上采样和下采样中都使用了跳跃级联结构。2.根据权利要求1所述的三维空间关键点的位置检测方法，其特征在于，将体数据在矢状面方向上进行投影，得到投影图像，包括：计算三维数据在y轴方向上的总和；对总和进行归一化处理；将归一化处理后的总和变换到0
‑
255范围的图像格式，得到投影图像。3.根据权利要求1所述的三维空间关键点的位置检测方法，其特征在于，将投影图像输入预设的关键点检测网络模型，输出三维空间关键点的位置检测结果，包括：检测三维空间关键点分别在x轴、z轴方向上的坐标；利用z轴方向上的坐标除以髋关节CT图像的层厚，得到三维空间关键点的所在层数；在三维空间关键点的所在层数，检测x轴方向上的坐标与mask图像的交点，得到在y轴方向上的坐标。4.根据权利要求1所述的三维空间关键点的位置检测方法，其特征在于，ResNeSt网络结构包括两个Split
‑
Attention模块，每一个模块包含3个输入以跨不同的feature
‑
map，结合不同feature
‑
map特征，实现feature
‑
map注意力。5.根据权利要求4所述的三维空间关键点的位置检测方法，其特征在于，Split
‑
Attention模块由feature
‑
map组和split attention操作组成，能够在...

【专利技术属性】
技术研发人员：张逸凌，刘星宇，
申请(专利权)人：张逸凌，
类型：发明
国别省市：