一种基于视角辅助的摄影体位识别和体表解剖标志检测两阶段方法技术

本发明专利技术公开了一种基于视角辅助的摄影体位识别和体表解剖标志检测两阶段方法，包括以下步骤：S1：对23种摄影体位进行重新分组，生成视角标签；S2：基于ImageNet数据集预训练后的网络模型作为初始化权重，训练体位分类阶段网络；S3：基于ImageNet数据集预训练后的网络模型作为初始化权重，训练体表解剖标志检测阶段网络；S4：将数据集中的待测数据输入到优化后的两个阶段的网络中；S5：将两组热力图解码为坐标，使用平均高斯相似度评估这两组坐标；S6：将高检测性能标志点种类序列作为先验信息，对两组热图进行选择处理，输出坐标结果。本发明专利技术自动化处理水平提高，可以极大地降低放射科技术人员的工作量和感染风险。术人员的工作量和感染风险。术人员的工作量和感染风险。

【技术实现步骤摘要】
一种基于视角辅助的摄影体位识别和体表解剖标志检测两阶段方法


[0001]本专利技术涉及数字图像处理领域，具体涉及到一种基于视角辅助的摄影体位识别和体表解剖标志检测两阶段方法。

技术介绍

[0002]放射科技术人员在进行X线摄影时，在确认拍摄位置后，需指导受检者做出正确的摄影体位，并将X线的探测器对准拍摄部位的体表解剖标志。为减少技术人员的工作负担和感染风险，通过传感器与计算机实现辅助X线摄影显得尤为重要。辅助X线摄影研究中最关键的就是在可见光图像中自动识别摄影体位和检测体表解剖标志。
[0003]当前面向辅助X线摄影的研究中，仅有一个名为X线摄影体位识别和体表解剖标志检测的数据集和一种基于多任务学习的摄影体位识别和体表解剖标志检测方法的研究。在多任务学习方法中，训练时，需要根据主分支的性能评价结果的好坏来判别本次训练后是否需要更新最优的模型。这种方法，只能保证主分支的性能达到最优，但是其他分支不一定能达到最好的性能。摄影体位识别作为其他分支，在多任务学习方法中往往不能达到最好的分类性能。但是，摄影体位的分类结果为体表解剖标志检测提供先验信息，因此错误的摄影体位分类会使该摄影体位下的所有体表解剖标志检测错误。综上所述，不能达到最高分类性能的摄影体位分类分支限制了体表解剖标志检测的性能。

技术实现思路

[0004]本专利技术所要解决的技术问题是提供一种基于视角辅助的摄影体位识别和体表解剖标志检测两阶段方法，解决多任务学习方法多任务分支不能同时达到最好的性能的问题，精确地实现了辅助X线摄影的摄影体位识别和体表解剖标志检测。
[0005]为达上述目的，本专利技术采用如下技术方案。
[0006]一种基于视角辅助的摄影体位识别和体表解剖标志检测两阶段方法，包括以下步骤：
[0007]S1：对23种摄影体位进行重新分组，生成视角标签；
[0008]S2：基于ImageNet数据集预训练后的网络模型作为初始化权重，训练包含主干网络、摄影体位分支、视角分类分支和体表解剖标志检测的摄影体位分类阶段网络；
[0009]S3：基于ImageNet数据集预训练后的网络模型作为初始化权重，训练体表解剖标志检测阶段网络；
[0010]S4：将数据集中的待测数据输入到优化后的两个阶段的网络中，得到摄影体位分类结果、体表解剖标志热图；
[0011]S5：将两组热力图解码为坐标，使用平均高斯相似度评估这两组坐标，得到高检测性能标志点种类序列；
[0012]S6：将高检测性能标志点种类序列作为先验信息，对步骤S4中得到两组热图进行
选择处理，输出坐标结果。
[0013]进一步地，步骤S1中通过对23种摄影体位进行分析，根据图像中的人体的视角，即人体朝向与摄像机之间的相对角度，对23种摄影体位进行重新的分组。
[0014]进一步地，步骤S2中将人体边界框的高度或宽度扩展到固定的纵横比，比例为高度：宽度＝4：3，从图像中裁剪边界框，然后将其调整为固定尺寸为384像素
×
288像素作为输入图像，图像输入到摄影体位阶段的网络中，主干网络使用HRNetV2
‑
W48，提取四种分辨率的特征图N
41
∈R
N*ω*H/4*W/4
，N
42
∈R
N*2ω*H/8*W/8
，N
43
∈R
N*4ω*H/16*W/16
，N
44
∈R
N*8ω*H/32*W/32
，w设置为48，H、W为输入图像的高和宽。
[0015]进一步地，步骤S2中视角分类分支的结构为：首先将N
41
，N
42
，N
43
，N
44
送入ResNet的瓶颈层，使它们的通道分别增加到128、256、512和1024；然后使用具有256个通道和步长为2的3
×
3卷积对高分辨率特征图进行下采样，然后与次高分辨率的特征图进行相加以融合为低级特征；重复这个过程3次后，得到1024个通道的最小分辨率特征图；然后通过1
×
1卷积层将特征图通道的数量增加到2048个；最后本专利技术将特征图依次通过平均池化层和全连接层以获得视角6分类的结果。
[0016]进一步地，步骤S2中摄影体位分类分支是摄影体位分类阶段的主分支，采用类似于视角分类分支的网络结构，不同的是增加了压缩系数为8的SE模块对不同分辨率的特征图进行特征重标定，首先，将SE模块插入到通道增加为128的最高分辨率的特征图后，进行最高分辨率特征图通道的调整；其次，将SE模块分辨加在高分辨率特征图降采样后与次级分辨率特征图进行相加融合得到的次级分辨率特征图后，进行多种分辨率特征融合后的重标定；最后，将SE模块加在通过1
×
1卷积得到通道数为2048的最低分辨率特征图之后，进行分类之前的最后一次通道特征重标定；最后将重标定后的特征图依次通过平均池化层和全连接层以获得摄影体位23分类的结果。
[0017]进一步地，步骤S2中视角分类分支的损失为L
poscls
，使用交叉熵损失；摄影体位分支的损失为L
angcls
，使用交叉熵损失；体表解剖标志检测分支的损失为L
landmark
，使用均方差损失；训练阶段的损失设置为：
[0018]L＝0.00001*L
poscls
+0.00001*L
angcls
+L
landmark
(1)
[0019]使用随机旋转和随机尺度放缩两种方法进行图像数据增强，随机旋转范围为
±
45度，随机尺度范围为
±
35％，基于迁移学习的思想，在数据集中的训练集上使用ImageNet上预训练好的网络模型进行模型迁移，使用Adam优化器进行训练优化，基本学习率设置为1e
‑
3，并在第70个和第100个时期分别下降到1e
‑
4和1e
‑
5，训练过程在110个epoch内结束。
[0020]进一步地，步骤S3中体表解剖标志检测阶段包括以下步骤：
[0021]将人体边界框的高度或宽度扩展到固定的纵横比，比例为高度：宽度＝4：3，从图像中裁剪边界框，然后将其调整为固定尺寸为384像素
×
288像素作为输入图像，图像输入到摄影体位阶段的网络中，首先由HRNetV2
‑
W48作为主干网络，提取四种分辨率的特征图N
41
，N
42
，N
43
，N
44
；然后将N
41
通过1
×
1卷积预测80通道的热图使用L
landmark
作为本阶段的损失函数，训练阶段的数据增强方法、预训练模型和优化器选择同摄影体位分类本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视角辅助的摄影体位识别和体表解剖标志检测两阶段方法，其特征在于，包括以下步骤：S1：对23种摄影体位进行重新分组，生成视角标签；S2：基于ImageNet数据集预训练后的网络模型作为初始化权重，训练包含主干网络、摄影体位分支、视角分类分支和体表解剖标志检测的摄影体位分类阶段网络；S3：基于ImageNet数据集预训练后的网络模型作为初始化权重，训练体表解剖标志检测阶段网络；S4：将数据集中的待测数据输入到优化后的两个阶段的网络中，得到摄影体位分类结果、体表解剖标志热图；S5：将两组热力图解码为坐标，使用平均高斯相似度评估这两组坐标，得到高检测性能标志点种类序列；S6：将高检测性能标志点种类序列作为先验信息，对步骤S4中得到两组热图进行选择处理，输出坐标结果。2.如权利要求1所述的基于视角辅助的摄影体位识别和体表解剖标志检测两阶段方法，其特征在于，步骤S1中通过对23种摄影体位进行分析，根据图像中的人体的视角，即人体朝向与摄像机之间的相对角度，对23种摄影体位进行重新的分组。3.如权利要求1所述的基于视角辅助的摄影体位识别和体表解剖标志检测两阶段方法，其特征在于，步骤S2中将人体边界框的高度或宽度扩展到固定的纵横比，比例为高度：宽度＝4：3，从图像中裁剪边界框，然后将其调整为固定尺寸为384像素
×
288像素作为输入图像，图像输入到摄影体位阶段的网络中，主干网络使用HRNetV2
‑
W48，提取四种分辨率的特征图N
41
∈R
N*ω*H/4*W/4
，N
42
∈R
N*2ω*H/8*W/8
，N
43
∈R
N*4ω*H/16*W/16
，N
44
∈R
N*8ω*H/32*W/32
，w设置为48，H、W为输入图像的高和宽。4.如权利要求1所述的基于视角辅助的摄影体位识别和体表解剖标志检测两阶段方法，其特征在于，步骤S2中视角分类分支的结构为：首先将N
41
，N
42
，N
43
，N
44
送入ResNet的瓶颈层，使它们的通道分别增加到128、256、512和1024；然后使用具有256个通道和步长为2的3
×
3卷积对高分辨率特征图进行下采样，然后与次高分辨率的特征图进行相加以融合为低级特征；重复这个过程3次后，得到1024个通道的最小分辨率特征图；然后通过1
×
1卷积层将特征图通道的数量增加到2048个；最后本发明将特征图依次通过平均池化层和全连接层以获得视角6分类的结果。5.如权利要求1所述的基于视角辅助的摄影体位识别和体表解剖标志检测两阶段方法，其特征在于，步骤S2中摄影体位分类分支是摄影体位分类阶段的主分支，采用类似于视角分类分支的网络结构，不同的是增加了压缩系数为8的SE模块对不同分辨率的特征图进行特征重标定，首先，将SE模块插入到通道增加为128的最高分辨率的特征图后，进行最高分辨率特征图通道的调整；其次，将SE模块分辨加在高分辨率特征图降采样后与次级分辨率特征图进行相加融合得到的次级分辨率特征图后，进行多种分辨率特征融合后的重标定；最后，将SE模块加在通过1
×
1卷积得到通道数为2048的最低分辨率特征图之后，进行分类之前的最后一次通道特征重标定；最后将重标定后的特征图依次通过平均池化层和全连接层以获...

【专利技术属性】
技术研发人员：骆春波，张赟疆，刘翔，罗杨，孙文健，
申请(专利权)人：电子科技大学长三角研究院湖州，
类型：发明
国别省市：