【技术实现步骤摘要】
本专利技术属于移动作业机器人视觉感知领域，涉及一种基于改进detr模型的实时目标检测方法。
技术介绍
1、核医学影像技术作为医学界的一项尖端诊疗手段，在肿瘤等疾病的早期筛查中起着重要作用，其准确性和稳定性对保证医疗质量和辐射安全至关重要。通常检测人员进行质控工作时，单次承受的辐射剂量大约是正常水平的240倍，超剂量的辐射暴露增加了罹患癌症的风险。
2、在研制核医学影像设备智能检测机器人时，准确地识别和定位环境中的物体是至关重要的。设计一种实时智能目标检测方法，成为了一个迫切需要解决的挑战。
3、传统目标检测方法都是基于卷积神经网络的，如faster r-cnn、ssd和yolo等。这些方法往往使用预先定义的锚点来生成候选框，并使用非极大值抑制来筛选最终的检测结果。detr（detection transformer）模型是一种基于transformer结构的目标检测方法，与之前的大多数目标检测方法不同，detr在设计上摒弃了许多传统的组件，如锚点、非极大值抑制等，为机器人视觉感知提供了新的机会和方法。
4、尽管detr模型有潜力在更多的目标检测问题中发挥作用，但是目前尚未看到公开的、可靠的将detr模型应用于核医学影像设备目标检测的方案。
5、因此，需要一种基于改进detr模型的核医学影像设备目标检测方法以解决上述提到的问题。
技术实现思路
1、本专利技术的目的在于提供一种基于改进detr模型的核医学影像设备目标检测方法，以解决上述背
2、一种基于改进detr模型的核医学影像设备目标检测方法，包括以下步骤：
3、一、采集含有核医学影像设备的图像，对图像中的核医学影像设备进行标注，构建数据集，所述数据集包括图像和标注信息，将所述数据集划分为训练集和验证集；
4、二、构建nmed-detr模型，利用步骤一得到的所述训练集训练所述nmed-detr模型，
5、所述nmed-detr模型包括特征提取网络、查询生成模块、编码器模块、解码器模块、多尺度全局和局部注意力机制以及分类和边界框回归模块，所述特征提取网络、查询生成模块、编码器模块、解码器模块、多尺度全局和局部注意力层以及分类和边界框回归模块依次连接；
6、所述特征提取网络包括卷积神经网络和动态几何位置编码模块，
7、所述卷积神经网络用于对目标的输入图像进行处理提取多尺度的特征图；
8、所述动态几何位置编码模块用于对所述特征图添加动态几何位置编码，得到动态几何位置编码特征图；
9、所述查询生成模块用于根据所述动态几何位置编码特征图生成目标查询向量；
10、所述编码器模块包括6层编码器，每层编码器均包括一个第一多头自注意力层和一个第一前馈神经网络，用于对输入的动态几何位置编码特征图进行编码，得到编码特征；
11、所述解码器模块包括6层解码器，每层解码器均包括一个第二多头自注意力层、一个第三多头自注意力层和一个第二前馈神经网络，用于对所述目标查询向量和编码特征进行解码，得到解码特征；
12、所述多尺度全局和局部注意力层用于对所述编码特征和解码特征进行多尺度特征融合，得到融合特征；
13、所述分类和边界框回归模块用于根据融合特征输出目标的类别和边界框坐标；
14、三、将待检测的核医学影像设备图像输入至步骤二得到的训练好的所述nmed-detr模型中，得到核医学影像设备的检测结果。
15、更进一步的，步骤一中所述核医学影像设备包括正电子发射断层扫描仪pet、单光子发射计算机断层扫描仪spect和pet/ct扫描仪。
16、更进一步的，步骤二中所述卷积神经网络利用下式提取多尺度的特征图：
17、
18、式中，i为输入图像，表示resnet-152网络操作，f为提取的特征图，维度为(h,w,c)，其中，h和w分别为特征图的高度和宽度，c为通道数。
19、选择resnet-152作为主干网络，从输入图像i中提取特征图f，提取到的特征图包含丰富的空间和语义信息，为后续的查询生成和transformer结构部分提供高质量的输入。
20、更进一步的，步骤二中所述动态几何位置编码模块利用下式对所述特征图添加动态几何位置编码：
21、，
22、其中：为输入图像中的像素坐标，为偶数索引，为奇数索引，为位置编码的维度，为调整系数，用于根据图像特征动态调整位置编码。
23、在特征图上添加位置编码，增强特征图的空间几何信息。基于正弦和余弦函数的位置编码方法，对图像的特征位置进行编码，从而保留图像的空间几何信息。本专利技术中位置编码的维度d为256，调整系数和为0.5。
24、更进一步的，步骤二中所述查询生成模块利用下式生成单查询向量：
25、，
26、式中，为正则化后的查询向量，为q的l2范数，q为查询向量，查询向量的维数为d，为全连接层操作，g为全局特征向量，为全局平均池化操作，f为提取的特征图，全局特征向量维度为c。
27、基于输入特征生成查询向量，用于捕捉目标物的特征。通过生成单查询向量，简化了查询的计算过程，减少了计算复杂度。全局平均池化和全连接层的使用，使得生成的查询向量能够捕捉输入图像的全局信息，提高特征的表达能力。正则化处理确保了查询向量的尺度和稳定性，有助于后续transformer结构部分的处理。
28、更进一步的，步骤二中所述多尺度全局和局部注意力层利用下式进行多尺度特征融合：
29、，
30、式中，s为多尺度集合，为尺度s的权重，，，为尺度s的查询、键和值矩阵；q为查询矩阵，k为键矩阵，v为值矩阵，为键矩阵的维度；为查询矩阵的第i个位置，为键矩阵的第j个位置，为值矩阵的第j个位置。
31、结合全局注意力和局部注意力进行特征融合，提高目标检测的精度和鲁棒性。输入是解码后的特征y和编码特征 z，输出是融合后的特征，用于分类和边界框回归。
32、更进一步的，所述编码器还包括一个第一残差连接、一个第一层归一化、一个第二残差连接和一个第二层归一化，所述第一残差连接和第一层归一化设置在所述第一多头自注意力层和第一前馈神经网络之间，所述第二残差连接和第二层归一化设置在所述第一前馈神经网络后。
33、更进一步的，所述解码器还包括一个第三残差连接、一个第三层归一化、一个第四残差连接、一个第四层归一化、一个第五残差连接和一个第五层归一化，所述第三层归一化和第三残差连接设置在所述第二多头自注意力机制和第三多头自注意力层之间，所述第四残差连接和第四层归一化设置在所述第三多头自注意力层和第二前馈神经网络之间，所述第五残差连接和第五层归一化设置在所述第二前馈神经网络后。
34、步骤二中所述特征提取网络利用下式对提取的特征进行批量归一化计算：
35本文档来自技高网...
【技术保护点】
1.一种基于改进DETR模型的核医学影像设备目标检测方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于改进DETR模型的核医学影像设备目标检测方法，其特征在于，步骤一中所述核医学影像设备包括正电子发射断层扫描仪PET、单光子发射计算机断层扫描仪SPECT和PET/CT扫描仪。
3.如权利要求1所述的基于改进DETR模型的核医学影像设备目标检测方法，其特征在于，步骤二中所述卷积神经网络利用下式提取多尺度的特征图：
4.如权利要求1所述的基于改进DETR模型的核医学影像设备目标检测方法，其特征在于，步骤二中所述动态几何位置编码模块利用下式对所述特征图添加动态几何位置编码：
5.如权利要求1所述的基于改进DETR模型的核医学影像设备目标检测方法，其特征在于，步骤二中所述查询生成模块利用下式生成单查询向量：
6.如权利要求1所述的基于改进DETR模型的核医学影像设备目标检测方法，其特征在于，步骤二中所述多尺度全局和局部注意力层利用下式进行多尺度特征融合：
7.如权利要求1所述的基于改进DETR模型的核医学影
8.如权利要求1所述的基于改进DETR模型的核医学影像设备目标检测方法，其特征在于，所述解码器还包括一个第三残差连接、一个第三层归一化、一个第四残差连接、一个第四层归一化、一个第五残差连接和一个第五层归一化，所述第三层归一化和第三残差连接设置在所述第二多头自注意力机制和第三多头自注意力层之间，所述第四残差连接和第四层归一化设置在所述第三多头自注意力层和第二前馈神经网络之间，所述第五残差连接和第五层归一化设置在所述第二前馈神经网络后。
9.如权利要求1所述的基于改进DETR模型的核医学影像设备目标检测方法，其特征在于，步骤二中所述特征提取网络利用下式对提取的特征进行批量归一化计算：
10.如权利要求1所述的基于改进DETR模型的核医学影像设备目标检测方法，其特征在于，步骤二中所述NMED-DETR模型的损失函数通过下式表示：
...【技术特征摘要】
1.一种基于改进detr模型的核医学影像设备目标检测方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于改进detr模型的核医学影像设备目标检测方法，其特征在于，步骤一中所述核医学影像设备包括正电子发射断层扫描仪pet、单光子发射计算机断层扫描仪spect和pet/ct扫描仪。
3.如权利要求1所述的基于改进detr模型的核医学影像设备目标检测方法，其特征在于，步骤二中所述卷积神经网络利用下式提取多尺度的特征图：
4.如权利要求1所述的基于改进detr模型的核医学影像设备目标检测方法，其特征在于，步骤二中所述动态几何位置编码模块利用下式对所述特征图添加动态几何位置编码：
5.如权利要求1所述的基于改进detr模型的核医学影像设备目标检测方法，其特征在于，步骤二中所述查询生成模块利用下式生成单查询向量：
6.如权利要求1所述的基于改进detr模型的核医学影像设备目标检测方法，其特征在于，步骤二中所述多尺度全局和局部注意力层利用下式进行多尺度特征融合：
7.如权利要求1所述的基于改进detr模型的核医学影像设备目标检测方法，...
【专利技术属性】
技术研发人员：姜伟平，赵伟，邢立腾，高佳，雷灏，陈露，程璨，
申请(专利权)人：江苏省计量科学研究院江苏省能源计量数据中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。