【技术实现步骤摘要】
进行卷积处理，得到分别与第一特征图C1...C
n
‑1一一对应的第二中间特征图C'1...C'
n
‑1，其中所述第二中间特征图的尺度与和其一一对应的第一特征图的尺度相同；基于所述第二特征图F
n
以及各所述第二中间特征图C'1...C'
n
‑1，得到第二特征图F1...F
n
‑1以及第一中间特征图F'1...F'
n
‑1，其中所述第二特征图F
i
由所述第二中间特征图C'
i
与所述第一中间特征图F'
i+1
进行叠加处理得到，第一中间特征图F'
i
由对应的第二特征图F
i
经线性插值得到，并且，所述第二中间特征图C'
i
与第一中间特征图F'
i+1
的尺度相同，其中，i为大于或者等于1且小于n的整数。
[0011]在一些可能的实施方式中，利用第二金字塔神经网络对各个所述第二特征图进行反向处理得到与各个所述第二特征图一一对应的第三特征图，包括：利用第三卷积核对第二特征图F1...F
m
中的第二特征图F1进行卷积处理，获得与第二特征图F1对应的第三特征图R1，其中m表示第二特征图的数量，以及m为大于1的整数；利用第四卷积核对第二特征图F2...F
m
进行卷积处理，分别得到对应的第三中间特征图F”2
...F”m
，其中，第三中间特征图的尺度与对应的第二特征图的尺度相同；
[0...
【技术保护点】
【技术特征摘要】
1.一种关键点检测方法，其特征在于，包括：获得针对输入图像的多个尺度的第一特征图，各第一特征图的尺度成倍数关系；利用第一金字塔神经网络对各所述第一特征图进行正向处理得到与各个所述第一特征图一一对应的第二特征图，其中，所述第二特征图与其一一对应的所述第一特征图的尺度相同；利用第二金字塔神经网络对各个所述第二特征图进行反向处理得到与各个所述第二特征图一一对应的第三特征图，其中，所述第三特征图与其一一对应的所述第二特征图的尺度相同；对各所述第三特征图进行特征融合处理，并利用特征融合处理后的特征图获得所述输入图像中的各关键点的位置；其中，所述利用第二金字塔神经网络对各个所述第二特征图进行反向处理得到与各个所述第二特征图一一对应的第三特征图，包括：利用第三卷积核对第二特征图F1...F
m
中的第二特征图F1进行卷积处理，获得与第二特征图F1对应的第三特征图R1，其中m表示第二特征图的数量，以及m为大于1的整数；利用第四卷积核对第二特征图F2...F
m
进行卷积处理，分别得到对应的第三中间特征图F
″2...F
″
m
，其中，第三中间特征图的尺度与对应的第二特征图的尺度相同；利用第五卷积核对第三特征图R1进行卷积处理得到与第三特征图R1对应的第四中间特征图R
′1；利用各第三中间特征图F
″2...F
″
m
以及第四中间特征图R
′1，得到第三特征图R2...R
m
以及第四中间特征图R
′2...R
′
m
，其中，第三特征图R
j
由第三中间特征图F
″
j
与第四中间特征图R
′
j
‑1的叠加处理得到，第四中间特征图R
′
j
‑1由对应的第三特征图R
j
‑1通过第五卷积核卷积处理获得，其中j为大于1且小于或者等于m。2.根据权利要求1所述的方法，其特征在于，所述获得针对输入图像的多个尺度的第一特征图包括：将所述输入图像调整为预设规格的第一图像；将所述第一图像输入至残差神经网络，对第一图像执行不同采样频率的降采样处理得到多个不同尺度的第一特征图。3.根据权利要求1所述的方法，其特征在于，所述正向处理包括第一卷积处理和第一线性插值处理，所述反向处理包括第二卷积处理和第二线性插值处理。4.根据权利要求1
‑
3中任意一项所述的方法，其特征在于，所述利用第一金字塔神经网络对各所述第一特征图进行正向处理得到与各个所述第一特征图一一对应的第二特征图，包括：利用第一卷积核对第一特征图C1...C
n
中的第一特征图C
n
进行卷积处理，获得与第一特征图C
n
对应的第二特征图F
n
，其中n表示第一特征图的数量，以及n为大于1的整数；对所述第二特征图F
n
执行线性插值处理获得与第二特征图F
n
对应的第一中间特征图F
′
n
，其中第一中间特征图F
′
n
的尺度与第一特征图C
n
‑1的尺度相同；利用第二卷积核对第一特征图C
n
以外的各第一特征图C1...C
n
‑1进行卷积处理，得到分别与第一特征图C1...C
n
‑1一一对应的第二中间特征图C
′1...C
′
n
‑1，其中所述第二中间特征图的尺度与和其一一对应的第一特征图的尺度相同；
基于所述第二特征图F
n
以及各所述第二中间特征图C
′1...C
′
n
‑1，得到第二特征图F1...F
n
‑1以及第一中间特征图F
′1...F
′
n
‑1，其中所述第二特征图F
i
由所述第二中间特征图C
′
i
与所述第一中间特征图F
′
i+1
进行叠加处理得到，第一中间特征图F
′
i
由对应的第二特征图F
i
经线性插值得到，并且，所述第二中间特征图C
′
i
与第一中间特征图F
′
i+1
的尺度相同，其中，i为大于或者等于1且小于n的整数。5.根据权利要求1所述的方法，其特征在于，所述对各所述第三特征图进行特征融合处理，并利用特征融合处理后的特征图获得所述输入图像中的各关键点的位置，包括：对各第三特征图进行特征融合处理，得到第四特征图：基于所述第四特征图获得所述输入图像中各关键点的位置。6.根据权利要求5所述的方法，其特征在于，所述对各第三特征图进行特征融合处理，得到第四特征图，包括：利用线性插值的方式，将各第三特征图调整为尺度相同的特征图；对所述尺度相同的特征图进行连接得到所述第四特征图。7.根据权利要求5或6所述的方法，其特征在于，在所述对各第三特征图进行特征融合处理，得到第四特征图之前，还包括：将第一组第三特征图分别输入至不同的瓶颈区块结构中进行卷积处理，分别得到更新后的第三特征图，各所述瓶颈区块结构中包括不同数量的卷积模块，其中，所述第三特征图包括第一组第三特征图和第二组第三特征图，所述第一组第三特征图和所述第二组第三特征图中均包括至少一个第三特征图。8.根据权利要求7所述的方法，其特征在于，所述对各第三特征图进行特征融合处理，得到第四特征图，包括：利用线性插值的方式，将各所述更新后的第三特征图以及所述第二组第三特征图，调整为尺度相同的特征图；对所述尺度相同的特征图进行连接得到所述第四特征图。9.根据权利要求5所述的方法，其特征在于，所述基于所述第四特征图获得所述输入图像中各关键点的位置，包括：利用第五卷积核对所述第四特征图进行降维处理；利用降维处理后的第四特征图确定输入图像的关键点的位置。10.根据权利要求5所述的方法，其特征在于，所述基于所述第四特征图获得所述输入图像中各关键点的位置，包括：利用第五卷积核对所述第四特征图进行降维处理；利用卷积块注意力模块对降维处理后的第四特征图中的特征进行提纯处理，得到提纯后的特征图；利用提纯后的特征图确定所述输入图像的关键点的位置。11.根据权利要求1所述的方法，其特征在于，所述方法还包括利用训练图像数据集训练所述第一金字塔神经网络，其包括：利用第一金字塔神经网络对所述训练图像数据集中各图像对应的第一特征图进行所述正向处理，得到所述训练图像数据集中各图像对应的第二特征图；利用各第二特征图确定识别的关键点；
根据第一损失函数得到所述关键点的第一损失；利用所述第一损失反向调节所述第一金字塔神经网络中的各卷积核，直至训练次数达到设定的第一次数阈值。12.根据权利要求1所述的方法，其特征在于，所述方法还包括利用训练图像数据集训练所述第二金字塔神经网络，其包括：利用第二金字塔神经网络对所述第一金字塔神经网络输出的关于训练图像数据集中各图像对应的第二特征图进行所述反向处理，得到所述训练图像数据集中各图像对应的第三特征图；利用各第三特征图确定识别的关键点；根据第二损失函数得到识别的各关键点的第二损失；利用所述第二损失反向调节所述第二金字塔神经网络中卷积核，直至训练次数达到设定的第二次数阈值；或者，利用所述第二损失反向调节所述第一金字塔网络中的卷积核以及第二金字塔神经网络中的卷积核，直至训练次数达到设定的第二次数阈值。13.根据权利要求1所述的方法，其特征在于，通过特征提取网络执行所述对各所述第三特征图进行特征融合处理,并且，在通过特征提取网络执行所述对各所述第三特征图进行特征融合处理之前，所述方法还包括：利用训练图像数据集训练所述特征提取网络，其包括：利用特征提取网络对所述第二金字塔神经网络输出的关于训练图像数据集中各图像对应的第三特征图进行所述特征融合处理，并利用特征融合处理后的特征图识别所述训练图像数据集中各图像的关键点；根据第三损失函数得到各关键点的第三损失；利用所述第三损失值反向调节所述特征提取网络的参数，直至训练次数达到设定的第三次数阈值；或者，利用所述第三损失函数反向调节所述第一金字塔神经网络中的卷积核参数、第二金字塔神经网络中的卷积核参数，以及所述特征提取网络的参数，直至训练次数达到设定的第三次数阈值。14.一种关键点检测装置，其...
【专利技术属性】
技术研发人员：杨昆霖，田茂清，伊帅，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。