基于关键点前端实时检测的量化误差补偿方法及系统技术方案

技术编号:37123969 阅读:14 留言:0更新日期:2023-04-01 05:20
本发明专利技术提出一种基于关键点前端实时检测的量化误差补偿方法,属于误差优化处理的技术领域。其中方法包括:步骤1、构建关键点检测模型;步骤2、接收待分析的目标图像;步骤3、关键点检测模型对目标图像进行分析,输出图像特征;步骤4、对输出的图像特征求积分,获得坐标均值;步骤5、利用余弦相似度对坐标均值执行归一化操作,获得期望坐标均值;步骤6、构建量化误差补偿算子,对期望坐标均值进行补偿;步骤7、输出最终的补偿后的图像数据。本发明专利技术通过量化误差补偿算子,弥补了由于softmax造成的积分量化误差,从而无需维持高分辨率的热图,就可以极大降低前端计算内存开销以及推理时间,同时,有效提高模型检测精度。有效提高模型检测精度。有效提高模型检测精度。

【技术实现步骤摘要】
基于关键点前端实时检测的量化误差补偿方法及系统


[0001]本专利技术涉及误差优化处理的
,特别涉及一种基于关键点前端实时检测的量化误差补偿方法及系统。

技术介绍

[0002]现有的关键点前端实时检测算法多采用回归坐标的方法进行检测。为了保证前端推理速度,模型很少使用上采样操作丰富感受野组合。与Heatmap

based方法相比,直接采用回归的方法不需要维持高分辨率的特征,其能够节省前端算力资源,提高模型运行速度。
[0003]Regression

based方法通过L1或L2 loss直接回归坐标,不需要上采样过程,推理耗时短。但是,Regression中的全连接层将位置信息转化为坐标值,丢失了特征的空间信息,非线性强,因此不好训练和收敛。

技术实现思路

[0004]专利技术目的:提出一种基于关键点前端实时检测的量化误差补偿方法及系统,以解决现有技术存在的上述问题。通过量化误差补偿算子,弥补了由于softmax造成的积分量化误差,从而无需维持高分辨率的热图,就可以极大降低前端计算内存开销以及推理时间,同时,有效提高模型检测精度。
[0005]技术方案:第一方面,提出了一种基于关键点前端实时检测的量化误差补偿方法,该方法包括以下步骤:
[0006]步骤1、构建关键点检测模型;该模型包含由3个采样模块构成的下采样模块、Head层、全连接层。
[0007]其中,下采样模块由步长为2的卷积与BN层构成,在数据处理的过程中,对接收到的目标图像执行尺寸压缩操作;Head层与全连接层连接,Head层中包括1
×
1卷积,用于改变输出特征的维度,并将输出特征作为全连接层的输入特征。
[0008]步骤2、接收待分析的目标图像,并输入关键点检测模型中;
[0009]步骤3、关键点检测模型对目标图像进行分析,输出图像特征;
[0010]步骤4、对步骤3中输出的图像特征求积分,获得坐标均值;
[0011]步骤5、利用余弦相似度对坐标均值执行归一化操作,获得期望坐标均值;进一步包括以下步骤:
[0012]步骤5.1、接收Head层输出的输出特征;
[0013]步骤5.2、读取全连接层参数;
[0014]步骤5.3、利用余弦相似度对步骤5.1中的输出特征和步骤5.2中的参数进行运算;
[0015]步骤5.4、在预设维度上,为步骤5.3中的运算结果做归一化操作,获得离散概率分布;
[0016]步骤5.5、构建尺度因子β,并基于尺度因子β超参锐化分布;
[0017][0018]式中,β表示尺度因子;表示全连接层中输入特征与参数内积;F表示f与w之间的余弦相似度。将F与尺度因子β相乘,尺度因子β能够拉大响应幅度,使得Softmax的输入保持在合适的精度范围,与此同时,余弦相似度归一化增加了特征的非线性程度,因此,尺度因子β的作用不会随着梯度下降而被其他参数稀释。
[0019]步骤5.6、基于步骤5.5的分布情况,在预设维度的情况下,将网格距离离散化与离散概率分布相乘再积分,获得期望坐标均值。
[0020]步骤6、构建量化误差补偿算子,对期望坐标均值进行补偿;当关键的坐标为(x0,y0)时,通过补偿获得最终关键点坐标的过程,包括以下步骤:
[0021]步骤6.1、读取经过余弦相似度归一化操作后的输出特征F
out

[0022]步骤6.2、将步骤6.1中的输出特征进行维度转换;
[0023]步骤6.3、基于步骤6.2中的转换结果,分别在维度2和维度3上对特征求和;
[0024]步骤6.4、基于步骤6.3的处理结果对步骤6.1中的输出特征F
out
进行降维,获得坐标两个方向上的输出特征,即xF
out
和yF
out

[0025]步骤6.5、将步骤6.4中的输出特征映射成一维向量;
[0026]步骤6.6、对步骤6.5中的一维向量执行Softmax操作;
[0027]当处理对象为xF
out
时,运算表达式为:
[0028][0029]式中,p表示xF
out
的坐标;p

表示在Ω区域中所有可能出现的坐标点;Ω表示总的映射分析区域。其中,为了便于表述,令
[0030]步骤6.7、根据Soft

Argmax运算方式,对关键点的期望坐标执行表达方式的转换;
[0031][0032]式中,x
r
表示第一区域Ω1的期望值加上第二区域Ω2的期望值;P表示特征坐标索引;P
val
(p)表示当前坐标索引的归一化坐标值;表示xF
out
执行Softmax后的数值;
[0033]步骤6.8、结合映射关系对步骤6.7中转换后的期望坐标进行再次转换,获得关键点获取表达式;其中,x
r
等同于两个点的加权和,同时结合在映射区域的响应值为0,因此,经过转换后,x0的表达式为:
[0034][0035]同理,y0的表达式为:
[0036][0037]式中,
[0038]步骤6.9、输出最终的关键点坐标。
[0039]步骤7、输出最终的补偿后的图像数据。
[0040]在第一方面的一些可实现方式中,使用积分姿态回归的方式检测关键点,模型骨干网络不添加上采样操作,输出特征保持低分辨率尺寸,通过对输出特征求积分获取坐标均值,并利用余弦相似度归一化输出特征,提高Softmax操作前后特征的非线性程度,同时,设计量化误差补偿算子,弥补由于softmax造成的积分量化误差。无需维持高分辨率的热图,极大降低前端计算内存开销以及推理时间,并能有效提高模型检测精度。
[0041]第二方面,提出一种基于关键点前端实时检测的量化误差补偿系统,用于实现量化误差补偿方法,该系统包括:模型构建模块、数据传输模块、特征提取模块、运算模块、归一化模块、补偿模块和数据输出模块。
[0042]其中,模型构建模块用于构建关键点检测模型;数据传输模块用于接收待分析的目标图像,并将其输出构建的关键点检测模型中;特征提取模块用于接收待分析的目标图像,并将其输出构建的关键点检测模型中;运算模块用于对特征提取模块输出的图像特征求积分,获得对应的坐标均值;归一化模块用于对运算模块获得的均值,执行归一化输出特征的操作;补偿模块用于根据预设的量化补偿算子,对坐标均值进行补偿,弥补积分量化误差;数据输出模块用于输出最终经过补偿后的图像数据。
[0043]第三方面,提出一种基于关键点前端实时检测的量化误差补偿设备,该设备包括:处理器以及存储有计算机程序指令的存储器;其中,处理器读取并执行所述计算机程序指令,以实现量化误差补偿方法。
[0044]第四方面,提出一种计算机可读存储介质,该计算机可读存储介质上存储有本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种基于关键点前端实时检测的量化误差补偿方法,其特征在于,包括以下步骤:步骤1、构建关键点检测模型;步骤2、接收待分析的目标图像,并输入关键点检测模型中;步骤3、关键点检测模型对目标图像进行分析,输出图像特征;步骤4、对步骤3中输出的图像特征求积分,获得坐标均值;步骤5、利用余弦相似度对坐标均值执行归一化操作,获得期望坐标均值;步骤6、构建量化误差补偿算子,对期望坐标均值进行补偿;步骤7、输出最终的补偿后的图像数据。2.根据权利要求1所述的一种基于关键点前端实时检测的量化误差补偿方法,其特征在于,所述关键点检测模型的主干网络中,包含3个下采样模块,并在数据处理的过程中,对接收到的目标图像执行尺寸压缩操作;所述下采样模块由步长为2的卷积与BN层构成。3.根据权利要求1所述的一种基于关键点前端实时检测的量化误差补偿方法,其特征在于,所述关键点检测模型还包括Head层和全连接层;所述Head层与全连接层连接;所述Head层中包括1
×
1卷积,用于改变输出特征的维度,并将输出特征作为全连接层的输入特征。4.根据权利要求3所述的一种基于关键点前端实时检测的量化误差补偿方法,其特征在于,基于构建的关键点检测模块,步骤5中获得期望坐标均值的过程中,包括以下步骤:步骤5.1、接收Head层输出的输出特征;步骤5.2、读取全连接层参数;步骤5.3、利用余弦相似度对步骤5.1中的输出特征和步骤5.2中的参数进行运算;步骤5.4、在预设维度上,为步骤5.3中的运算结果做归一化操作,获得离散概率分布;步骤5.5、构建尺度因子β,并基于尺度因子β超参锐化分布;步骤5.6、基于步骤5.5的分布情况,在预设维度的情况下,将网格距离离散化与离散概率分布相乘再积分,获得期望坐标均值。5.根据权利要求3所述的一种基于关键点前端实时检测的量化误差补偿方法,其特征在于,所述步骤6中构建量化误差补偿算子,对期望坐标均值进行补偿的过程,包括以下步骤:步骤6.1、读取经过余弦相似度归一化操作后的输出特征;步骤6.2、将步骤6.1中的输出特征进行维度转换;步骤6.3、基于步骤6.2中的转换结果,分别在维度2和维度3上对特征求和;步骤6.4、基于步骤6.3的处理结果对步骤6.1中的输出特征进行降维,获得坐标两个方向上的输出特征;步骤6.5、将步骤6.4中的输出特征映射成一维向量;步骤6.6、对步骤6.5中的一维向量执行Softmax操作;步骤6.7、根据Soft

Argmax运算方式,对关键点的期望坐标执行表达方式的转换;步骤6.8、结合映射关系对步骤6.7中转换后的期望坐标进行再次转换,获得关键点获取表达式;步骤6.9、输出最...

【专利技术属性】
技术研发人员:魏学备海雷冷聪
申请(专利权)人:中科方寸知微南京科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1