【技术实现步骤摘要】
本专利技术涉及关键点检测，具体为一种利用卷积神经网络参照足部位置检测a4纸角点的方法。
技术介绍
1、随着机器视觉的蓬勃发展，各类检测方法逐渐从二维领域扩展到三维领域，确定多角度拍摄的多张图片中相同关键点的坐标，是重建三维模型的关键部分，而参照点优选之一便是a4纸等容易标定识别的四边形的角点；
2、目前在检测领域中大多利用矩形检测框或旋转矩形框检测，当前检测方法难以满足不同角度拍摄下的非矩形a4纸的角点检测需求，且在分割领域中虽可以准确提取出轮廓，但后续需要复杂的处理来输出角点坐标并对应位置，降低了三维重建的效率。
技术实现思路
1、本专利技术提供一种利用卷积神经网络参照足部位置检测a4纸角点的方法，可以有效解决上述
技术介绍
中提出目前在检测领域中大多利用矩形检测框或旋转矩形框检测，当前检测方法难以满足不同角度拍摄下的非矩形a4纸的角点检测需求，且在分割领域中虽可以准确提取出轮廓，但后续需要复杂的处理来输出角点坐标并对应位置，降低了三维重建的效率的问题。
2、为实现上述目的，本专利技术提供如下技术方案：一种利用卷积神经网络参照足部位置检测a4纸角点的方法，具体包括如下检测步骤：
3、步骤s1：采集同时包含足部与a4纸元素的图像数据，依据足部与a4纸的相对位置来确定a4纸各角点的标注顺序，对a4纸角点进行标注得到js0n文件；
4、步骤s2：将所述采集到的数据划分为训练集和验证集，并对数据进行随机数据增强操作；
5、步骤s3：
6、步骤s4：将待检测的a4纸图像输入a4纸角点检测模型进行检测后得到每个角点的热力图，进行解析后输出各个角点的名称与坐标。
7、根据上述技术方案，所述步骤s1中，在采集数据时，让模特光脚站立并在足部前方位置放置一张a4纸，围绕足部和a4纸任意角度拍摄图像，要求图像中必须同时包含足部和a4纸，拍摄高度角度均需不同以保证数据的多样性；
8、标注a4纸角点数据时以足部位置确定角点标签，离足部近的角点为下，远的为上，离左足近的为左，右足近的为右，从而确定a4纸相对足部的左上角，右上角，左下角，右下角。
9、根据上述技术方案，所述步骤s2中，按照0.9和0.1的比例划分训练集和验证集，然后对训练集数据进行随机的数据增强操作；
10、所述数据增强操作具体包括：随机角度旋转、水平翻转、色彩变换，亮度调整和随机噪声。
11、根据上述技术方案，所述步骤s3中，关键点检测网络包括全卷积网络、残差模块、空洞卷积特征金字塔模块、最大池化模块、上采样模块和沙漏模块；
12、所述全卷积网络将形状为256×256×3的输入经过卷积核为7×7，步长为2×2，填充为3×3的卷积进行提取特征，输出特征图形状为128×128×64；
13、所述残差模块设置为bottleneck类型的bn+relu+conv结构，当输入通道数和输出通道数是一致时，则直接将输入的特征图与最后一层卷积输出的特征图进行相加，否则支路使用bn+relu和convl×1的卷积，通道数设置为与最后一层卷积输出通道一致，然后再进行特征相加；
14、当残差模块堆叠应用于沙漏模块中时，能够有效提取图像特征并降低计算复杂度，但同时由于特征相加的操作，可能导致特征的方差逐步增大，所以需要在支路中对原始特征图加入bn+relu+conv1×1的卷积，避免堆叠残差模块时特征相加时会有较大的方差和梯度消失问题。
15、根据上述技术方案，所述空洞卷积特征金字塔模块在残差模块的分支基础上，增加多个分辨率的分支，其结构设置为：主路为bottleneck类型的bn+relu+conv结构，支路首先进行bn+relu和conv1×1的卷积，再对上述卷积结果进行三次bn+relu和conv3×3的空洞卷积操作，膨胀概率dilation rate设置为6，12，18，随后将上述三次空洞卷积得到的多尺度特征的结果进行相加，最后使用bn+relu和conv1×1的卷积对齐特征通道后再与主路的输出特征相加；
16、所述最大池化模块使用卷积核为2×2，步长为2×2的卷积进行h/2，w/2的下采样；
17、所述上采样模块设置为最近邻上采样方式，采样系数scale_factor为2。
18、根据上述技术方案，所述沙漏模块设置为编码器、解码器和短接层的结构，由四个上述残差模块递归组合而成，在每次降采样前，分出原尺度数据，这部分原始数据使用一个上述残差模块提取特征用于后续在每次升采样后与上一尺度相加，相邻降采样之间使用三个上述残差模块提取特征，相邻升采样之间使用一个上述模块提取特征；
19、将上述n个沙漏模块进行了串联，形成堆叠沙漏结构，每个沙漏模块输出的特征经过一个convlx1的全卷积网络后会输出一张热力图heatmap，作为网络中间部分监督训练，不仅最后一层输出会计算损失，每个沙漏模块之间的热力图也会参与到损失的计算之中。
20、根据上述技术方案，所述heatmap全卷积的结构能够完整地保留位置信息，具有强大的空间泛化能力，基于热力图的关键点检测也不直接预测坐标点，而是输出a4纸各角点的概率：
21、h1...i＝fθ(i)
22、
23、其中，fθ(i)表示模型f使用参数θ接受i作为输入图像进行概率分布预测，h是a4纸关键点的热力图，表示的是位置概率分布，热力图的尺寸与图像i相同或按比例缩小，hi(xi，yi)表示图像i中位置xi和yi处关键点i的概率为1。
24、根据上述技术方案，所述关键点检测网络训练过程中网络使用rmsprop进行优化，初始学习率设置为2.5e一4，学习率采用阶梯状衰减，分别在第160和第190轮次降低学习率，默认每次降低到0.1倍，总计训练200轮次。
25、根据上述技术方案，所述训练过程中采用均方误差作为损失函数，对于关键点检测网络输出的热力图相应的损失函数表达式为：
26、
27、评价指标则使用oks表明预测点坐标与真实坐标的相似度，其表达式为：
28、
29、其中，i代表a4纸中的第i个关键点，vi代表第i个关键点的可见性，由标注时的标签定义，当vi值为0时表示此关键点不可见，当vi值为1时表示关键点可见；
30、δ(x)当x为true时值为1，否则值为0，所以评价指标只会计算标注出的可见关键点，di是a4纸中的第i个关键点与其真实值之间的欧式距离，s为a4纸面积的平方根，ki表示控制关键点类别i的衰减常数。
31、根据上述技术方案，所述步骤s4中，a4纸角点的坐标结果取热力图中概率最大的索引，在得到每个角点的热力图后，取热力图中概率最大的索引进行解析后输出a4纸有序的四个角点的名称与坐标值，其表达式为本文档来自技高网...
【技术保护点】
1.一种利用卷积神经网络参照足部位置检测A4纸角点的方法，其特征在于：具体包括如下检测步骤：
2.根据权利要求1所述的一种利用卷积神经网络参照足部位置检测A4纸角点的方法，其特征在于：所述步骤S1中，在采集数据时，让模特光脚站立并在足部前方位置放置一张A4纸，围绕足部和A4纸任意角度拍摄图像，要求图像中必须同时包含足部和A4纸，拍摄高度角度均需不同以保证数据的多样性；
3.根据权利要求1所述的一种利用卷积神经网络参照足部位置检测A4纸角点的方法，其特征在于：所述步骤S2中，按照0.9和0.1的比例划分训练集和验证集，然后对训练集数据进行随机的数据增强操作；
4.根据权利要求1所述的一种利用卷积神经网络参照足部位置检测A4纸角点的方法，其特征在于：所述步骤S3中，关键点检测网络包括全卷积网络、残差模块、空洞卷积特征金字塔模块、最大池化模块、上采样模块和沙漏模块；
5.根据权利要求4所述的一种利用卷积神经网络参照足部位置检测A4纸角点的方法，其特征在于：所述空洞卷积特征金字塔模块在残差模块的分支基础上，增加多个分辨率的分支，其结构设置为
6.根据权利要求4所述的一种利用卷积神经网络参照足部位置检测A4纸角点的方法，其特征在于：所述沙漏模块设置为编码器、解码器和短接层的结构，由四个上述残差模块递归组合而成，在每次降采样前，分出原尺度数据，这部分原始数据使用一个上述残差模块提取特征用于后续在每次升采样后与上一尺度相加，相邻降采样之间使用三个上述残差模块提取特征，相邻升采样之间使用一个上述模块提取特征；
7.根据权利要求6所述的一种利用卷积神经网络参照足部位置检测A4纸角点的方法，其特征在于：所述Heatmap全卷积的结构能够完整地保留位置信息，具有强大的空间泛化能力，基于热力图的关键点检测也不直接预测坐标点，而是输出A4纸各角点的概率：
8.根据权利要求4所述的一种利用卷积神经网络参照足部位置检测A4纸角点的方法，其特征在于：所述关键点检测网络训练过程中网络使用RMSprop进行优化，初始学习率设置为2.5e-4，学习率采用阶梯状衰减，分别在第160和第190轮次降低学习率，默认每次降低到0.1倍，总计训练200轮次。
9.根据权利要求4所述的一种利用卷积神经网络参照足部位置检测A4纸角点的方法，其特征在于：所述训练过程中采用均方误差作为损失函数，对于关键点检测网络输出的热力图相应的损失函数表达式为：
10.根据权利要求1所述的一种利用卷积神经网络参照足部位置检测A4纸角点的方法，其特征在于：所述步骤S4中，A4纸角点的坐标结果取热力图中概率最大的索引，在得到每个角点的热力图后，取热力图中概率最大的索引进行解析后输出A4纸有序的四个角点的名称与坐标值，其表达式为：
...【技术特征摘要】
1.一种利用卷积神经网络参照足部位置检测a4纸角点的方法，其特征在于：具体包括如下检测步骤：
2.根据权利要求1所述的一种利用卷积神经网络参照足部位置检测a4纸角点的方法，其特征在于：所述步骤s1中，在采集数据时，让模特光脚站立并在足部前方位置放置一张a4纸，围绕足部和a4纸任意角度拍摄图像，要求图像中必须同时包含足部和a4纸，拍摄高度角度均需不同以保证数据的多样性；
3.根据权利要求1所述的一种利用卷积神经网络参照足部位置检测a4纸角点的方法，其特征在于：所述步骤s2中，按照0.9和0.1的比例划分训练集和验证集，然后对训练集数据进行随机的数据增强操作；
4.根据权利要求1所述的一种利用卷积神经网络参照足部位置检测a4纸角点的方法，其特征在于：所述步骤s3中，关键点检测网络包括全卷积网络、残差模块、空洞卷积特征金字塔模块、最大池化模块、上采样模块和沙漏模块；
5.根据权利要求4所述的一种利用卷积神经网络参照足部位置检测a4纸角点的方法，其特征在于：所述空洞卷积特征金字塔模块在残差模块的分支基础上，增加多个分辨率的分支，其结构设置为：主路为bottleneck类型的bn+relu+conv结构，支路首先进行bn+relu和conv1×1的卷积，再对上述卷积结果进行三次bn+relu和conv3×3的空洞卷积操作，膨胀概率dilation rate设置为6，12，18，随后将上述三次空洞卷积得到的多尺度特征的结果进行相加，最后使用bn+relu和conv1×1的卷积对齐特征通道后再与主路的输出特征相加；
6.根...
【专利技术属性】
技术研发人员：王家奎，熊益，盛家全，
申请(专利权)人：武汉唯理科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。