一种基于超分和关键点的仪表盘识别方法技术

本发明专利技术揭示了一种基于超分和关键点的仪表盘识别方法，包括如下步骤：对图像进行预处理，获取真实图像和高清图像；建模并经过统计学习算法，得出模糊核池、噪声概率分布、噪声类型分布参数；将模糊核池、噪声概率分布、噪声类型分布参数进行随机组合，获取特征池；高清图像经过特征池处理后，获取真实训练集，高清图像进行三次下/上双向采样，获取高清数据集；将真实训练集以及高清数据集进行模型训练，并进行特征提取输出；将特征提取输出结果送入到网络重建层，并根据仪表刻度和指针的位置关系读取仪表示数。本发明专利技术不仅解决了角度、光线对图像处理的影响，同时还大大提升了实验中AI识别的准确性。的准确性。的准确性。

【技术实现步骤摘要】
一种基于超分和关键点的仪表盘识别方法


[0001]本专利技术涉及AI识别领域，特别是涉及一种基于超分和关键点的仪表盘识别方法。

技术介绍

[0002]在电学实验中，经常涉及到电流表和电压表的示数识别以及调零操作，由于光照、拍摄角度、相机分别率的影响，导致仪表盘刻度不清晰，图像模糊，人工识别和AI算法识别都不能从图像是获取关键信息，导致读取示数错误，目前主流解决方案是通过传统处理方法，把仪表盘上所有刻度和指针定位出来、仪表盘匹配、基于视觉网络的指针角度判断等等方案，以上方案存在很大的局限性：
[0003]1、传统图像算法：受图像质量、角度影响较大；
[0004]2、仪表盘匹配：误差很大；
[0005]3、基于指针角度判断的方法，误差较大。

技术实现思路

[0006]本专利技术的目的在于，提供一种基于超分和关键点的仪表盘识别方法，以提升图像的处理效果，同时提高AI识别的准确性。
[0007]为解决上述技术问题，本专利技术提供一种基于超分和关键点的仪表盘识别方法，包括如下步骤：
[0008]通过生产相机以及高清相机拍摄仪表并对图像进行预处理，分别获取仪表盘区域的真实图像以及高清图像；
[0009]通过真实图像和高清图像数据集进行建模，经过统计学习算法，设置不同条件分别得出模糊核池、噪声概率分布、噪声类型分布参数；
[0010]将模糊核池、噪声概率分布、噪声类型分布参数所有可能进行随机组合，获取生成训练真实图像的特征池；
[0011]高清图像经过特征池处理后，获取真实训练集，高清图像进行三次下/上双向采样，获取高清数据集；
[0012]将真实训练集以及高清数据集进行模型训练，并进行特征提取输出；
[0013]将特征提取输出结果送入到网络重建层，输出质量评估和关键点评估，并根据仪表刻度和指针的位置关系读取仪表示数。
[0014]进一步的，所述预处理包括如下步骤：
[0015]通过目标检测获取仪表的仪表盘区域裁剪图像，并通过关键点检测模型获取仪表盘区域的四个角点坐标信息；
[0016]利用仪表盘区域的四个角点信息，对仪表盘区域进行矫正。
[0017]进一步的，对仪表盘区域进行矫正的变换公式为：
[0018][0019]其中(x，y，1)为变换前坐标，(X，Y，Z)为变换后坐标。
[0020]进一步的，设置不同条件分别得出模糊核池、噪声概率分布、噪声类型分布参数的计算公式为：
[0021][0022]其中，X
i
表示第i个对象，1≤i≤n；C
j
表示第j个对象，1≤i≤k；X
it
表示第i个对象的第t个属性，1≤t≤m；C
jt
表示第j个对象的第t个属性。
[0023]进一步的，所述特征提取输出采用7个3
×
3CNN网络进行。
[0024]进一步的，所述质量评估的损失函数为：
[0025][0026]其中，y
i
为真实值，f(x
i
)为预估值。
[0027]进一步的，所述关键点评估的损失函数为：
[0028][0029]其中，其中，f为关键点置信度误差，为关键点横坐标的置信度误差，为关键点纵坐标的置信度误差，W(p)为偏置系数，J是横坐标集合，C是纵坐标集合，为预测关键点的横坐标，为预测关键点的纵坐标，为实际关键点的横坐标，为实际关键点的纵坐标。
[0030]相比于现有技术，本专利技术至少具有以下有益效果：
[0031]本专利技术通过图像矫正方法将拍摄的图像处理成一致图像，有效的解决了拍摄角度对检测结果的影响，另外使用超分算法对图像不清晰的部分进行还原，使得仪表盘清晰可见，提高了后续仪表读数的准确性。
[0032]进一步的，本专利技术利用关键点对每个刻度以及指针进行精确定位，通过指针和刻度的关系，准确地计算出了仪表示数，大大提高了AI识别的准确性。
附图说明
[0033]图1为本专利技术基于超分和关键点的仪表盘识别方法一个实施例的方法流程图；
[0034]图2为本专利技术基于超分和关键点的仪表盘识别方法一个实施例的流程节点图。
具体实施方式
[0035]下面将结合示意图对本专利技术的基于超分和关键点的仪表盘识别方法进行更详细的描述，其中表示了本专利技术的优选实施例，应该理解本领域技术人员可以修改在此描述的本专利技术，而仍然实现本专利技术的有利效果。因此，下列描述应当被理解为对于本领域技术人员
的广泛知道，而并不作为对本专利技术的限制。
[0036]在下列段落中参照附图以举例方式更具体地描述本专利技术。根据下面说明和权利要求书，本专利技术的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本专利技术实施例的目的。
[0037]如图1和图2所示，本专利技术实施例提出了一种基于超分和关键点的仪表盘识别方法，包括如下步骤：
[0038](1)通过生产相机以及高清相机拍摄仪表并对图像进行预处理，分别获取仪表盘区域的真实图像以及高清图像。
[0039]具体的，通过两种相机在同一位置对仪表进行图像拍摄，一种是实际生产中用到的相机，另一种是高清相机拍摄图像。具体通过目标检测获取仪表的仪表盘区域裁剪图像，并通过关键点检测模型获取仪表盘区域的四个角点坐标信息。随后利用仪表盘区域的四个角点信息，对仪表盘区域进行矫正。对仪表盘四个角点信息矫正的变换公式为：
[0040][0041]其中(x，y，1)为变换前坐标，(X，Y，Z)为变换后坐标。矫正后图像能够确保所有的仪表盘区域都是一样的，该方案解决了不受角度影响的问题。经过矫正后，通过实际生产中用到的相机以及高清相机拍摄的分别得到真实图像以及高清图像。
[0042]在一个实施例中，对图像进行旋转矫正时，变换矩阵为变换后为其中(x，y，1)为变换前坐标，(X，Y，1)为变换后坐标。
[0043](2)通过真实图像和高清图像数据集进行建模，经过统计学习算法，设置不同条件分别得出模糊核池、噪声概率分布、噪声类型分布参数。
[0044]具体的，通过真实图像和高清图像数据集进行建模，经过统计学习算法，设置不同条件分别得出模糊核池、噪声概率分布、噪声类型分布，公式如下：
[0045][0046]其中，X
i
表示第i个对象，1≤i≤n；C
j
表示第j个对象，1≤i≤k；X
it
表示第i个对象的第t个属性，1≤t≤m；C
jt
表示第j个对象的第t个属性。
[0047]在本步骤中，模糊核池是不同类型模糊方式的核的大小集合；噪声分布概率是针对不同噪声的出现概率，通过建模，能知道那种类型噪声是容易出现的；噪声类型是虚构的，仅表示有多种噪声。
[0048](3)将模糊核池、噪声概率分布、噪声类型分布参数所有可能进行随机组合，获取生成训练本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于超分和关键点的仪表盘识别方法，其特征在于，包括如下步骤：通过生产相机以及高清相机拍摄仪表并对图像进行预处理，分别获取仪表盘区域的真实图像以及高清图像；通过真实图像和高清图像数据集进行建模，经过统计学习算法，设置不同条件分别得出模糊核池、噪声概率分布、噪声类型分布参数；将模糊核池、噪声概率分布、噪声类型分布参数所有可能进行随机组合，获取生成训练真实图像的特征池；高清图像经过特征池处理后，获取真实训练集，高清图像进行三次下/上双向采样，获取高清数据集；将真实训练集以及高清数据集进行模型训练，并进行特征提取输出；将特征提取输出结果送入到网络重建层，输出质量评估和关键点评估，并根据仪表刻度和指针的位置关系读取仪表示数。2.如权利要求1所述的基于超分和关键点的仪表盘识别方法，其特征在于，所述预处理包括如下步骤：通过目标检测获取仪表的仪表盘区域裁剪图像，并通过关键点检测模型获取仪表盘区域的四个角点坐标信息；利用仪表盘区域的四个角点信息，对仪表盘区域进行矫正。3.如权利要求2所述的基于超分和关键点的仪表盘识别方法，其特征在于，对仪表盘区域进行矫正的变换公式为：其中(x，y，1)为变换前坐标，(X，Y，Z)为变换后坐标。4.如权利要求...

【专利技术属性】
技术研发人员：刘凯，郑德欣，徐娟，
申请(专利权)人：上海锡鼎智能科技有限公司，
类型：发明
国别省市：