一种仪表图像的分割优化方法、设备及介质技术

本发明专利技术公开了一种仪表图像的分割优化方法、设备及介质，属于图像处理技术领域，用于解决现有的卷积神经网络对图像分割预测时，图像的边缘纹理信息容易被弱化，难以很好地保留浅层边缘纹理特征的技术问题。方法包括：将预获取的仪表图像数据集进行归一化处理；根据预设卷积神经网络中的卷积块，对归一化后的初始输入图像进行特征提取，得到第零特征图；根据若干编码层，对第零特征图进行图像特征块的切割，得到第四特征图；对第四特征图进行最大上采样处理，得到第四采样特征图；将第四采样特征图与第三特征图进行特征融合，得到第零采样特征图；并进行特征预测，得到预测特征图；根据预设二值交叉熵损失函数，对卷积神经网络进行优化训练。优化训练。优化训练。

【技术实现步骤摘要】
一种仪表图像的分割优化方法、设备及介质


[0001]本申请涉及图像处理领域，尤其涉及一种仪表图像的分割优化方法、设备及介质。

技术介绍

[0002]近年来，卷积神经网络在各类计算视觉任务中取得重大突破。机器视觉这一行业的兴起，将人们从许多繁琐，危险的工作中解放出来。由于机器视觉算法的客观性与高准确性，使得工业场景下的自动化水平得到了重大突破。
[0003]在供暖或水流运输等场景中，压力与温度等是非常需要关注的安全指标，考虑到实行性与精度因素，指针式仪表通常是这些场景下的首选。但由于指针式仪表缺乏对应的数据输出端口，往往需要耗费人力资源去进行仪表读数的监控，而且由于工作的繁琐与主观疲劳等因素，现需要一种指针式仪表自动读数系统。在该系统中，准确的预测分割出对应的指针以及刻度量程位置是关键步骤，它们定位的准确度直接决定后处理后仪表读数的精确度。
[0004]在计算机视觉中，卷积神经网络(Convolutional Nueral Networks，CNNs)广泛应用在图像分割中。现有的卷积神经网络缺乏对图像中存在的长距离依赖关系进行建模的能力。在现有技术中，在图像分割领域广泛使用的是Transformer模型，但是Transformer模型在计算量和提取局部特征上存在一定的偏差，仪表刻度以及刻度量程等其边缘纹理特征及其明显，但是在编码模块下采样多次后得到的图像深层特征中，使这些浅层边缘纹理信息都被弱化了，降低了Transformer模型的分割性能。

技术实现思路

[0005]本申请实施例提供了一种仪表图像的分割优化方法、设备及介质，用于解决如下技术问题：现有的卷积神经网络对图像分割预测时，图像的边缘纹理信息容易被弱化，难以很好地保留浅层边缘纹理特征，造成了不能很好地利用Transformer模型的分割性能。
[0006]本申请实施例采用下述技术方案：
[0007]一方面，本申请实施例提供了一种仪表图像的分割优化方法，所述方法包括：将预获取的仪表图像数据集进行归一化处理，得到初始输入图像；根据预设卷积神经网络中的卷积块，对所述初始输入图像进行特征提取，得到第零特征图；根据所述卷积神经网络中的若干编码层，对所述第零特征图进行图像特征块的切割，得到第四特征图；对所述第四特征图进行最大上采样处理，得到第四采样特征图；并通过若干所述卷积块，将所述第四采样特征图与第三特征图进行特征融合，得到第零采样特征图；其中，所述第零特征图、所述第四特征图、所述第三特征图、第二特征图以及第一特征图组成所述初始输入图像的总特征图；对所述第零采样特征图进行特征预测，得到预测特征图；根据预设二值交叉熵损失函数，对所述预测特征图进行损失计算，并根据得到的损失结果对所述卷积神经网络进行优化训练，以进行对Transformer模型的分割优化。
[0008]本申请实施例通过利用transformer的长距离依赖关系建模的能力，可以很好的
保留住仪表图像的浅层边缘纹理特征。通过解码器块，使仪表图像进一步融合了多尺度输出特征信息，并且在最终输出预测特征图之前，利用了混合上采样的方式进一步弥补了上采样的边缘锯齿效应，从而使得transformer模型分割性能得到了大幅度的提升。
[0009]在一种可行的实施方式中，将预获取的仪表图像数据集进行归一化处理，得到初始输入图像，具体包括：将仪表图像数据集进行集合分类，得到仪表图像训练集与仪表图像测试集；对所述仪表图像训练集中的仪表图像进行图像归一化的预处理，得到处理后的初始仪表图像；根据所述初始仪表图像的预设参数，对所述初始仪表图像进行图像维度定义，得到初始尺度特征图；其中，所述预设参数包括：图像高度参数、图像宽度参数以及图像输入通道参数；根据所述卷积神经网络中的编码器块，对所述初始尺度特征图进行主干网络各尺度特征的编码，得到所述初始输入图像。
[0010]在一种可行的实施方式中，根据预设卷积神经网络中的卷积块，对所述初始输入图像进行特征提取，得到第零特征图，具体包括：通过所述卷积神经网络中的第零卷积块，将所述初始输入图像进行所述卷积神经网络中编码层的卷积处理；将卷积处理后的所述初始输入图像进行特征维度提取，得到所述第零特征图；其中，所述第零特征图中的特征维度包括：图像特征维度、图像宽度维度、图像高度维度以及图像输入通道数维度。
[0011]在一种可行的实施方式中，根据所述卷积神经网络中的若干编码层，对所述第零特征图进行图像特征块的切割，得到第四特征图，具体包括：根据所述卷积神经网络中的第一编码层，对所述第零特征图进行图像特征块的切割，并根据切割后的第一图像特征块以及对应的第一维度向量，得到所述第零特征图的patch图像特征；其中，所述第一图像特征块以及对应的所述第一维度向量为对所述第零特征图像的PatchEmbed处理；对所述第零特征图的patch图像特征进行transformer块的特征提取，得到第一特征图；根据所述卷积神经网络中的第二编码层，对所述第一特征图进行PatchEmbed处理，并将所述第一特征图的patch图像特征进行transformer块的特征提取，得到第二特征图；根据所述卷积神经网络中的第三编码层，对所述第二特征图进行PatchEmbed处理，并将所述第二特征图的patch图像特征进行transformer块的特征提取，得到第三特征图；根据所述卷积神经网络中的第四编码层，对所述第三特征图进行PatchEmbed处理，并将所述第三特征图的patch图像特征进行transformer块的特征提取，得到所述第四特征图。
[0012]在一种可行的实施方式中，所述第四特征图进行最大上采样处理，得到第四采样特征图，具体包括：通过所述卷积神经网络中的解码器块，对所述第四特征图进行解码处理，得到解码后的第四特征图；根据所述卷积神经网络中的上采样模块，对所述第四特征图进行最大上采样处理，得到上采样后的所述第四采样特征图；其中，所述最大上采样为所述卷积神经网络中线性插值与邻近插值融合所得。
[0013]在一种可行的实施方式中，通过若干所述卷积块，将所述第四采样特征图与第三特征图进行特征融合，得到第零采样特征图，具体包括：通过所述卷积神经网络中的第四卷积块，将第四采样特征图与所述第三特征图进行特征融合处理，得到第三采样特征图；根据所述卷积神经网络中的第三卷积块以及对应的最大上采样，将所述第三采样特征图与所述第二特征图进行特征融合处理，得到第二采样特征图；根据所述卷积神经网络中的第二卷积块以及对应的最大上采样，将所述第二采样特征图与所述第一特征图进行特征融合处理，得到第一采样特征图；根据所述卷积神经网络中的第一卷积块以及对应的最大上采样，
将所述第一采样特征图与所述第零特征图进行特征融合处理，得到所述第零采样特征图；其中，所述第四卷积块、所述第三卷积块、所述第二卷积块以及所述第一卷积块共同由卷积核为1*1的卷积层、归一化层以及激活层所组成。
[0014]在一种可行的实施方式中，在对所述第零采样特征图进行特征预测，得到预测特征图之前，所述方法还本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种仪表图像的分割优化方法，其特征在于，所述方法包括：将预获取的仪表图像数据集进行归一化处理，得到初始输入图像；根据预设卷积神经网络中的卷积块，对所述初始输入图像进行特征提取，得到第零特征图；根据所述卷积神经网络中的若干编码层，对所述第零特征图进行图像特征块的切割，得到第四特征图；对所述第四特征图进行最大上采样处理，得到第四采样特征图；并通过若干所述卷积块，将所述第四采样特征图与第三特征图进行特征融合，得到第零采样特征图；其中，所述第零特征图、所述第四特征图、所述第三特征图、第二特征图以及第一特征图组成所述初始输入图像的总特征图；对所述第零采样特征图进行特征预测，得到预测特征图；根据预设二值交叉熵损失函数，对所述预测特征图进行损失计算，并根据得到的损失结果对所述卷积神经网络进行优化训练，以进行对Transformer模型的分割优化。2.根据权利要求1所述的一种仪表图像的分割优化方法，其特征在于，将预获取的仪表图像数据集进行归一化处理，得到初始输入图像，具体包括：将仪表图像数据集进行集合分类，得到仪表图像训练集与仪表图像测试集；对所述仪表图像训练集中的仪表图像进行图像归一化的预处理，得到处理后的初始仪表图像；根据所述初始仪表图像的预设参数，对所述初始仪表图像进行图像维度定义，得到初始尺度特征图；其中，所述预设参数包括：图像高度参数、图像宽度参数以及图像输入通道参数；根据所述卷积神经网络中的编码器块，对所述初始尺度特征图进行主干网络各尺度特征的编码，得到所述初始输入图像。3.根据权利要求1所述的一种仪表图像的分割优化方法，其特征在于，根据预设卷积神经网络中的卷积块，对所述初始输入图像进行特征提取，得到第零特征图，具体包括：通过所述卷积神经网络中的第零卷积块，将所述初始输入图像进行所述卷积神经网络中编码层的卷积处理；将卷积处理后的所述初始输入图像进行特征维度提取，得到所述第零特征图；其中，所述第零特征图中的特征维度包括：图像特征维度、图像宽度维度、图像高度维度以及图像输入通道数维度。4.根据权利要求1所述的一种仪表图像的分割优化方法，其特征在于，根据所述卷积神经网络中的若干编码层，对所述第零特征图进行图像特征块的切割，得到第四特征图，具体包括：根据所述卷积神经网络中的第一编码层，对所述第零特征图进行图像特征块的切割，并根据切割后的第一图像特征块以及对应的第一维度向量，得到所述第零特征图的patch图像特征；其中，所述第一图像特征块以及对应的所述第一维度向量为对所述第零特征图像的PatchEmbed处理；对所述第零特征图的patch图像特征进行transformer块的特征提取，得到第一特征图；
根据所述卷积神经网络中的第二编码层，对所述第一特征图进行PatchEmbed处理，并将所述第一特征图的patch图像特征进行transformer块的特征提取，得到第二特征图；根据所述卷积神经网络中的第三编码层，对所述第二特征图进行PatchEmbed处理，并将所述第二特征图的patch图像特征进行transformer块的特征提取，得到第三特...

【专利技术属性】
技术研发人员：陈英鹏，焦学，丁鑫，张朝瑞，席道亮，刘辰飞，许野平，郑旭，
申请(专利权)人：神思电子技术股份有限公司，
类型：发明
国别省市：