一种稀疏道岔图像的数据增强方法及其参数优化方法技术

本发明专利技术公开了一种稀疏道岔图像的数据增强方法及其参数优化方法，对道岔图像数据集中的每个道岔图像的道岔类别进行标注，形成带有标签的道岔图像数据集，道岔类别分为左转道岔和右转道岔；对带有标签的道岔图像数据集中的道岔图像和对应的标签进行道岔图像拼接变换，形成拼接道岔图像和对应标签；对拼接道岔图像和对应标签进行仿射变换，获得仿射变换道岔图像和对应标签；在仿射变换道岔图像和对应标签中截取指定尺寸道岔图像，并清除较小的碎片化目标标签，获取数据增强后的道岔图像和标签信息。参数优化时，先确定可优化参数及参数取值范围，利用选定好的超参数对带有标签的道岔图像数据集进行数据增强，结合深度学习网络模型进行训练及测试。进行训练及测试。进行训练及测试。

【技术实现步骤摘要】
一种稀疏道岔图像的数据增强方法及其参数优化方法


[0001]本专利技术属于道岔图像数据处理领域，涉及一种稀疏道岔图像的数据增强方法及其参数优化方法。

技术介绍

[0002]随着道岔图像处理技术逐步由传统的人工设计特征方法转变为基于数据驱动的深度学习方法，基于道岔图像的目标检测算法性能得到显著提升，并为轨道场景下道岔状态检测问题提供了新的技术手段。基于数据驱动的道岔状态检测方法需要庞大的道岔目标用于学习道岔不同状态的相关特征，但由于道岔口在铁路场景中出现几率小，目标密度非常低，在真实采集的驾驶员视角道岔图像中，每帧道岔图像往往仅能包含一个道岔目标，且道岔目标区域在整个道岔图像的像素占比也相对较低，从而使训练样本中负样本比例远远超过正样本。上述特点导致在深度学习网络训练过程中难以充分学习到有效的道岔特征，反而过多的学习到噪声特征，导致网络性能无法提升，如何设计适用于稀疏道岔图像的数据增强方法成为目前道岔状态检测任务中亟待解决的问题。
[0003]公开号为CN202111005581.4的专利技术专利公开了一种道岔图像自动数据增强方法、系统、介质及终端，提出了一种数据增强方法的参数优化和模型选择方法，其通过将现有数据增强方法和参数范围固定在一个集合内，然后对集合内的数据增强实例进行测试筛选而获得最终的数据增强方案，但没有设计适用于稀疏目标道岔图像的数据增强方法，仅对现有数据增强方法选择策略进行了改进。
[0004]公开号为CN202111103809.3的专利技术专利公开了一种数据增强方法、系统、装置及计算机可读存储介质，提出了一种综合图片尺度缩放、水平翻转、道岔图像色度变换以及饱和度调整等多个操作的数据增强方法。该方法对上述多个数据增强操作进行编码，然后在自行构建的RNN控制器中进行测试，计算奖励值，而后通过不断优化可调参数，获取奖励值最大的数据增强方法作为最优数据增强方法。该数据增强方法对常见的数据增强操作进行组合，并通过反复测试获取最优参数以提升深度神经网络的训练效果。但该方法仍以整个图片为数据增强的最基本单元，数据增强效果较为单一，不能提供丰富的道岔图像特征。
[0005]公开号为CN202210158191.9的专利技术专利公开了一种数据增强处理方法、装置、计算机设备及存储介质，提出了一种数据增强方法的选择策略，首先将大数据集分为多个子数据集，然后对各个子数据集采用不同的数据增强方法进行训练，选择最优训练结果对应的数据增强方法，然后对总数据集进行测试，最终确定最优的数据增强方法。该方法将不同的数据增强方法用于各个子数据集，可以缩小训练时间，降低数据增强方法选择过程中的计算量。但该方法没有解决稀疏道岔图像的正负样本失衡问题。

技术实现思路

[0006]本专利技术实施例的目的在于提供一种稀疏道岔图像的数据增强方法，以解决现有数据增强方法不适用于稀疏道岔图像的数据增强的问题。
[0007]本专利技术实施例的另一目的在于提供一种稀疏道岔图像的数据增强方法的参数优化方法。
[0008]本专利技术实施例所采用的技术方案是：一种稀疏道岔图像的数据增强方法，包括以下步骤：
[0009]步骤1：对道岔图像数据集中的每个道岔图像的道岔类别进行标注，形成带有标签的道岔图像数据集，道岔类别分为左转道岔和右转道岔；
[0010]步骤2：对带有标签的道岔图像数据集中的道岔图像和对应的标签进行道岔图像拼接变换，形成拼接道岔图像和对应标签；
[0011]步骤3：对拼接道岔图像和对应标签进行仿射变换，获得仿射变换道岔图像和对应标签；
[0012]步骤4：在仿射变换道岔图像和对应标签中截取指定尺寸道岔图像，并清除较小的碎片化目标标签，获取最终数据增强后的道岔图像和标签信息。
[0013]本专利技术实施例所采用的另一技术方案是：一种所述稀疏道岔图像的数据增强方法的参数优化方法，按照下式步骤进行：
[0014]步骤S1：确定可优化参数及参数取值范围：(1)道岔区域左右边界扩展系数T
l
、T
r
；(2)仿射变换矩阵超参数center1、center2、revo1、revo2、trans1、trans2；(3)标签保留最小面积比A
min
；(4)是否进行数据增强的概率值，记为Prob；
[0015]步骤S2：对可优化参数进行初始化，然后将初始化的可优化参数均乘以10^2，将超参数转换为整数，并用二进制表示；
[0016]步骤S3：记参数优化次数为n，当n＝1时，利用选定好的超参数对带有标签的道岔图像数据集进行数据增强，结合深度学习网络模型进行训练及测试，将步骤S2中二进制编码后的超参数转换为十进制，并输入到深度学习网络模型中进行训练和测试，测试结果选用准确率P、召回率R和均值平均精度mAP，并记录每次训练和测试所使用的超参数，存储到变量passhyp中，当n不等于1时，先判断选定的超参数是否在passhyp变量中，如果在passhyp中，舍弃该超参数，直接执行步骤S6，否则利用选定的超参数对数据集进行数据增强，并结合深度学习网络模型进行训练及测试；
[0017]步骤S4：根据深度学习网络模型测试指标，设计目标函数J，为了综合考虑深度学习网络模型对道岔类别的检测能力，设置权重系数平衡各指标对目标函数的贡献量，目标函数表示为J＝0.2*P+0.4*R+0.4*mAP；
[0018]步骤S5：当n≤10时，将本次计算的参数优化次数、目标函数结果J和超参数以字典的形式记录到Best_result变量中，储存形式如下：{circle:times,hyp:value1,J:value2}，其中，times表示本次计算过程属于第几次参数优化，value1表示本次计算所使用超参数，以十进制数形式保存，value2表示本次计算对应的目标函数值，同样以十进制保存，Best_result变量设置最大存储空间为10条字典数据；当n＞10时，将本次计算的目标函数值J与Best_result变量中每项的value2进行比较，当J值大于某一项的value2时，用本次计算结果替换Best_result中的该项信息；
[0019]步骤S6：在Best_result中，以J值大小为选取概率，选取5组超参数作为新的基础超参数；
[0020]步骤S7：引入遗传算法的变异、交叉思想，对新的基础超参数进行更新；
[0021]步骤S8：重复步骤S3～S7，当迭代次数达到预设值或目标函数达到预期目标时，从Best_result提取最优结果作为最后的超参数值，完成超参数优化过程。
[0022]本专利技术实施例的有益效果是：
[0023]1、提出了一种稀疏道岔图像的道岔区域提取方法，通过道岔图像标签信息确定区域提取范围，能够保证每个提取的道岔区域块都包含道岔目标；
[0024]2、提出了一种稀疏道岔图像的区域块拼接方法，通过随机拼接不同道岔图像的道岔区域块，能够丰富道岔图像的背景信息，同时达到道岔图像正则化效果，避免训练过程中的过拟合问题；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种稀疏道岔图像的数据增强方法，其特征在于，包括以下步骤：步骤1：对道岔图像数据集中的每个道岔图像的道岔类别进行标注，形成带有标签的道岔图像数据集，道岔类别分为左转道岔和右转道岔；步骤2：对带有标签的道岔图像数据集中的道岔图像和对应的标签进行道岔图像拼接变换，形成拼接道岔图像和对应标签；步骤3：对拼接道岔图像和对应标签进行仿射变换，获得仿射变换道岔图像和对应标签；步骤4：在仿射变换道岔图像和对应标签中截取指定尺寸道岔图像，并清除较小的碎片化目标标签，获取最终数据增强后的道岔图像和标签信息。2.根据权利要求1所述的一种稀疏道岔图像的数据增强方法，其特征在于，步骤1中，采用VIA标注工具对道岔图像进行道岔类别标注，道岔类别判别依据为尖轨与基本轨之间的几何关系，当尖轨和基本轨之间的间隙位于右侧时，认为该道岔为右转道岔，当尖轨和基本轨之间的间隙位于左侧时，认为该道岔为左转道岔。3.根据权利要求1所述的一种稀疏道岔图像的数据增强方法，其特征在于，步骤2对带有标签的道岔图像数据集中的道岔图像和对应的标签进行道岔图像拼接变换前，先对该道岔图像数据集中的道岔图像和对应的标签按顺序进行编号，获取待拼接道岔图像数据的编号信息，具体过程如下：步骤211：对数据集的道岔图像和对应的标签按顺序进行编号，编号以数据对为单位进行，一个道岔图像和对应的标签组成一个数据对，编号从00000依次递增，编号信息存入indexs列表中；步骤212：在indexs中以batch_size大小为单位对数据集进行划分，batch_size表示批处理大小，指每次计算过程中使用的数据对的数量，最后不足一个批处理块的数据也作为一个批处理块，划分的批处理块数量i＝ceil(len(indexs)/batch_size)，其中，len()表示获取indexs列表大小，ceil()是python中math模块的封装函数，表示对计算结果向上取整。4.根据权利要求1～3任一项所述的一种稀疏道岔图像的数据增强方法，其特征在于，步骤2对带有标签的道岔图像数据集中的道岔图像和对应的标签进行道岔图像拼接变换的具体操作为：第m个批处理块的计算称为第m次计算过程，对第m次计算过程中的第index个道岔图像和对应的标签进行拼接变换，m∈[1,i]，i为批处理块的总数：步骤221：依次获取第m次计算过程中的道岔图像和对应标签的编号信息，每次获取的道岔图像和对应标签的编号记为index，从indexs列表中除index之外的编号中再随机选取7个道岔图像和对应标签的编号，与index一起存入P中，P为待拼接道岔图像及其标签的编号列表；步骤222：从P中依次提取对应的道岔图像和标签编号，每次提取的道岔图像编号记为j，j的取值范围为0
‑
7，对每个编号对应的道岔图像和标签进行尺寸缩放：缩放后的道岔图像高度h1＝r*h，缩放后的道岔图像宽度取w1＝r*w，h是缩放前的原道岔图像高度，w是缩放前的原道岔图像宽度，r为道岔图像缩放比例，取r＝s/h，s为尺寸缩放的道岔图像画布边长的1/2；
提取第j个道岔图像的标签信息[num，x
1min
,y
1min
,x
1max
,y
1max
]，其中num表示标注的标签类别；num取值有0、1两种，0表示左转道岔，1表示右转道岔；x
1min
表示标签框的左上角横坐标，y
1min
表示标签框的左上角纵坐标，x
1max
表示标签框右下角的横坐标，y
1max
表示标签框右下角的纵坐标；对道岔图像标签信息进行与道岔图像等比例缩放操作，即标签信息变为[num，x
min
,y
min
,x
max
,y
max
]，其中[x
min
,y
min
,x
max
,y
max
]＝[x
1min
,y
1min
,x
1max
,y
1max
]*r，x
min
表示缩放后标签框的左上角横坐标，y
min
表示缩放后标签框的左上角纵坐标，x
max
表示缩放后标签框右下角的横坐标，y
max
表示缩放后标签框右下角的纵坐标；步骤223：依次提取第j张道岔图像的道岔区域，道岔区域用[x1,y1,x2,y2]表示，其中，x1为道岔区域的左上角横坐标，y1为道岔区域的左上角纵坐标，x2道岔区域的右下角横坐标，y2为道岔区域的右下角纵坐标；为了保证道岔区域背景的丰富性，根据标签坐标信息确定道岔区域，计算公式如下：y1＝0，y2＝h1，x1＝max(x
min
*(1
‑
T
l
),0)，x2＝min(x
max
*(1+T
r
),w1)，其中，T
l
表示道岔区域左边界扩展系数，T
r
表示道岔区域右边界扩展系数，为0.3
‑
0.8之间的随机数；重复上述过程，依次提取P中所有编号对应道岔图像的所有道岔区域，提取到的道岔区域道岔图像序号用[j,k]表示，[j,k]表示第j张道岔图像提取的第k个道岔区域；步骤224：利用numpy.zeros()函数生成一张(h1*2，h1*2)的画布，将画布划分为四个区域，每个区域为h1*h1的正方形区域，从左向右，自上而下地分别记为区域1、区域2、区域3、区域4，画布缺省像素值设为0；步骤225：采用两张道岔图像的道岔区域匹配一个画布区域的方法，对j∈[0,7]的道岔区域与道岔图像画布的区域1～4配对，j＝0,1的道岔区域与画布区域1配对；j＝2,3的道岔区域与画布区域2配对；j＝4,5的道岔区域与画布区域3配对；j＝6,7的道岔区域与画布区域4配对，且区域1～4的配对过程中，依次选取对应道岔图像的道岔区域从画布中心点向边界扩展，当道岔区域在画布区域溢出时，截取画布区域内的道岔区域；步骤226：设步骤225配对好的道岔区域为P
area
、对应的画布区域为C
area
，将画布区域C
area
的像素值全部用对应的道岔区域P
area
的像素值覆盖，未覆盖的画布区域仍保持其缺省像素值，得到拼接道岔图像；步骤227：对原道岔图像的标签进行坐标变换，得到拼接道岔图像标签以及拼接道岔图像标签的位置信息；然后，重复步骤221～227，完成对带有标签的道岔图像数据集中全部道岔图像和对应标签的拼接变换。5.根据权利要求4所述的一种稀疏道岔图像的数据增强方法，其特征在于，步骤225中，采用两张道岔图像的道岔区域匹配一个画布区域的方法，对道岔区域与道岔图像画布的区域1～4配对的过程为：道岔图像的道岔区域用[x
1j_k
,y
1j_k
,x
2j_k
,y
2j_k
]表示，x
1j_k
指第j个道岔图像的第k个道岔区域左上角在原道岔图像的横坐标，y
1j_k
指第j个道岔图像的第k个道岔区域左上角在原道岔图像的纵坐标，x
2j_k
指第j个道岔图像的第k个道岔区域右下角在原道岔图像的横坐标，y
2j_k
指第j个道岔图像的第k个道岔区域右下角在原道岔图像的纵坐标；画布区域中对应的位置为[x
1pj_k
,y
1pj_k
,x
2pj_k
,y
2pj_k
]，x
1pj_k
指在画布对应区域中第j个道岔图像的第k个道岔区域的左上角横坐标，y
1pj_k
指在画布对应区域中第j个道岔图像的第k个道岔区域的左上角纵坐标，x
2pj_k
指在画布对应区域中第j个道岔图像的第k个道岔区域的右下角横坐标，
y
2pj_k
指在画布对应区域中第j个道岔图像的第k个道岔区域的右下角纵坐标；对于区域1，j∈[0,1]：当j＝0、k＝0时，即第0个道岔图像的第0个道岔区域在原道岔图像中的位置信息为[x
10_0
,y
10_0
,x
20_0
,y
20_0
]，在画布的区域1中对应的位置为[x
1p0_0
,y
1p0_0
,x
2p0_0
,y
2p0_0
]，x
1p0_0
＝max(h1‑
(x
20_0
‑
x
10_0
),0)，y
1p0_0
＝0，x
2p0_0
＝h1，y
2p0_0
＝h1；并记该道岔区域在画布上的最左侧横坐标为last1，last1＝x
1p0_0
；除j＝0、k＝0的情况外，x
1pj_k
＝max(last1‑
(x
2j_k
‑
x
1j_k
),0)，y
1pj_k
＝0，x
2pj_k
＝max(last1,0)，y
2pj_k
＝h1，并更新该道岔区域在画布上的最左侧横坐标last1＝x
1pj_k
；当区域1最后剩余分配区域不足以存放下一个道岔区域即last1＝0时，道岔区域在原道岔图像的位置信息左上角横坐标调整为x
1j_k
＝x
2j_k
‑
(x
2pj_k
‑
x
1pj_k
)，即道岔区域在原道岔图像的位置信息调整为[x
2j_k
‑
(x
2pj_k
‑
x
1pj_k
),y
1j_k
,x
2j_k
,y
2j_k
]；如果道岔区域不足，则将与区域1匹配的所有道岔区域全部拼接完，剩余未拼接区域保持画布自身像素值；对于区域2，j∈[2,3]：当j＝2、k＝0时，即第2个道岔图像的第0个道岔区域在原道岔图像中的位置信息为[x
12_0
,y
12_0
,x
22_0
,y
22_0
]，在画布区域2中对应的位置为[x
1p2_0
,y
1p2_0
,x
2p2_0
,y
2p2_0
]，x
1p2_0
＝h1，y
1p2_0
＝0，x
2p2_0
＝min(h1+(x
22_0
‑
x
12_0
),2*h1)，y
2p2_0
＝h1；并记该道岔区域在画布上的最右侧横坐标为last2，last2＝x
2p2_0
；除j＝2、k＝0的情况外，x
1pj_k
＝min(last2,2*h1)，y
1pj_k
＝0，x
2pj_k
＝min((last2+(x
2j_k
‑
x
1j_k
)),2*h1)，y
2pj_k
＝h1，并更新该道岔区域在画布上的最右侧横坐标last2＝x
2pj_k
；当区域2最后剩余分配区域不足以存放下一个道岔区域即last2＝2*h1时，道岔区域在原道岔图像的位置信息右下角横坐标调整为x
2j_k
＝x
1j_k
+(x
2pj_k
‑
x
1pj_k
)，即道岔区域在原道岔图像的位置信息调整为[x
1j_k
,y
1j_k
,x
1j_k
+(x
2pj_k
‑
x
1pj_k
),y
2j_k
]；如果道岔区域不足，则将与区域2匹配的所有道岔区域全部拼接完，剩余未拼接区域保持画布自身像素值；对于区域3，j∈[4,5]：当j＝4、k＝0时，即第4个道岔图像的第0个道岔区域在原道岔图像中的位置信息为[x
14_0
,y
14_0
,x
24_0
,y
24_0
]，在画布区域3中对应的位置为[x
1p4_0
,y
1p4_0
,x
2p4_0
,y
2p4_0
]，x
1p4_0
＝max(h1‑
(x
24_0
‑
x
14_0
),0)，y
1p4_0
＝h1，x
2p4_0
＝h1，y
2p4_0
＝2*h1，并记该道岔区域在画布上的最左侧横坐标为last3，last3＝x
1p4_0
；除j＝4、k＝0的情况外，x
1pj_k
＝max(last3‑
(x
2j_k
‑
x
1j_k
),0)，y
1pj_k
＝h1，x
2pj_k
＝max(last3,0)，y
2pj_k
＝2*h1，并更新该道岔区域在画布上的最左侧横坐标last3＝x
1pj_k
；当区域3最后剩余分配区域不足以存放下一个道岔区域即last3＝0时，道岔区域在原道岔图像的位置信息左上角横坐标调整为x
1j_k
＝x
2j_k
‑
(x
2pj_k
‑
x
1pj_k
)，即道岔区域在原道岔图像的位置信息调整为[x
2j_k
‑
(x
2pj_k
‑
x
1pj_k
),y
1j_k
,x
2j_k
,y
2j_k
]；如果道岔区域不足，则将与区域3匹配的所有道岔区域全部拼接完，剩余未拼接区域保持画布自身像素值；对于区域4，j∈[6,7]：当j＝6、k＝0时，即第6个道岔图像的第0个道岔区域在原道岔图像中的位置信息为[x
16_0
,y
16_0
,x
26_0
,y
26_0
]，在画布区域4中对应的位置为[x
1p6_0
,y
1p6_0
,x
2p6_0
,y
2p6_0
]，x
1p6_0
＝h1，y
1p6_0
＝h1，x
2p6_0
＝min(...

【专利技术属性】
技术研发人员：张素民，白日，何睿，丁慧祥，李海洋，
申请(专利权)人：吉林大学，
类型：发明
国别省市：