一种可微分随机图像数据扩充方法及系统技术方案

本发明专利技术属于计算机视觉以及人工智能领域，具体涉及了一种可微分随机图像数据扩充方法及系统，旨在解决现有技术没有考虑数据集之间特征的差异，从而扩充后的数据集对人工智能方法更精准地实现目标计算机视觉任务的帮助较低的问题。本发明专利技术包括：定义待扩充图像数据的扩充搜索空间和算子可微分参数；构建空间搜索神经网络模型并训练；进行训练获取的扩充算子的松弛采样及扩充算子的变换幅度的正态分布采样，并对采样结果进行归一化；基于归一化获得的最终扩充算子和变换幅度进行待扩充图像数据的扩充。本发明专利技术针对数据集本身特点学习数据扩充策略，实现快速、定制化的数据扩充，从而帮助人工智能方法更精准地实现目标计算机视觉任务。觉任务。觉任务。

【技术实现步骤摘要】
一种可微分随机图像数据扩充方法及系统


[0001]本专利技术属于计算机视觉以及人工智能领域，具体涉及了一种可微分随机图像数据扩充方法及系统。

技术介绍

[0002]数据扩充技术被广泛的用在基于人工智能的计算机视觉任务中，如分类、目标检测、目标分割、关键点识别等。该技术主要利用空间变换和色彩变换扩充原始数据，同时保证图像的高等级特征(如轮廓、形态等)在扩充得到的图像中被保留，因而可以在不额外收集新数据的情况下扩充数据，进而提升基于数据驱动的人工智能模型的性能。
[0003]目前数据扩充技术主要基于人为启发式设计，通过区域抹除、局部拼凑数据、颜色改变等手段实现数据的扩充，并取得了一定的效果。然而，基于人为设计的数据扩充方法虽然泛用性较强，但无法针对不同数据集的特点设计数据扩充方法。此外，现有技术还存在一些随机数据扩充方法，针对图像设计一系列随机变换算子，同样能达到提升人工智能模型的效果。该类方法简单，生成图像多样，实现容易，然而，现有的随机数据扩充方法同样没有考虑数据集之间特征的差异。
[0004]因此，本领域还需要针对数据集特点而设计定制化数据扩充方法，以帮助人工智能方法更精准地实现目标计算机视觉任务。

技术实现思路

[0005]为了解决现有技术中的上述问题，即现有技术没有考虑数据集之间特征的差异，从而扩充后的数据集对人工智能方法更精准地实现目标计算机视觉任务的帮助较低的问题，本专利技术提供了一种可微分随机图像数据扩充方法，所述扩充方法包括：
[0006]步骤S100，定义待扩充图像数据的扩充搜索空间，定义扩充搜索空间对应的算子可微分参数；
[0007]步骤S200，构建空间搜索神经网络模型，并基于待扩充图像数据，以模型损失最小化为方向进行算子可微分参数的前向训练，获得扩充算子的采样权重及变换幅度所服从的正态分布；
[0008]步骤S300，基于扩充算子的采样权重进行扩充算子的松弛采样，基于扩充算子的变换幅度所服从的正态分布进行正态分布采样，并对采样结果进行归一化，获得最终扩充算子和变换幅度；
[0009]步骤S400，基于所述最终扩充算子和变换幅度进行待扩充图像数据的扩充。
[0010]在一些优选的实施例中，步骤S100中定义待扩充图像数据的扩充搜索空间，包括：
[0011]步骤S110，定义待扩充图像数据的算子集合，所述算子集合包括空间变换算子和色彩变换算子；
[0012]步骤S120，分别定义所述算子集合中每个算子的变换幅度，并进行变换幅度的归一化，所述空间算子包括平移算子、旋转算子和仿射算子，所述色彩变换算子包括对比度拉
伸算子、灰度化算子和取反算子；
[0013]步骤S130，所述算子集合对应的算子采样权重集合及每个算子的归一化变换幅度构成待扩充图像数据的扩充搜索空间。
[0014]在一些优选的实施例中，步骤S120中分别定义所述算子集合中每个算子的变换幅度，包括：
[0015]定义每个算子的变换幅度的有效范围，包括平移算子的平移距离、旋转算子的旋转角度和对比度拉伸算子的拉伸比例。
[0016]在一些优选的实施例中，步骤S100中定义算子可微分参数，包括：
[0017]步骤S140，赋予所述算子集合中每个算子一个可学习的采样权重，并通过松弛采样实现算子采样权重的可微分处理，获得可微分算子采样权重；
[0018]步骤S150，令每个算子的变换幅度服从可学习的正态分布，并通过重参数化实现算子变换幅度正态分布的可微分处理，获得可微分算子变换幅度的正态分布；
[0019]步骤S160，可微分算子的采样权重和可微分算子变换幅度的正态分布构成搜索空间对应的算子可微分参数。
[0020]在一些优选的实施例中，步骤S140中通过松弛采样实现算子采样权重的可微分处理，包括：
[0021]其中，为算子集合O中的任一算子o的可微分采样权重，w
o
为算子集合O中任一算子o的采样权重，w
o
′
为算子集合O中任一算子o
′
的采样权重，g
o
＝
‑
log(
‑
log(u)),u～U(0,1)，g
o
为o对应的随机系数，g
o
′
＝
‑
log(
‑
log(u
′
)),u
′
～U(0,1)，g
o
′
为o
′
对应的随机系数，U代表均匀分布，τ为预先设置的温度系数。
[0022]在一些优选的实施例中，步骤S150中通过重参数化实现算子变换幅度正态分布的可微分处理，包括：m～N(μ,σ2)
[0023]其中，为算子可微分变换幅度，m为算子变换幅度，N表示正态分布，μ为算子变换幅度的均值，σ为算子变换幅度的标准差，∈～N(0,1)代表∈符合标准正态分布。
[0024]在一些优选的实施例中，步骤S200中算子可微分参数的前向训练为：在一些优选的实施例中，步骤S200中算子可微分参数的前向训练为：在一些优选的实施例中，步骤S200中算子可微分参数的前向训练为：
[0025]其中，X
in
为待扩充图像数据，为变换后的待扩充图像数据，为算子o的可微分变换幅度，o为算子集合O中的任一算子，代表在前向过程中传递的梯度，
而在反向过程中不传递的梯度的传递函数，X
out
为变换后的输出图像，代表独热操作，h
o
是独热操作结果h对算子o的结果，为算子集合O中所有算子的松弛采样结果向量。
[0026]在一些优选的实施例中，步骤S300包括：
[0027]步骤S310，基于扩充算子的采样权重进行扩充算子的松弛采样，并对结果进行独热处理，获得扩充算子OP；
[0028]步骤S320，基于扩充算子的变换幅度所服从的正态分布进行正态分布采样，获得采样后的变换幅度m
sample
；
[0029]步骤S330，对采样结果进行归一化，获得最终扩充算子和变换幅度OP(m
keep
)。
[0030]在一些优选的实施例中，步骤S330中对采样结果进行归一化，包括：
[0031]其中，m
sample
是根据算子变换幅度所服从的正态分布的采样结果，m
keep
是对m
sample
归一化后的采样结果。
[0032]本专利技术的另一方面，提出了一种可微分随机图像数据扩充系统，所述扩充系统包括：
[0033]图像预处理模块，配置为进行待扩充图像数据从存储介质的加载以及归一化预处理；
[0034]算子定义及存储模块，配置为定义待扩充图像数据的扩充搜索空间，定义扩充搜索空间对应的算子可微分参数，并存储候选变换算子、算子采样权重、算子变换幅度范围，以及算子变本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种可微分随机图像数据扩充方法，其特征在于，所述扩充方法包括：步骤S100，定义待扩充图像数据的扩充搜索空间，定义扩充搜索空间对应的算子可微分参数；步骤S200，构建空间搜索神经网络模型，并基于待扩充图像数据，以模型损失最小化为方向进行算子可微分参数的前向训练，获得扩充算子的采样权重及变换幅度所服从的正态分布；步骤S300，基于扩充算子的采样权重进行扩充算子的松弛采样，基于扩充算子的变换幅度所服从的正态分布进行正态分布采样，并对采样结果进行归一化，获得最终扩充算子和变换幅度；步骤S400，基于所述最终扩充算子和变换幅度进行待扩充图像数据的扩充。2.根据权利要求1所述的可微分随机图像数据扩充方法，其特征在于，步骤S100中定义待扩充图像数据的扩充搜索空间，包括：步骤S110，定义待扩充图像数据的算子集合，所述算子集合包括空间变换算子和色彩变换算子；步骤S120，分别定义所述算子集合中每个算子的变换幅度，并进行变换幅度的归一化，所述空间算子包括平移算子、旋转算子和仿射算子，所述色彩变换算子包括对比度拉伸算子、灰度化算子和取反算子；步骤S130，所述算子集合对应的算子采样权重集合及每个算子的归一化变换幅度构成待扩充图像数据的扩充搜索空间。3.根据权利要求2所述的可微分随机图像数据扩充方法，其特征在于，步骤S120中分别定义所述算子集合中每个算子的变换幅度，包括：定义每个算子的变换幅度的有效范围，包括平移算子的平移距离、旋转算子的旋转角度和对比度拉伸算子的拉伸比例。4.根据权利要求2所述的可微分随机图像数据扩充方法，其特征在于，步骤S100中定义算子可微分参数，包括：步骤S140，赋予所述算子集合中每个算子一个可学习的采样权重，并通过松弛采样实现算子采样权重的可微分处理，获得可微分算子采样权重；步骤S150，令每个算子的变换幅度服从可学习的正态分布，并通过重参数化实现算子变换幅度正态分布的可微分处理，获得可微分算子变换幅度的正态分布；步骤S160，可微分算子的采样权重和可微分算子变换幅度的正态分布构成搜索空间对应的算子可微分参数。5.根据权利要求4所述的可微分随机图像数据扩充方法，其特征在于，步骤S140中通过松弛采样实现算子采样权重的可微分处理，包括：其中，为算子集合O中的任一算子o的可微分采样权重，w
o
为算子集合O中任一算子o的采样权重，w
o
′
为算子集合O中任一算子o
′
的采样权重，g
o
＝
‑
log(
‑
log(u)),u～U(0,1)，g
o
为o对应的随机系数，g
o
′
＝
‑
log(
‑
log(u
′
)),u
′
～U(0,1)，g
o
′
为o
′
对应的随机系...

【专利技术属性】
技术研发人员：田捷，胡振华，肖安琪，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：