基于语音交互的样本扩增方法、系统、设备及存储介质技术方案

本发明专利技术公开了一种基于语音交互的样本扩增方法、系统、设备及存储介质，其中，所述方法包括：获取当前批次的真实图像样本集和用户语音数据；将随机噪声及所述真实图像样本集的特征类别输入至生成对抗网络中的生成模型，得到候选图像样本；对所述语音数据的语音语义以及所述候选图像样本的图像语义进行匹配，筛选出所述候选图像样本中符合预设条件的目标图像样本；通过所述生成对抗网络中的判别模型，对所述目标图像样本和所述真实图像样本集进行判别，得到判别结果；根据所述判别结果对所述生成模型和所述判别模型进行对抗训练，当满足训练停止条件时，输出当前批次的目标图像样本。通过上述方法能够生成更多高质量样本，以不断扩充样本库。不断扩充样本库。不断扩充样本库。

【技术实现步骤摘要】
基于语音交互的样本扩增方法、系统、设备及存储介质


[0001]本专利技术涉及计算机
，特别涉及一种基于语音交互的样本扩增方法、系统、设备及存储介质。

技术介绍

[0002]在视觉检测领域，视觉检测算法对样本数量的依赖性非常强，但现有样本数据所存在的数量少、类别不均衡等问题使其难以支撑深度学习模型的训练需求，也大大限制了算法精度的提升。
[0003]因此，当前亟需一种样本扩增技术，能够解决样本稀缺问题。

技术实现思路

[0004]本专利技术为了解决现有技术存在的上述问题，提出了一种能够扩充高质量样本的样本扩增方法，更具体地，提供了一种基于语音交互的样本扩增方法、系统、设备及存储介质。
[0005]第一方面，本专利技术提供的一种基于语音交互的样本扩增方法包括：
[0006]获取当前批次的真实图像样本集和用户语音数据；
[0007]将随机噪声及所述真实图像样本集的特征类别输入至生成对抗网络中的生成模型，得到候选图像样本；
[0008]对所述语音数据的语音语义以及所述候选图像样本的图像语义进行匹配，筛选出所述候选图像样本中符合预设条件的目标图像样本；
[0009]通过所述生成对抗网络中的判别模型，对所述目标图像样本和所述真实图像样本集进行判别，得到判别结果；
[0010]根据所述判别结果对所述生成模型和所述判别模型进行对抗训练，当满足训练停止条件时，输出当前批次的目标图像样本。
[0011]作为进一步改进，所述方法还包括：
[0012]在当前批次中，将输出的目标图像样本增加至所述真实图像样本集中，得到下一批次的真实图像样本集。
[0013]作为进一步改进，所述根据所述判别结果对所述生成模型和所述判别模型进行对抗训练，包括：
[0014]固定所述生成模型的网络参数，采用判别损失函数对所述判别模型的网络参数进行训练，得到训练后的判别模型；
[0015]固定训练后的判别模型的网络参数，基于生成损失函数，采用强化学习策略对所述生成模型的网络参数进行迭代训练，得到训练后的生成模型。
[0016]作为进一步改进，所述对所述语音数据的语音语义以及所述候选图像样本的图像语义进行匹配，筛选出所述候选图像样本中符合预设条件的目标图像样本，包括：
[0017]利用协同矩阵分解学习所述候选图像样本和所述语音数据的模态间语义一致性，基于模态间语义一致性对所述语音数据的语音语义和所述候选图像样本的图像语义进行
相似性匹配；
[0018]根据匹配结果筛选出所述候选图像样本中符合预设条件的目标图像样本。
[0019]作为进一步改进，所述利用协同矩阵分解学习所述候选图像样本和所述语音数据的模态间语义一致性，包括：
[0020]通过协同矩阵分解分别得到所述候选图像样本的图像语义特征矩阵和图像哈希码集、以及所述语音数据的语音语义特征矩阵和语音哈希码，以使所述候选图像样本和所述语音数据位于统一的潜在语义空间。
[0021]作为进一步改进，所述基于模态间语义一致性对所述语音数据的语音语义和所述候选图像样本的图像语义进行相似性匹配，包括：
[0022]基于所述候选图像样本的图像语义特征矩阵和图像哈希码集、所述语音数据的语音语义特征矩阵和语音哈希码进行相似性匹配；
[0023]若匹配结果大于预设阈值，则设置所述候选图像样本为目标图像样本。
[0024]第二方面，本专利技术还提供一种基于语音交互的样本扩增系统，包括：
[0025]获取单元，用于获取当前批次的真实图像样本集和用户语音数据；
[0026]筛选单元，用于将随机噪声及所述真实图像样本集的特征类别输入至生成对抗网络中的生成模型，得到候选图像样本；
[0027]对所述语音数据的语音语义以及所述候选图像样本的图像语义进行匹配，筛选出所述候选图像样本中符合预设条件的目标图像样本；
[0028]训练单元，用于通过所述生成对抗网络中的判别模型，对所述目标图像样本和所述真实图像样本集进行判别，得到判别结果；
[0029]根据所述判别结果对所述生成模型和所述判别模型进行迭代对抗训练，当满足迭代停止条件时，输出当前批次的目标图像样本。
[0030]作为进一步改进，所述训练单元还用于：在当前批次中，将输出的目标图像样本增加至所述真实图像样本集中，得到下一批次的真实图像样本集。
[0031]第三方面，本专利技术提供一种数据处理设备，包括处理器，所述处理器和存储器耦合，所述存储器存储有程序，所述程序由所述处理器执行，使得所述数据处理设备执行第一方面所述的样本扩增方法。
[0032]第四方面，本专利技术还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上述第一方面所述的样本扩增方法。
[0033]相较于现有技术，本专利技术提供的基于语音交互的样本扩增方法至少具有如下的有益效果：
[0034]通过利用生成对抗网络实现小样本数据的快速学习，并结合语音数据的语音语义与候选图像样本的图像语义进行匹配的语音交互方式将用户的先验知识引入至生成模型中，实现对生成模型性能优化，确保得到更多高质量的扩增样本，不断扩充图像样本库。
附图说明
[0035]为了更清楚地说明本专利技术的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0036]图1是本专利技术实施例提供的基于语音交互的样本扩增方法的流程示意图；
[0037]图2是本专利技术实施例提供的基于语音交互的样本扩增系统的结构示意图。
具体实施方式
[0038]本部分将详细描述本专利技术的具体实施例，本专利技术之较佳实施例在附图中示出，附图的作用在于用图形补充说明书文字部分的描述，使人能够直观地、形象地理解本专利技术的每个技术特征和整体技术方案，但其不能理解为对本专利技术保护范围的限制。
[0039]请参阅图1，第一方面，本专利技术一个实施例提供一种基于语音交互的样本扩增方法，包括下述步骤S1
‑
S3。
[0040]S1：获取当前批次的真实图像样本集和用户语音数据。
[0041]需要说明的是，开始训练时，所获取的真实图像样本集中的图像样本采用随机的方式进行收集，并进行特征类别提取，以得到真实图像样本集的特征类别；用户的语音数据则包含用户希望得到的扩增样本的信息。
[0042]S2：将随机噪声及真实图像样本集的特征类别输入至生成对抗网络中的生成模型，得到候选图像样本；对语音数据的语音语义以及候选图像样本的图像语义进行匹配，筛选出候选图像样本中符合预设条件的目标图像样本。
[0043]本实施例通过利用随机噪声和真实图像样本集的特征类别训练生成对抗网络中的生成模型，可学习样本特征的概率分布，从而自动生成多样性的样本，避免样本类型单一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于语音交互的样本扩增方法，其特征在于，包括：获取当前批次的真实图像样本集和用户语音数据；将随机噪声及所述真实图像样本集的特征类别输入至生成对抗网络中的生成模型，得到候选图像样本；对所述语音数据的语音语义以及所述候选图像样本的图像语义进行匹配，筛选出所述候选图像样本中符合预设条件的目标图像样本；通过所述生成对抗网络中的判别模型，对所述目标图像样本和所述真实图像样本集进行判别，得到判别结果；根据所述判别结果对所述生成模型和所述判别模型进行对抗训练，当满足训练停止条件时，输出当前批次的目标图像样本。2.根据权利要求1所述的方法，其特征在于，还包括：在当前批次中，将输出的目标图像样本增加至所述真实图像样本集中，得到下一批次的真实图像样本集。3.根据权利要求1所述的方法，其特征在于，所述根据所述判别结果对所述生成模型和所述判别模型进行对抗训练，包括：固定所述生成模型的网络参数，采用判别损失函数对所述判别模型的网络参数进行训练，得到训练后的判别模型；固定训练后的判别模型的网络参数，基于生成损失函数，采用强化学习策略对所述生成模型的网络参数进行迭代训练，得到训练后的生成模型。4.根据权利要求1所述的方法，其特征在于，所述对所述语音数据的语音语义以及所述候选图像样本的图像语义进行匹配，筛选出所述候选图像样本中符合预设条件的目标图像样本，包括：利用协同矩阵分解学习所述候选图像样本和所述语音数据的模态间语义一致性，基于模态间语义一致性对所述语音数据的语音语义和所述候选图像样本的图像语义进行相似性匹配；根据匹配结果筛选出所述候选图像样本中符合预设条件的目标图像样本。5.根据权利要求4所述的方法，其特征在于，所述利用协同矩阵分解学习所述候选图像样本和所述语音数据的模态间语义一致性，包括：通过协同矩阵分解分别得...

【专利技术属性】
技术研发人员：杜翠凤，
申请(专利权)人：广州杰赛通信规划设计院有限公司，
类型：发明
国别省市：