数据处理方法、装置、电子设备及计算机可读存储介质制造方法及图纸

本申请实施例提供了一种数据处理方法、装置、电子设备及计算机可读存储介质，涉及人工智能、多媒体、游戏及云技术领域。该方法包括：获取待处理数据，待处理数据为第一模态的数据；提取待处理数据的第一数据特征；将第一数据特征与目标数据库中的至少一个第二数据特征进行匹配，根据各第二数据特征对应的匹配结果，从各候选标准数据中确定出与待处理数据相匹配的目标标准数据，其中，目标数据库中包括至少一个候选标准数据以及每个候选标准数据的第二数据特征，候选标准数据为第二模态的数据。基于本申请实施例提供的方法，能够简单、快捷的实现不同模态的数据之间的匹配。捷的实现不同模态的数据之间的匹配。捷的实现不同模态的数据之间的匹配。

【技术实现步骤摘要】
数据处理方法、装置、电子设备及计算机可读存储介质


[0001]本申请涉及人工智能、多媒体技术、游戏以及云
，具体而言，本申请涉及一种数据处理方法、装置、电子设备及计算机可读存储介质。

技术介绍

[0002]随着语音识别技术的发展和推广，语音识别的应用已经出现在各种各样的应用场景中，比如，目前，绝大多数的电子设备都安装有人工智能AI语音助手，AI语音助手可以基于语音识别技术对采集的语音数据进行识别，得到对应的文本内容，并可以基于识别出的文本内容执行相应的功能。
[0003]现有技术中，语音识别技术大多都是通过复杂的语音识别模型实现的，通常是通过语音编码器获取语音数据的编码特征，再通过分类网络预测语音数据的类别，虽然能够一定程度上满足需求，但是方案实现复杂、成本较高，而且方案的扩展性较差，无法新增类别，在语音数据的类别较多时，识别准确率也难以保证。

技术实现思路

[0004]本申请实施例提供了一种数据处理方法、装置、电子设备及计算机可读存储介质，基于该方法能够简单、快捷的实现不同模态的数据间的匹配。本申请实施例提供的技本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取待处理数据，所述待处理数据为第一模态的数据；提取所述待处理数据的第一数据特征；将所述第一数据特征与目标数据库中的至少一个第二数据特征进行匹配，得到各所述第二数据特征对应的匹配结果，其中，所述目标数据库中包括至少一个候选标准数据以及每个所述候选标准数据的第二数据特征，所述候选标准数据为第二模态的数据；根据各所述第二数据特征对应的匹配结果，从各所述候选标准数据中确定出与所述待处理数据相匹配的目标标准数据。2.根据权利要求1所述的方法，其特征在于，还包括：根据所述第一数据特征，确定所述待处理数据的数据类型；所述将所述第一数据特征与目标数据库中的至少一个第二数据特征进行匹配，包括：在所述待处理数据的数据类型为指定类型时，将所述第一数据特征与目标数据库中的至少一个第二数据特征进行匹配。3.根据权利要求1所述的方法，其特征在于，所述第一模态的数据和所述第二模态的数据为不同模态的数据，所述第一模态的数据包括文本、语音、视频或图像中的至少一种，所述第二模态的数据包括文本、语音、视频或图像中的至少一种。4.根据权利要求1至3中任一项所述的方法，其特征在于，所述候选标准数据是与标准数据库中的第一标准数据相匹配的标准表达，所述第一标准数据为第一模态的数据，一个所述第一标准数据对应至少一个标准表达。5.根据权利要求4所述的方法，其特征在于，还包括：在所述标准数据库存在新增第一标准数据时，获取所述新增第一标准数据对应的至少一个标准表达；提取所述新增第一标准数据对应的各标准表达的第二数据特征；将所述新增第一标准数据对应的各标准表达、以及各标准表达对应的第二数据特征关联存储至所述目标数据库中。6.根据权利要求1所述的方法，其特征在于，所述第一数据特征是通过第一特征提取网络提取得到的；所述候选标准数据的第二数据特征是通过第二特征提取网络提取得到的；所述第一特征提取网络和所述第二特征提取网络是通过以下方式训练得到的：获取训练数据集，所述训练数据集包括第一训练集，所述第一训练集中的每个第一样本包括第一模态的第一数据、以及与该第一数据相匹配的第二模态的第二数据；基于所述训练数据集对初始的神经网络模型进行迭代训练，直至训练总损失值满足预设训练结束条件，其中，所述神经网络模型包括第一网络模型和第二网络模型，将满足所述训练结束条件时的第一网络模型作为所述第一特征提取网络，将满足所述训练结束条件时的第二网络模型作为所述第二特征提取网络；所述训练的过程包括：将各所述第一数据输入到第一网络模型中，得到各所述第一数据的特征，将各所述第二数据输入到第二网络模型中，得到各所述第二数据的特征；基于各所述第一样本中的第一数据的特征与第二数据的特征的匹配程度、以及各第一负例中的第一数据的特征和第二数据的特征的匹配程度，确定第一训练损失值；其中，所述第一负例包括一个第一样本的第一数据和另一个第一样本的第二数据；
若所述第一训练损失值不满足第一预设条件，则对所述第一网络模型和第二网络模型的模型参数进行调整，所述训练总损失值满足预设训练结束条件包括所述第一训练损失值满足第一预设条件。7.根据权利要求6所述的方法，其特征在于，所述将各所述第一数据输入到第一网络模型中，得到各所述第一数据的特征，包括：对于每个所述第一数据，通过所述第一网络模型对该第一数据执行以下操作，得到该第一数据的特征：将该第一数据划分为至少两个子数据，得到该第一数据对应的子数据序列；基于词典，提取所述子数据序列中各个子数据的特征，其中，所述词典包括多个数据元素，每个所述子数据的特征包括的特征值的个数等于所述词典中元素的数量，一个特征值表征了该子数据中包含词典中与该特征值的位置相对应的数据元素的概率；基于各所述子数据的特征，得到该第一数据的特征；所述方法还包括：对于每个所述第二数据，基于所述词典，确定该第二数据对应于所述词典的数据特征，该数据特征表征了该第二数据对应于词典中各个数据元素的概率...

【专利技术属性】
技术研发人员：刘世兴，王智圣，郑磊，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：