搜索音频数据的方法和装置制造方法及图纸

本发明专利技术提供了一种搜索音频数据的方法和装置，属于互联网技术领域。将多个音频数据的相关联图像数据分别输入指定的特征提取模型，得到每个音频数据的相关联图像数据对应的特征信息，进行存储，其中，所述特征信息包括音频类型信息和图像特征信息；获取目标图像数据；将所述目标图像数据输入所述特征提取模型，得到所述目标图像数据对应的目标特征信息；确定所述目标特征信息分别与存储的每个音频数据对应的特征信息的相似度；基于每个音频数据对应的相似度，在所述多个音频数据中选取至少一个音频数据，作为所述目标图像数据对应的搜索结果。采用本发明专利技术，可以提高搜索音频数据的灵活性。

Method and Device for Searching Audio Data

The invention provides a method and device for searching audio data, which belongs to the technical field of Internet. The associated image data of multiple audio data are input into the specified feature extraction model separately, and the feature information corresponding to the associated image data of each audio data is obtained and stored. The feature information includes audio type information and image feature information; the target image data is acquired; and the target image data is input into the feature extraction model to obtain the described feature information. The target feature information corresponding to the target image data is determined; the similarity between the target feature information and the feature information corresponding to each audio data stored is determined; based on the similarity of each audio data, at least one audio data is selected from the multiple audio data as the search result corresponding to the target image data. The invention can improve the flexibility of searching audio data.

【技术实现步骤摘要】
搜索音频数据的方法和装置
本专利技术涉及互联网
，特别涉及一种搜索音频数据的方法和装置。
技术介绍
随着互联网技术的发展，终端上的应用程序的种类越来越多、功能越来越丰富，音乐播放应用程序即是一种很常用的应用程序。用户开启音乐播放应用程序之后，可以在搜索栏中输入关键词，如歌曲中的关键词语、歌手名字等来查找与关键词相对应的歌曲。在实现本专利技术的过程中，专利技术人发现相关技术至少存在以下问题：利用关键词查找歌曲的搜索形式比较单一，导致搜索歌曲的灵活性较差。
技术实现思路
本专利技术实施例提供了一种搜索音频数据的方法和装置，以解决相关技术的问题。所述技术方案如下：根据本专利技术实施例，提供一种搜索音频数据的方法，所述方法包括：将多个音频数据的相关联图像数据分别输入指定的特征提取模型，得到每个音频数据的相联关图像数据对应的特征信息，进行存储，其中，所述特征信息包括音频类型信息和图像特征信息；获取目标图像数据；将所述目标图像数据输入所述特征提取模型，得到所述目标图像数据对应的目标特征信息；确定所述目标特征信息与存储的多个音频数据对应的特征信息的相似度；基于每个音频数据对应的相似度，在所述多个音频数据中选取至少一个音频数据，作为所述目标图像数据对应的搜索结果。可选的，所述特征信息为特征向量，所述目标特征信息为目标特征向量。可选的，所述确定所述目标特征信息分别与储存的每个特征信息的相似度，包括：将目标特征向量A分别与每个特征向量B，输入相似度计算公式确定所述目标特征向量分别与每个所述特征向量的相似度ρ，其中，ai为特征向量A中第i个元素，bi为特征向量B中第i个元素。可选的，所述确定所述目标特征信息分别与储存的每个特征信息的相似度，包括：将目标特征向量A分别与每个特征向量B，输入相似度计算公式确定所述目标特征向量分别与每个所述特征向量的相似度cosθ，其中，ai为特征向量A中第i个元素，bi为特征向量B中第i个元素。可选的，所述目标特征向量中的每个元素分别对应所述目标图像数据与一种预设音乐类型的关联概率值或者对应一种预设图像元素在所述目标图像数据中的存在概率值；所述特征向量中的每个元素分别对应所述相关联图像数据与一种预设音乐类型的关联概率值或者对应一种预设图像元素在所述相关联图像数据中的存在概率值。可选的，所述指定的特征提取模型为预先训练的特征提取模型；所述方法还包括：获取多个样本音频数据的相关联图像数据的图像元素和音乐类型；基于每个样本音频数据的图像元素和音乐类型，生成每个样本音频数据的相关联图像数据对应的特征向量；将每个样本音频数据的相关联图像数据和对应的特征向量，作为训练样本，对初始特征提取模型进行训练，得到所述特征提取模型。可选的，所述基于每个音频数据对应的相似度，在所述多个音频数据中选取至少一个音频数据，作为所述目标图像数据对应的搜索结果，包括：基于每个音频数据对应的相似度，在所述多个音频数据中选取相似度处于预设数值范围的音频数据，作为所述目标图像数据对应的搜索结果。可选的，所述基于每个音频数据对应的相似度，在所述多个音频数据中选取至少一个音频数据，作为所述目标图像数据对应的搜索结果，包括：基于每个音频数据对应的相似度，在所述多个音频数据中选取相似度的排名位于预设排名内的音频数据，作为所述目标图像数据对应的搜索结果。可选的，所述获取目标图像数据，包括：从终端发送的携带有目标图像数据的搜索请求中获取目标图像数据。可选的，所述获取目标图像数据，包括：从目标账户已公开的相关联图像数据中获取目标图像数据。可选的，所述装置包括：储存模块，用于将多个音频数据的相关联图像数据分别输入指定的特征提取模型，得到每个音频数据的相关联图像数据对应的特征信息，进行存储，其中，所述特征信息包括音频类型信息和图像特征信息；第一获取模块，用于获取目标图像数据；第一确定模块，用于将所述目标图像数据输入所述特征提取模型，得到所述目标图像数据对应的目标特征信息；第二确定模块，用于确定所述目标特征信息与存储的多个音频数据对应的特征信息的相似度；搜索模块，用于基于每个音频数据对应的相似度，在所述多个音频数据中选取至少一个音频数据，作为所述目标图像数据对应的搜索结果。可选的，所述特征信息为特征向量，所述目标特征信息为目标特征向量。可选的，所述第二确定模块，用于：将目标特征向量A分别与每个特征向量B，输入相似度计算公式确定所述目标特征向量分别与每个所述特征向量的相似度ρ，其中，ai为特征向量A中第i个元素，bi为特征向量B中第i个元素。可选的，所述第二确定模块，用于：将目标特征向量A分别与每个特征向量B，输入相似度计算公式确定所述目标特征向量分别与每个所述特征向量的相似度cosθ，其中，ai为特征向量A中第i个元素，bi为特征向量B中第i个元素。可选的，所述目标特征向量中的每个元素分别对应所述目标图像数据与一种预设音乐类型的关联概率值或者对应一种预设图像元素在所述目标图像数据中的存在概率值；所述特征向量中的每个元素分别对应所述相关联图像数据与一种预设音乐类型的关联概率值或者对应一种预设图像元素在所述相关联图像数据中的存在概率值。可选的，所述指定的特征提取模型为预先训练的特征提取模型；所述装置还包括：第二获取模块，用于获取多个样本音频数据的相关联图像数据的图像元素和音乐类型；生成模块，用于基于每个样本音频数据的图像元素和音乐类型，生成每个样本音频数据的相关联图像数据对应的特征向量；训练模块，用于将每个样本音频数据的相关联图像数据和对应的特征向量，作为训练样本，对所始特征提取模型进行训练，得到所述特征提取模型。可选的，所述搜索模块，用于：基于每个音频数据对应的相似度，在所述多个音频数据中选取相似度处于预设数值范围的音频数据，作为所述目标图像数据对应的搜索结果。可选的，所述搜索模块，用于：基于每个音频数据对应的相似度，在所述多个音频数据中选取相似度的排名位于预设排名内的音频数据，作为所述目标图像数据对应的搜索结果。可选的，所述第一获取模块，用于：从终端发送的携带有目标图像数据的搜索请求中获取目标图像数据。可选的，所述第一获取模块，用于：从目标账户已公开的相关联图像数据中获取目标图像数据。根据本专利技术实施例，还提供一种搜索音频数据的装置，所述装置包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如上述所述的搜索音频数据的方法。根据本专利技术实施例，还提供一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如上述所述的搜索音频数据的方法。本专利技术实施例提供的技术方案带来的有益效果至少包括：本专利技术实施例中，服务器在搜索音频数据时，可以将获取到的目标图像数据输入到指定的特征提取模型中，得到对应的目标特征信息；然后，确定目标特征信息分别与预先利用特征提取模型计算并储存的，多个音频数据的相关联图像数据对应的特征信息之间的相似度；最后，服务器可以基于每个音频数据对应的相似度，在多个音频数据中选取至少一个音频数据，作为目标图像数据对应的搜索结果。这样，用户在搜索音频数据时，不仅可以基于音频数据中的关键词对其进行搜索，还可以使用与该音频数据相关的图像数据进行搜索，从而，可以提高搜索音频数据的灵活性本文档来自技高网...

【技术保护点】
1.一种搜索音频数据的方法，其特征在于，所述方法包括：将多个音频数据的相关联图像数据分别输入指定的特征提取模型，得到每个音频数据的相关联图像数据对应的特征信息，进行存储，其中，所述特征信息包括音频类型信息和图像特征信息；获取目标图像数据；将所述目标图像数据输入所述特征提取模型，得到所述目标图像数据对应的目标特征信息；确定所述目标特征信息与存储的多个音频数据对应的特征信息的相似度；基于每个音频数据对应的相似度，在所述多个音频数据中选取至少一个音频数据，作为所述目标图像数据对应的搜索结果。

【技术特征摘要】
1.一种搜索音频数据的方法，其特征在于，所述方法包括：将多个音频数据的相关联图像数据分别输入指定的特征提取模型，得到每个音频数据的相关联图像数据对应的特征信息，进行存储，其中，所述特征信息包括音频类型信息和图像特征信息；获取目标图像数据；将所述目标图像数据输入所述特征提取模型，得到所述目标图像数据对应的目标特征信息；确定所述目标特征信息与存储的多个音频数据对应的特征信息的相似度；基于每个音频数据对应的相似度，在所述多个音频数据中选取至少一个音频数据，作为所述目标图像数据对应的搜索结果。2.根据权利要求1所述的方法，其特征在于，所述特征信息为特征向量，所述目标特征信息为目标特征向量。3.根据权利要求2所述的方法，其特征在于，所述确定所述目标特征信息分别与储存的每个特征信息的相似度，包括：将目标特征向量A分别与每个特征向量B，输入相似度计算公式确定所述目标特征向量分别与每个所述特征向量的相似度ρ，其中，ai为特征向量A中第i个元素，bi为特征向量B中第i个元素。4.根据权利要求2所述的方法，其特征在于，所述确定所述目标特征信息分别与储存的每个特征信息的相似度，包括：将目标特征向量A分别与每个特征向量B，输入相似度计算公式确定所述目标特征向量分别与每个所述特征向量的相似度cosθ，其中，ai为特征向量A中第i个元素，bi为特征向量B中第i个元素。5.根据权利要求2-4任一项所述的方法，其特征在于，所述目标特征向量中的每个元素分别对应所述目标图像数据与一种预设音乐类型的关联概率值或者对应一种预设图像元素在所述目标图像数据中的存在概率值；所述特征向量中的每个元素分别对应所述相关联图像数据与一种预设音乐类型的关联概率值或者对应一种预设图像元素在所述相关联图像数据中的存在概率值。6.根据权利要求5所述的方法，其特征在于，所述指定的特征提取模型为预先训练的特征提取模型；所述方法还包括：获取多个样本音频数据的相关联图像数据的图像元素和音乐类型；基于每个样本音频数据的图像元素和音乐类型，生成每个样本音频数据的相关联图像数据对应的特征向量；将每个样本音频数据的相关联图像数据和对应的特征向量，作为训练样本，对初始特征提取模型进行训练，得到所述特征提取模型。7.根据权利要求1所述的方法，其特征在于，所述基于每个音频数据对应的相似度，在所述多个音频数据中选取至少一个音频数据，作为所述目标图像数据对应的搜索结果，包括：基于每个音频数据对应的相似度，在所述多个音频数据中选取相似度处于预设数值范围的音频数据，作为所述目标图像数据对应的搜索结果。8.根据权利要求1所述的方法，其特征在于，所述基于每个音频数据对应的相似度，在所述多个音频数据中选取至少一个音频数据，作为所述目标图像数据对应的搜索结果，包括：基于每个音频数据对应的相似度，在所述多个音频数据中选取相似度的排名位于预设排名内的音频数据，作为所述目标图像数据对应的搜索结果。9.根据权利要求1所述的方法，其特征在于，所述获取目标图像数据，包括：从终端发送的携带有目标图像数据的搜索请求中获取目标图像数据。10.根据权利要求1所述的方法，其特征在于，所述获取目标图像数据，包括：从目标账户已公开的相关联图像数据中获取目标图像数据。11.一种搜索音频数据的装置，其特征在于，所述装置包括：储存模块，用于将多个音频数据的相关联图像数据分别输入指定...

【专利技术属性】
技术研发人员：黄安麒，刘彦彬，李深远，董治，代玥，范恒远，陈莉，
申请(专利权)人：腾讯音乐娱乐科技深圳有限公司，
类型：发明
国别省市：广东,44