模型训练装置、模型训练方法及存储介质制造方法及图纸

本公开内容涉及模型训练装置、模型训练方法及存储介质。根据一个实施例，该模型训练装置包括：提取单元，被配置成提取样本特征；第一训练单元，被配置成使用第一声音事件样本集训练单声音事件检测模型；检测单元，被配置成针对第二声音事件样本集中的每个第二声音事件样本，通过使用训练过的单声音事件检测模型，基于第二样本特征检测第二声音事件样本来确定相应检测结果；第二训练单元，被配置成使用第一样本特征、第二样本特征及相应检测结果训练多声音事件检测模型。本公开内容的方法、装置和存储介质至少能有助于实现以下效果之一：使对多声音事件检测模型的训练变得容易，以及有利于得到具有期望的准确度的多声音事件检测模型。测模型。测模型。

【技术实现步骤摘要】
模型训练装置、模型训练方法及存储介质


[0001]本公开内容总体上涉及声音事件检测，更具体的，涉及用于训练声音事件检测模型的模型训练装置、模型训练方法及存储介质。

技术介绍

[0002]声音承载了日常生活环境里各种不同事件的信息。可以通过检测声音来感知与该声音相对应的相应场景(例如，喧闹的街道、有序的办公室等)，还可以辨认出一些特定的声学事件(例如，有人步行经过、汽车开过等)。自动检测这些声学事件是有意义的。
[0003]现实中需要进行检测的环境通常承载有多种声音，例如，吵闹的街区上混合了引擎声和喇叭声的环境，有背景音乐的舞台讲座等。在这样的条件下如何进行有效的声音事件检测是具有挑战的。
[0004]随着深度学习的发展，人工智能模型有能力基于深度神经网络(Deep neural network，DNN)实现对声音事件的自动检测，其中，在实施自动检测前，要使用声音事件样本训练该人工智能模型。DNN的出众表现源于它能使用统计学习方法从原始数据中提取高层特征，在大量的数据中获得输入空间的有效表征特征。这与之前使用手动提取特征或专家设计规则的方法不同。
[0005]目前的针对声音事件检测的训练数据，大部分有准确标签(即，包含事件类型标注和事件起止时间标注)的数据记录都是具有单个声音事件类型标签的单声音事件数据记录；对于包含多个声音事件的多声音事件数据记录，多数未打标签(对应无事件类型标签的声音事件数据)，或者虽然已打事件类型标签但缺少对缺少事件起止时间的标注(对应弱标签的声音事件数据)。
[0006]充分利用现有声音数据，训练多声音事件检测模型是具有挑战的。

技术实现思路

[0007]在下文中将给出关于本公开内容的简要概述，以便提供关于本公开内容的某些方面的基本理解。应当理解，此概述并不是关于本公开内容的穷举性概述。它并不是意图确定本公开内容的关键或重要部分，也不是意图限定本公开内容的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
[0008]考虑到同类声音事件的协同性，专利技术人提出了一种训练多声音事件检测模型的模型训练方法，以解决如何利用无标签多声音事件数据、弱标签多声音事件数据训练声音事件检测模型(尤其是，多声音事件检测模型)，从而更容易实现对(多)声音事件检测模型的训练，有利于得到具有期望的准确度的(多)声音事件检测模型。
[0009]根据本公开内容的一个方面，提供了一种用于训练声音事件检测模型的模型训练装置，其特征在于，模型训练装置包括：提取单元，被配置成提取已打标签的第一声音事件样本集中的每个第一声音事件样本的第一样本特征，以及提取第二声音事件样本集中的每个第二声音事件样本的第二样本特征；第一训练单元，被配置成使用第一声音事件样本集
训练单声音事件检测模型；检测单元，被配置成针对第二声音事件样本集中的每个第二声音事件样本，通过使用训练过的单声音事件检测模型，基于第二样本特征检测第二声音事件样本来确定相应检测结果；以及第二训练单元，被配置成使用第一样本特征、第二样本特征及相应检测结果训练多声音事件检测模型；其中，训练后的多声音事件检测模型能够检测包含多个声音事件的检测对象。
[0010]根据本公开内容的一个方面，提供了一种用于训练声音事件检测模型的模型训练方法，其特征在于，模型训练方法包括：提取已打标签的第一声音事件样本集中的每个第一声音事件样本的第一样本特征，以及提取第二声音事件样本集中的每个第二声音事件样本的第二样本特征；使用第一声音事件样本集训练单声音事件检测模型；针对第二声音事件样本集中的每个第二声音事件样本，通过使用训练过的单声音事件检测模型，基于第二样本特征检测第二声音事件样本来确定相应检测结果；以及使用第一样本特征、第二样本特征及相应检测结果训练多声音事件检测模型；其中，训练后的多声音事件检测模型能够检测包含多个声音事件的检测对象。
[0011]根据本公开内容的一个方面，提供了一种用于检测声音事件的方法，其特征在于，从输入的检测对象提取特征，使用经前述模型训练方法训练的多声音事件检测模型基于所提取的特征对检测对象进行检测。
[0012]根据本公开内容的另一方面，提供了一种其上存储有程序的计算机可读存储介质，其特征在于，程序使得在程序被处理器执行时实现包含以下的用于训练声音事件检测模型的模型训练方法：提取已打标签的第一声音事件样本集中的每个第一声音事件样本的第一样本特征，以及提取第二声音事件样本集中的每个第二声音事件样本的第二样本特征；使用第一声音事件样本集训练单声音事件检测模型；针对第二声音事件样本集中的每个第二声音事件样本，通过使用训练过的单声音事件检测模型，基于第二样本特征检测第二声音事件样本来确定相应检测结果；以及使用第一样本特征、第二样本特征及相应检测结果训练多声音事件检测模型；其中，训练后的多声音事件检测模型能够检测包含多个声音事件的检测对象。
[0013]本公开内容的方法、装置和存储介质至少能有助于实现如下效果之一：使对多声音事件检测模型的训练变得容易，提高声音事件检测模型的性能，以及有利于得到具有期望的准确度的多声音事件检测模型。
附图说明
[0014]参照附图下面说明本公开内容的实施例，这将有助于更加容易地理解本公开内容的以上和其他目的、特点和优点。附图只是为了示出本公开内容的原理。在附图中不必依照比例绘制出单元的尺寸和相对位置。相同的附图标记可以表示相同的特征。在附图中：
[0015]图1示出了根据本公开内容的一个实施例的用于训练声音事件检测模型的模型训练方法的流程图；
[0016]图2示出了根据本公开内容的一个实施例的确定事件特征矩阵的方法的流程图；
[0017]图3示出了根据本公开内容的一个实施例的确定修正置信度向量的方法的流程图；
[0018]图4示出了根据本公开内容的一个实施例的训练多声音事件检测模型的方法的流
程图；
[0019]图5示出了根据本公开内容的一个实施例的检测声音事件的方法的流程图；
[0020]图6示出了根据本公开内容的一个实施例的用于训练声音事件检测模型的模型训练装置的示例性框图；
[0021]图7示出了根据本公开内容的一个实施例的检测声音事件的装置的示例性框图；以及
[0022]图8示出了根据本公开内容的一个实施例的信息处理设备的示例性框图。
具体实施方式
[0023]在下文中将结合附图对本公开内容的示例性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施例的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中可以做出很多特定于实施例的决定，以便实现开发人员的具体目标，并且这些决定可能会随着实施例的不同而有所改变。
[0024]在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本公开内容，在附图中仅仅示出了与根据本公开内容的方案密切相关的装置结构，而省略了与本公开内容关系不大的其他细节。
[0025]应理解的是，本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于训练声音事件检测模型的模型训练装置，其特征在于，所述模型训练装置包括：提取单元，被配置成提取已打标签的第一声音事件样本集中的每个第一声音事件样本的第一样本特征，以及提取第二声音事件样本集中的每个第二声音事件样本的第二样本特征；第一训练单元，被配置成使用所述第一声音事件样本集训练单声音事件检测模型；检测单元，被配置成针对所述第二声音事件样本集中的每个第二声音事件样本，通过使用训练过的单声音事件检测模型，基于所述第二样本特征检测所述第二声音事件样本来确定相应检测结果；以及第二训练单元，被配置成使用所述第一样本特征、所述第二样本特征及所述相应检测结果训练多声音事件检测模型；其中，训练后的多声音事件检测模型能够检测包含多个声音事件的检测对象。2.根据权利要求1所述的模型训练装置，其中，所述第二声音事件样本集中的每个第二声音事件样本包含两个或更多个声音事件。3.根据权利要求2所述的模型训练装置，其中，所述第二声音事件样本集中的每个第二声音事件样本中包含的各事件未被分配事件类型标签或已分配事件类型标签但缺少事件起止时间。4.根据权利要求1所述的模型训练装置，其中，所述第一声音事件样本集中的每个第一声音事件样本仅包含一个声音事件。5.根据权利要求1所述的模型训练装置，其中，使用所述第一样本特征、所述第二样本特征及所述相应检测结果训练多声音事件检测模型包括：使用各第二样本特征、针对该第二样本特征的所述相应检测结果和所述第一样本特征集确定针对各第二样本特征的加权特征；以及使用确定的加权特征训练所述多声音事件检测模型。6.根据权利要求5所述的模型训练装置，其中，使用所述第一样本特征、所述第二样本特征及所述相应检测结果训练多声音事件检测模型包括：使用所述第一样本特征集确定与所述训练过的单声音事件检测模型能够检测出的多个候选声音事件的代表性特征向量有关的事件特征矩阵；确定针对各第二样本特征的与所述相应检测结果有关的修正置信度向量；以及基于所述事件特征矩阵、所述修正置信度向量和与所述修正置信度向量对应的第二样本特征确定所述加权特征。7.根据权利要求6所述的...

【专利技术属性】
技术研发人员：刘柳，石自强，林慧镔，刘汝杰，
申请(专利权)人：富士通株式会社，
类型：发明
国别省市：