唤醒模型的评估方法、装置、计算机设备和存储介质制造方法及图纸

本申请提供了一种唤醒模型的评估方法、装置、计算机设备和存储介质，通过将预设的测试文件输入至唤醒模型中；其中，所述测试文件为音频文件；基于所述唤醒模型识别所述测试文件中的每个预测唤醒词，并获取每个所述预测唤醒词在测试文件中的位置；进而根据参考文件中记录的测试文件中唤醒词的位置，以及每个所述预测唤醒词在测试文件中的位置，确定每个所述预测唤醒词是否为正唤醒，并进行标记；将每个所述预测唤醒词的所述标记以及在测试文件中的位置存储于结果文件中；基于所述参考文件以及结果文件，计算所述唤醒模型的评估参数；本申请中无需使用测试集，不会污染测试集，同时对测试文件没有要求，适用性更广泛。

【技术实现步骤摘要】
唤醒模型的评估方法、装置、计算机设备和存储介质
本申请涉及语音唤醒的
，特别涉及一种唤醒模型的评估方法、装置、计算机设备和存储介质。
技术介绍
目前唤醒模型的评估主要是通使用对测试集进行测试来检验唤醒模型的唤醒性能。采用测试集检测唤醒性能的代价是要减少一部分训练数据，例如通常从训练集中移除30%的训练数据作为测试集。这意味着相比于使用全量训练数据训练模型来说，模型会存在更大的偏差。在标准的评估流程中，评估完模型效果后，会采用全量数据重新训练来得到最终的模型。因此，在这种流程下，测试集的评估结果是偏保守的，因为模型的实际误差要比评估的误差低一些。目前评估唤醒模型的一个要点是在得到最终模型前不能以任何方式分析或使用测试集。常见错误是在使用测试集进行模型效果评估后重新调整模型然后再次训练评估。如果重复使用一份测试集，这份测试集就被污染了。由于测试集参与了模型调整，便不能再给出模型误差的一个无偏估计了。因此，目前的评估方法中存在容易污染测试集的缺陷。
技术实现思路
本申请的主要目的为提供一种唤醒模型的评估方法、装置、计算机设备和存储介质，旨在克服目前评估唤醒模型时会对测试集造成污染的缺陷。为实现上述目的，本申请提供了一种唤醒模型的评估方法，包括以下步骤：将预设的测试文件输入至唤醒模型中；其中，所述测试文件为音频文件；基于所述唤醒模型识别所述测试文件中的每个预测唤醒词，并获取每个所述预测唤醒词在测试文件中的位置；根据参考文件中记录的测试文件中唤醒词的位置，以及每个所述预测唤醒词在测试文件中的位置，确定每个所述预测唤醒词是否为正唤醒，并进行标记；将每个所述预测唤醒词的所述标记以及在测试文件中的位置存储于结果文件中；基于所述参考文件以及结果文件，计算所述唤醒模型的评估参数；其中，所述评估参数至少包括唤醒率。进一步地，所述根据参考文件中记录的测试文件中唤醒词的位置，以及每个所述预测唤醒词在测试文件中的位置，确定每个所述预测唤醒词是否为正唤醒，并进行标记的步骤，包括：将每个所述预测唤醒词在测试文件中的位置与所述参考文件中记录的测试文件中每个唤醒词的位置进行对比，判断是否具有重叠；若重叠，则判断重叠部分是否大于阈值；若大于，则将所述预测唤醒词标记为正唤醒；若不大于，则将所述预测唤醒词标记为误唤醒。进一步地，每个所述唤醒词的时间长度相同，所述阈值为每个所述唤醒词时间长度的1/2。进一步地，所述唤醒率包括正唤醒率和/或误唤醒率；所述基于所述参考文件以及结果文件，计算所述唤醒模型的评估参数的步骤，包括：统计所述参考文件中记录的唤醒词出现的总次数，以及根据所述结果文件对预测唤醒词的标记统计正唤醒的次数和/或误唤醒的次数；根据所述正唤醒的次数以及所述总次数计算正唤醒率；和/或，根据所述误唤醒的次数以及所述总次数计算误唤醒率。进一步地，所述根据参考文件中记录的测试文件中唤醒词的位置，以及每个所述预测唤醒词在测试文件中的位置，确定每个所述预测唤醒词是否为正唤醒，并进行标记的步骤之后，还包括：获取所述测试文件中出现每个所述预测唤醒词的位置所对应的音频数据；将所述测试文件的名称与每个所述预测唤醒词在测试文件中的位置、以及所述预测唤醒词的标记进行组合得到字符串，将所述音频数据保存至预设的唤醒音频片段中，并将所述字符串作为对应的音频数据的文件名。进一步地，所述获取每个所述预测唤醒词在测试文件中的位置的步骤，包括：所述唤醒模型识别到所述测试文件中的每个预测唤醒词，获取所述测试文件当前已读取的数据字节数；将当前已读取的数据字节数减去预设字节数，得到预测唤醒词的起始字节数；将所述测试文件中起始字节数与当前已读取的数据字节数之间的区间作为所述预测唤醒词在测试文件中的位置。进一步地，所述将预设的测试文件输入至唤醒模型中的步骤之前，包括：将一预设的音频文件作为所述测试文件，并在参考文件在记录所述测试文件中出现唤醒词的位置；将所述测试文件以及所述参考文件命名为相同的名称，并保存为不同的文件格式。本申请还提供了一种唤醒模型的评估装置，包括：输入单元，用于将预设的测试文件输入至唤醒模型中；其中，所述测试文件为音频文件；获取单元，用于基于所述唤醒模型识别所述测试文件中的每个预测唤醒词，并获取每个所述预测唤醒词在测试文件中的位置；标记单元，用于根据参考文件中记录的测试文件中唤醒词的位置，以及每个所述预测唤醒词在测试文件中的位置，确定每个所述预测唤醒词是否为正唤醒，并进行标记；存储单元，用于将每个所述预测唤醒词的所述标记以及在测试文件中的位置存储于结果文件中；计算单元，用于基于所述参考文件以及结果文件，计算所述唤醒模型的评估参数；其中，所述评估参数至少包括唤醒率。本申请还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。本申请提供的唤醒模型的评估方法、装置、计算机设备和存储介质，通过将预设的测试文件输入至唤醒模型中；其中，所述测试文件为音频文件；基于所述唤醒模型识别所述测试文件中的每个预测唤醒词，并获取每个所述预测唤醒词在测试文件中的位置；进而根据参考文件中记录的测试文件中唤醒词的位置，以及每个所述预测唤醒词在测试文件中的位置，确定每个所述预测唤醒词是否为正唤醒，并进行标记；将每个所述预测唤醒词的所述标记以及在测试文件中的位置存储于结果文件中；基于所述参考文件以及结果文件，计算所述唤醒模型的评估参数；本申请中无需使用测试集，不会污染测试集，同时对测试文件没有要求，适用性更广泛。附图说明图1是本申请一实施例中唤醒模型的评估方法步骤示意图；图2是本申请一实施例中唤醒模型的评估装置结构框图；图3为本申请一实施例的计算机设备的结构示意框图。本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。参照图1，本申请一实施例中提供了一种唤醒模型的评估方法，包括以下步骤：步骤S1，将预设的测试文件输入至唤醒模型中；其中，所述测试文件为音频文件；步骤S2，基于所述唤醒模型识别所述测试文件中的每个预测唤醒词，并获取每个所述预测唤醒词在测试文件中的位置；步骤S3，根据参考文件中记录的测试文件中唤醒词的位置，以及每个所述预测唤醒词在测试文件中的位置，确定每个所述预测唤醒词是否为正唤醒，并进行标记；步骤S4，将每个本文档来自技高网...

【技术保护点】
1.一种唤醒模型的评估方法，其特征在于，包括以下步骤：/n将预设的测试文件输入至唤醒模型中；其中，所述测试文件为音频文件；/n基于所述唤醒模型识别所述测试文件中的每个预测唤醒词，并获取每个所述预测唤醒词在测试文件中的位置；/n根据参考文件中记录的测试文件中唤醒词的位置，以及每个所述预测唤醒词在测试文件中的位置，确定每个所述预测唤醒词是否为正唤醒，并进行标记；/n将每个所述预测唤醒词的所述标记以及在测试文件中的位置存储于结果文件中；/n基于所述参考文件以及结果文件，计算所述唤醒模型的评估参数；其中，所述评估参数至少包括唤醒率。/n

【技术特征摘要】
1.一种唤醒模型的评估方法，其特征在于，包括以下步骤：
将预设的测试文件输入至唤醒模型中；其中，所述测试文件为音频文件；
基于所述唤醒模型识别所述测试文件中的每个预测唤醒词，并获取每个所述预测唤醒词在测试文件中的位置；
根据参考文件中记录的测试文件中唤醒词的位置，以及每个所述预测唤醒词在测试文件中的位置，确定每个所述预测唤醒词是否为正唤醒，并进行标记；
将每个所述预测唤醒词的所述标记以及在测试文件中的位置存储于结果文件中；
基于所述参考文件以及结果文件，计算所述唤醒模型的评估参数；其中，所述评估参数至少包括唤醒率。


2.根据权利要求1所述的唤醒模型的评估方法，其特征在于，所述根据参考文件中记录的测试文件中唤醒词的位置，以及每个所述预测唤醒词在测试文件中的位置，确定每个所述预测唤醒词是否为正唤醒，并进行标记的步骤，包括：
将每个所述预测唤醒词在测试文件中的位置与所述参考文件中记录的测试文件中每个唤醒词的位置进行对比，判断是否具有重叠；
若重叠，则判断重叠部分是否大于阈值；
若大于，则将所述预测唤醒词标记为正唤醒；
若不大于，则将所述预测唤醒词标记为误唤醒。


3.根据权利要求2所述的唤醒模型的评估方法，其特征在于，每个所述唤醒词的时间长度相同，所述阈值为每个所述唤醒词时间长度的1/2。


4.根据权利要求1所述的唤醒模型的评估方法，其特征在于，所述唤醒率包括正唤醒率和/或误唤醒率；
所述基于所述参考文件以及结果文件，计算所述唤醒模型的评估参数的步骤，包括：
统计所述参考文件中记录的唤醒词出现的总次数，以及根据所述结果文件对预测唤醒词的标记统计正唤醒的次数和/或误唤醒的次数；
根据所述正唤醒的次数以及所述总次数计算正唤醒率；
和/或，根据所述误唤醒的次数以及所述总次数计算误唤醒率。


5.根据权利要求1所述的唤醒模型的评估方法，其特征在于，所述根据参考文件中记录的测试文件中唤醒词的位置，以及每个所述预测唤醒词在测试文件中的位置，确定每个所述预测唤醒词是否为正唤醒，并进行标记的步骤之后，还包括：
获取所述测试文件中出现每个所述预测唤...

【专利技术属性】
技术研发人员：王天喜，王广新，杨汉丹，
申请(专利权)人：深圳市友杰智新科技有限公司，
类型：发明
国别省市：广东;44