基于知识抗遗忘的地震幸存者识别方法及装置制造方法及图纸

本申请提供一种基于知识抗遗忘的地震幸存者识别方法及装置，方法包括：将目标视频的音频信息和视觉信息输入地震幸存者识别模型中，得到所述地震幸存者识别模型输出的所述目标视频的地震幸存者识别结果；所述地震幸存者识别模型是基于多个训练任务和损失函数对历史模型进行训练得到的，所述损失函数是基于弹性权重约束损失、特征复用损失和分类损失确定的，所述弹性权重约束损失用于约束两个相邻的训练任务之间的参数更新，所述特征复用损失用于在基于训练任务进行训练时复用已训练的训练任务的数据，提高了地震幸存者识别的准确性。性。性。

【技术实现步骤摘要】
基于知识抗遗忘的地震幸存者识别方法及装置


[0001]本申请涉及计算机
，尤其涉及一种基于知识抗遗忘的地震幸存者识别方法及装置。

技术介绍

[0002]在地震灾情场景下，如何准确快速确认坍塌建筑物的蜂窝状空穴中是否存在幸存者是救援的基础任务。
[0003]现有技术中，基于地震场景的视频或音频数据，通过人工智能算法搜索人体目标可以提升灾情救援的速度。但是地震灾害场景的动态变化使得幸存者及周围环境呈现出变化频繁和高度不确定性，导致人工智能算法存在严重的“知识灾难性遗忘”问题。具体而言，在基于理想场景的幸存者识别过程中，研究者们往往关注于如何提升模型在新的未知场景中的表达能力，而忽视了模型对于已学习知识的记忆能力，这会导致人工智能算法存在严重的“灾难性遗忘”问题，进而导致识别的结果不准确。

技术实现思路

[0004]本申请提供一种基于知识抗遗忘的地震幸存者识别方法及装置，用以解决现有技术中识别的结果不准确的缺陷，实现提高地震幸存者识别的准确性。
[0005]本申请提供一种基于知识抗遗忘的地震幸存者识别方法，包括：
[0006]将目标视频的音频信息和视觉信息输入地震幸存者识别模型中，得到所述地震幸存者识别模型输出的所述目标视频的地震幸存者识别结果；
[0007]所述地震幸存者识别模型是基于多个训练任务和损失函数对历史模型进行训练得到的，所述损失函数是基于弹性权重约束损失、特征复用损失和分类损失确定的，所述弹性权重约束损失用于约束两个相邻的训练任务之间的参数更新，所述特征复用损失用于在基于训练任务进行训练时复用已训练的训练任务的数据。
[0008]根据本申请提供的一种基于知识抗遗忘的地震幸存者识别方法，所述将目标视频的音频信息和视觉信息输入地震幸存者识别模型中，得到所述地震幸存者识别模型输出的所述目标视频的地震幸存者识别结果，包括：
[0009]将目标视频的音频信息和视觉信息输入所述地震幸存者识别模型中，基于目标视频中的音频信息提取音频特征，基于所述目标视频中的视觉信息提取视觉特征；
[0010]基于所述音频特征和所述视觉特征，进行特征融合，得到跨模态音频特征和跨模态视觉特征；
[0011]基于所述跨模态音频特征得到音频分类概率，基于所述跨模态视觉特征得到视觉分类概率，基于所述音频分类概率和所述视觉分类概率，得到所述地震幸存者识别模型输出的所述目标视频的地震幸存者识别结果。
[0012]根据本申请提供的一种基于知识抗遗忘的地震幸存者识别方法，还包括：
[0013]将总训练样本划分为所述多个训练任务中每个训练任务对应的训练样本；
[0014]将所述多个训练任务中的第i个训练任务对应的训练样本输入所述历史模型中进行训练，i为正整数；
[0015]在i大于1的情况下，基于记忆模块样本对所述历史模型进行监督学习，并基于所述第i个训练任务对应的训练样本训练后所述历史模型的参数和所述第i
‑
1个训练任务对应的训练样本训练后所述历史模型的参数，确定所述弹性权重约束损失；
[0016]通过对所述第i个训练任务对应的训练样本进行随机采样得到采样结果，基于所述采样结果更新所述记忆模块样本；
[0017]基于所述记忆模块样本，以及所述记忆模块样本对应的标签，确定所述特征复用损失；
[0018]基于所述特征复用损失、所述弹性权重约束损失和所述分类损失，确定所述损失函数是否收敛；
[0019]在所述损失函数未收敛的情况下，对i执行加一操作，以基于下个训练任务对应的训练样本进行训练，直至所述损失函数收敛；
[0020]在所述损失函数收敛的情况下，保存所述历史模型的参数，得到所述地震幸存者识别模型。
[0021]根据本申请提供的一种基于知识抗遗忘的地震幸存者识别方法，所述基于所述第i个训练任务对应的训练样本训练后所述历史模型的参数和所述第i
‑
1个训练任务对应的训练样本训练后所述历史模型的参数，确定所述弹性权重约束损失，包括：
[0022]基于所述第i个训练任务对应的训练样本训练后所述历史模型的参数和所述第i
‑
1个训练任务对应的训练样本训练后所述历史模型的参数，利用弹性权重约束损失计算公式，确定所述弹性权重约束损失；
[0023]所述弹性权重约束损失计算公式如下：
[0024][0025]其中，表示所述弹性权重约束损失，θ
z
表示所述第i个训练任务对应的训练样本训练后所述历史模型的第z个参数，表示所述第i
‑
1个训练任务对应的训练样本训练后所述历史模型的第z个参数，λ为表示所述第i个训练任务重要性的超参，α
z
为表示模型第z个参数的重要性的参数，Φ表示所述历史模型的参数数量。
[0026]根据本申请提供的一种基于知识抗遗忘的地震幸存者识别方法，所述记忆模块样本包括：音频记忆模块样本、二维视觉记忆模块样本和三维视觉记忆模块样本；
[0027]所述基于所述记忆模块样本，以及所述记忆模块样本对应的标签，确定所述特征复用损失，包括：
[0028]基于所述音频记忆模块样本、所述音频记忆模块样本对应的标签、所述二维视觉记忆模块样本、所述二维视觉记忆模块样本对应的标签、所述三维视觉记忆模块样本、所述三维视觉记忆模块样本对应的标签，利用特征复用损失计算公式，确定所述特征复用损失；
[0029]所述特征复用损失计算公式如下：
[0030][0031]其中，表示所述特征复用损失，M
a
表示所述音频记忆模块样本，Y
a
表示所述音频记忆模块样本对应的标签，M
2d
表示所述二维视觉记忆模块样本，Y
2d
表示所述二维视觉记忆模块样本对应的标签，M
3d
表示所述三维视觉记忆模块样本，Y
3d
表示所述三维视觉记忆模块样本对应的标签，CE表示交叉熵损失。
[0032]本申请提供一种基于知识抗遗忘的地震幸存者识别装置，包括：识别模块，用于将目标视频的音频信息和视觉信息输入地震幸存者识别模型中，得到所述地震幸存者识别模型输出的所述目标视频的地震幸存者识别结果；
[0033]所述地震幸存者识别模型是基于多个训练任务和损失函数对历史模型进行训练得到的，所述损失函数是基于弹性权重约束损失、特征复用损失和分类损失确定的，所述弹性权重约束损失用于约束两个相邻的训练任务之间的参数更新，所述特征复用损失用于在基于训练任务进行训练时复用已训练的训练任务的数据。
[0034]根据本申请提供的一种基于知识抗遗忘的地震幸存者识别装置，所述识别模块，具体用于：
[0035]将目标视频的音频信息和视觉信息输入所述地震幸存者识别模型中，基于目标视频中的音频信息提取音频特征，基于所述目标视频中的视觉信息提取视觉特征；
[0036]基于所述音频特征和所述视觉特征，进行特征融合，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于知识抗遗忘的地震幸存者识别方法，其特征在于，包括：将目标视频的音频信息和视觉信息输入地震幸存者识别模型中，得到所述地震幸存者识别模型输出的所述目标视频的地震幸存者识别结果；所述地震幸存者识别模型是基于多个训练任务和损失函数对历史模型进行训练得到的，所述损失函数是基于弹性权重约束损失、特征复用损失和分类损失确定的，所述弹性权重约束损失用于约束两个相邻的训练任务之间的参数更新，所述特征复用损失用于在基于训练任务进行训练时复用已训练的训练任务的数据。2.根据权利要求1所述的基于知识抗遗忘的地震幸存者识别方法，其特征在于，所述将目标视频的音频信息和视觉信息输入地震幸存者识别模型中，得到所述地震幸存者识别模型输出的所述目标视频的地震幸存者识别结果，包括：将目标视频的音频信息和视觉信息输入所述地震幸存者识别模型中，基于目标视频中的音频信息提取音频特征，基于所述目标视频中的视觉信息提取视觉特征；基于所述音频特征和所述视觉特征，进行特征融合，得到跨模态音频特征和跨模态视觉特征；基于所述跨模态音频特征得到音频分类概率，基于所述跨模态视觉特征得到视觉分类概率，基于所述音频分类概率和所述视觉分类概率，得到所述地震幸存者识别模型输出的所述目标视频的地震幸存者识别结果。3.根据权利要求1所述的基于知识抗遗忘的地震幸存者识别方法，其特征在于，还包括：将总训练样本划分为所述多个训练任务中每个训练任务对应的训练样本；将所述多个训练任务中的第i个训练任务对应的训练样本输入所述历史模型中进行训练，i为正整数；在i大于1的情况下，基于记忆模块样本对所述历史模型进行监督学习，并基于所述第i个训练任务对应的训练样本训练后所述历史模型的参数和所述第i
‑
1个训练任务对应的训练样本训练后所述历史模型的参数，确定所述弹性权重约束损失；通过对所述第i个训练任务对应的训练样本进行随机采样得到采样结果，基于所述采样结果更新所述记忆模块样本；基于所述记忆模块样本，以及所述记忆模块样本对应的标签，确定所述特征复用损失；基于所述特征复用损失、所述弹性权重约束损失和所述分类损失，确定所述损失函数是否收敛；在所述损失函数未收敛的情况下，对i执行加一操作，以基于下个训练任务对应的训练样本进行训练，直至所述损失函数收敛；在所述损失函数收敛的情况下，保存所述历史模型的参数，得到所述地震幸存者识别模型。4.根据权利要求3所述的基于知识抗遗忘的地震幸存者识别方法，其特征在于，所述基于所述第i个训练任务对应的训练样本训练后所述历史模型的参数和所述第i
‑
1个训练任务对应的训练样本训练后所述历史模型的参数，确定所述弹性权重约束损失，包括：基于所述第i个训练任务对应的训练样本训练后所述历史模型的参数和所述第i
‑
1个训练任务对应的训练样本训练后所述历史模型的参数，利用弹性权重约束损失计算公式，
确定所述弹性权重约束损失；所述弹性权重约束损失计算公式如下：其中，表示所述弹性权重约束损失，θ
z
表示所述第i个训练任务对应的训练样本训练后所述历史模型的第z个参数，表示所述第i
...

【专利技术属性】
技术研发人员：徐常胜，姚涵涛，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：