【技术实现步骤摘要】
视频标注模型的训练方法、装置、设备及存储介质
[0001]本申请涉及计算机视觉领域，特别涉及一种视频标注模型的训练方法、装置、设备及存储介质。
技术介绍
[0002]时下计算机视觉技术已经应用到众多领域，比如执法部门使用的执法记录仪便是一种基于计算机视觉技术的电子产品。
[0003]详细来说，执法记录仪是根据执法部门的实际需要，集实时视音频摄录、拍照、定位、人脸及车牌识别、人脸及车牌对比等功能于一体的便携式设备。由于执法记录仪能够实时记录执法过程，因此被广泛应用于交警执法、消防检查、烟草执法等场景。在实际应用过程中，执法记录仪通过视频标注模型对已采集视频进行标注，以便于执法人员根据视频标注结果进行事件回溯和取证。其中，视频标注是指为视频添加标签的过程。
[0004]其中，视频标注质量也即视频标注结果是否精准有效，对执法过程至关重要，因为会严重影响执法效率和执法准确性。为此，如何训练视频标注模型以实现精准有效的视频标注，便成为了本领域技术人员关注的一个焦点。
技术实现思路
[0005]本申请实施...
【技术保护点】
【技术特征摘要】
1.一种视频标注模型的训练方法，其特征在于，所述方法包括：获取视频数据，在所述视频数据中提取关键帧；对所述关键帧进行特征提取，得到所述关键帧在不同模态下的特征数据；基于所述关键帧在不同模态下的特征数据，构建不同模态对应的子图；基于图神经网络，对所述不同模态对应的子图执行聚合操作，得到目标图；基于所述目标图，获取所述图神经网络对所述关键帧进行视频标注的预测标注结果；基于所述预测标注结果和所述关键帧的实际标注结果，训练所述图神经网络直至收敛，得到所述视频标注模型。2.根据权利要求1所述的方法，其特征在于，所述对所述关键帧进行特征提取，得到所述关键帧在不同模态下的特征数据，包括以下至少两种：对所述关键帧进行图像特征提取，得到所述关键帧的图像特征；对所述关键帧进行文本特征提取，得到所述关键帧中非数字文本的文本特征；对所述关键帧进行数字特征提取，得到所述关键帧中数字文本的数字特征。3.根据权利要求2所述的方法，其特征在于，所述基于所述关键帧在不同模态下的特征数据，构建不同模态对应的子图，包括：以所述图像特征作为节点，生成图像特征子图；其中，所述图像特征子图的各条边用于表示不同图像特征之间的关系；以所述文本特征作为节点，生成文本特征子图；其中，所述文本特征子图的各条边用于表示不同文本特征之间的关系；以所述数字特征作为节点，生成数字特征子图；其中，所述数字特征子图的各条边用于表示不同数字特征之间的关系；相应地，所述对所述不同模态对应的子图执行聚合操作，包括：对所述图像特征子图、所述文本特征子图和所述数字特征子图执行聚合操作，得到所述目标图。4.根据权利要求3所述的方法，其特征在于，所述对所述图像特征子图、所述文本特征子图和所述数字特征子图执行聚合操作，得到所述目标图，包括：基于注意力机制，在所述图像特征子图和所述文本特征子图之间执行聚合操作，以及在所述文本特征子图内部执行聚合操作；基于注意力机制，在聚合后的文本特征子图和所述数字特征子图之间执行聚合操作，得到所述目标图。5.根据权利要求4所述的方法，其特征在于，对于任意两种模态，所述两种模态对应的子图的聚合过程，包括：对于第一子图中的第j个节点，基于所述第二子图中与所述第j个节点相邻的多个邻居节点的注意力分数，进行节点聚合，得到所述第j个节点更新后的特征向量；其中，j为正整数；所述注意力分数用于表示所述第j个节点与所述邻居节点之间边的权重；所述第一子图与所述两种模态中的第一模态对应；所述第二子图与所述两种模态中的第二模态对应；或者，对于所述第二子图中的第i个节点，基于所述第一子图中与所述第i个节点相邻的多个邻居节点的注意力分数，进行节点聚合，得到所述第i个节点更新后的特征向量；其中，i为
正整...
【专利技术属性】
技术研发人员：陈孝良，
申请(专利权)人：北京声智科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。