训练数据集确定方法、行为分析方法、装置、系统及介质制造方法及图纸

本申请实施例公开了一种训练数据集确定方法、行为分析方法、装置、系统及介质，属于深度学习技术领域。在本申请实施例中，提供多个不同的初始分析网络模型给用户选择，自动根据多个视频段以及对应的标注信息，确定用户选择的初始分析网络模型对应的训练数据集，本方案的技术门槛较低，不需要用户有深度学习经验，仅通过简单标注操作以及模型选择操作，即可自动确定出所选择的模型对应的训练数据集，这样，用户可以快速定制得到用于分析特定行为的行为分析模型，定制周期较短。

【技术实现步骤摘要】
训练数据集确定方法、行为分析方法、装置、系统及介质
本申请实施例涉及深度学习
，特别涉及一种训练数据集确定方法、行为分析方法、装置、系统及介质。
技术介绍
随着深度学习技术的发展，对视频中对象的行为进行分析的行为分析网络模型广泛普及。行为分析网络模型通常是通过训练数据集训练得到，然后被部署在服务器中或者终端设备(如智能摄像头)上，用于识别视频中存在的行为以及行为的位置等。其中，训练数据集包括视频段和视频段对应的标注信息。在相关技术中，对于训练数据集的确定，通常是由研发人员在计算机设备上标注视频段中行为的位置等，得到对应的标注信息，将视频段和对应的标注信息作为训练数据集。然而，通过研发人员确定训练数据集，技术门槛比较高，而且用户想要定制某个特定行为的行为分析网络模型时，定制周期比较长。
技术实现思路
本申请实施例提供了一种训练数据集确定方法、行为分析方法、装置、系统及介质，能够降低确定训练数据集的技术门槛，缩短定制行为分析网络模型的定制周期。所述技术方案如下：一方面，提供了一种训练数据集确定方法，所述方法包括：显示多个视频段中每个视频段包括的视频图像；当检测到所述多个视频段的视频图像中一个或多个行为的标注操作时，确定所述多个视频段中每个视频段对应的标注信息；显示网络结构和/或训练参数不同的多个初始分析网络模型的性能信息，所述多个初始分析网络模型均用于视频中的行为分析；当基于显示的性能信息检测到模型选择操作时，根据所述多个视频段以及对应的标注信息，确定所述模型选择操作所选择的初始分析网络模型对应的训练数据集。可选地，所述多个初始分析网络模型包括网络结构和/或训练参数不同的多个初始图像分析网络模型，以及网络结构和/或训练参数不同的多个初始视频分析网络模型；所述根据所述多个视频段以及对应的标注信息，确定所述模型选择操作所选择的初始分析网络模型对应的训练数据集，包括：根据所述多个视频段以及对应的标注信息，确定图像数据集，将所述图像数据集作为所述模型选择操作所选择的初始图像分析网络模型对应的训练数据集；和/或根据所述多个视频段以及对应的标注信息，确定视频数据集，将所述视频数据集作为所述模型选择操作所选择的初始视频分析网络模型的训练数据集。可选地，所述标注信息包括行为标签和行为位置之间的对应关系，所述行为位置包括行为发生的帧号和图像区域，所述多个视频段中的每个视频段具有一个或多个行为标签，每个行为标签对应多个帧号，每个帧号对应一个图像区域；所述根据所述多个视频段以及对应的标注信息，确定图像数据集，包括：对于所述多个视频段中的第一视频段，提取所述第一视频段中经过标注的部分或全部的视频图像，得到多个第一视频图像，所述第一视频段为所述多个视频段中的一个；从所述对应关系中获取所述多个第一视频图像中每个第一视频图像的帧号所对应的行为标签以及行为位置，作为相应的第一视频图像对应的标注信息；将所述多个视频段中提取出的视频图像以及对应的标注信息，确定为所述图像数据集。可选地，所述标注信息包括行为标签和行为位置之间的对应关系，所述行为位置包括行为发生的帧号和图像区域，所述多个视频段中的每个视频段具有一个或多个行为标签，每个行为标签对应多个帧号，每个帧号对应一个图像区域，所述多个帧号包括一个起始帧号和一个结束帧号；所述根据所述多个视频段以及对应的标注信息，确定视频数据集，包括：对于所述多个视频段中的第一视频段，提取所述第一视频段的各个行为标签所对应的起始帧号和结束帧号之间的视频片段，得到一个或多个第一子视频段，所述第一视频段为所述多个视频段中的一个；从所述对应关系中获取各个第一子视频段的行为标签所对应的行为位置，将各个第一子视频段的行为标签和对应的行为位置作为相应的第一子视频段对应的标注信息；将所述多个视频段中提取出的子视频段以及对应的标注信息，确定为所述视频数据集。可选地，所述根据所述多个视频段以及对应的标注信息，确定所述模型选择操作所选择的初始分析网络模型对应的训练数据集之后，所述方法还包括：根据所述图像数据集，对所述模型选择操作所选择的初始图像分析网络模型进行训练，得到图像行为分析网络模型；和/或，根据所述视频数据集，对所述模型选择操作所选择的初始视频分析网络模型进行训练，得到视频行为分析网络模型。可选地，对所述模型选择操作所选择的初始分析网络模型进行训练之前，所述方法还包括：显示所述模型选择操作所选择的初始分析网络模型的网络结构和/或训练参数的调整指示信息；当基于所述调整指示信息检测到调整操作时，按照所述调整操作对所述模型选择操作所选择的初始分析网络模型的网络结构和/或训练参数进行调整。可选地，对所述模型选择操作所选择的初始分析网络模型进行训练之后，所述方法还包括：显示模型测试提示信息；当基于所述模型测试提示信息检测到确定测试指令时，根据测试数据集，对训练得到的行为分析网络模型进行测试，得到测试结果；显示所述测试结果；当基于所述测试结果检测到训练调整指令时，根据所述训练调整指令，重新训练所述模型选择操作所选择的初始分析网络模型。可选地，所述方法还包括：显示模型发布提示信息；当基于所述模型发布提示信息检测到模型发布指令时，将训练得到的行为分析网络模型部署在分析设备上，所述分析设备为服务器和/或终端设备。另一方面，提供了一种视频中的行为分析的方法，所述方法包括：获取待进行行为分析的目标视频段；通过行为分析网络模型对所述目标视频段中的行为进行分析，得到行为分析结果；其中，所述行为分析网络模型是用户从网络结构和/或训练参数不同的多个初始分析网络模型中选择出初始分析网络模型之后，通过训练数据集训练得到，所述训练数据集是通过所述用户对多个视频段的视频图像中的行为进行标注之后确定得到的。可选地，所述行为分析网络模型包括图像行为分析网络模型和视频行为分析网络模型；所述通过行为分析网络模型对所述目标视频段中的行为进行分析，得到行为分析结果，包括：通过所述图像行为分析网络模型对所述目标视频段中的行为进行分析，得到一个或多个候选帧号；根据所述目标视频段以及所述一个或多个候选帧号，确定一个或多个第二子视频段；通过所述视频行为分析网络模型对所述一个或多个第二子视频段中的行为进行分析，得到所述行为分析结果。可选地，所述根据所述目标视频段以及所述一个或多个候选帧号，确定一个或多个第二子视频段，包括：对于所述一个或多个候选帧号中的第一候选帧号，提取所述目标视频段中从所述第一候选帧号对应的视频图像开始连续的参考帧数或参考时长的视频片段，得到一个第二子视频段，所述第一候选帧号为所述一个或多个候选帧号中的一个。另一方面，提供了一种训练数据集确定装置，所述装置包括：第一显示模块，用于显示多个视频段中每个视频段包本文档来自技高网...

【技术保护点】
1.一种训练数据集确定方法，其特征在于，所述方法包括：/n显示多个视频段中每个视频段包括的视频图像；/n当检测到所述多个视频段的视频图像中一个或多个行为的标注操作时，确定所述多个视频段中每个视频段对应的标注信息；/n显示网络结构和/或训练参数不同的多个初始分析网络模型的性能信息，所述多个初始分析网络模型均用于视频中的行为分析；/n当基于显示的性能信息检测到模型选择操作时，根据所述多个视频段以及对应的标注信息，确定所述模型选择操作所选择的初始分析网络模型对应的训练数据集。/n

【技术特征摘要】
1.一种训练数据集确定方法，其特征在于，所述方法包括：
显示多个视频段中每个视频段包括的视频图像；
当检测到所述多个视频段的视频图像中一个或多个行为的标注操作时，确定所述多个视频段中每个视频段对应的标注信息；
显示网络结构和/或训练参数不同的多个初始分析网络模型的性能信息，所述多个初始分析网络模型均用于视频中的行为分析；
当基于显示的性能信息检测到模型选择操作时，根据所述多个视频段以及对应的标注信息，确定所述模型选择操作所选择的初始分析网络模型对应的训练数据集。


2.根据权利要求1所述的方法，其特征在于，所述多个初始分析网络模型包括网络结构和/或训练参数不同的多个初始图像分析网络模型，以及网络结构和/或训练参数不同的多个初始视频分析网络模型；
所述根据所述多个视频段以及对应的标注信息，确定所述模型选择操作所选择的初始分析网络模型对应的训练数据集，包括：
根据所述多个视频段以及对应的标注信息，确定图像数据集，将所述图像数据集作为所述模型选择操作所选择的初始图像分析网络模型对应的训练数据集；和/或
根据所述多个视频段以及对应的标注信息，确定视频数据集，将所述视频数据集作为所述模型选择操作所选择的初始视频分析网络模型的训练数据集。


3.根据权利要求2所述的方法，其特征在于，所述标注信息包括行为标签和行为位置之间的对应关系，所述行为位置包括行为发生的帧号和图像区域，所述多个视频段中的每个视频段具有一个或多个行为标签，每个行为标签对应多个帧号，每个帧号对应一个图像区域；
所述根据所述多个视频段以及对应的标注信息，确定图像数据集，包括：
对于所述多个视频段中的第一视频段，提取所述第一视频段中经过标注的部分或全部的视频图像，得到多个第一视频图像，所述第一视频段为所述多个视频段中的一个；
从所述对应关系中获取所述多个第一视频图像中每个第一视频图像的帧号所对应的行为标签以及行为位置，作为相应的第一视频图像对应的标注信息；
将所述多个视频段中提取出的视频图像以及对应的标注信息，确定为所述图像数据集。


4.根据权利要求2所述的方法，其特征在于，所述标注信息包括行为标签和行为位置之间的对应关系，所述行为位置包括行为发生的帧号和图像区域，所述多个视频段中的每个视频段具有一个或多个行为标签，每个行为标签对应多个帧号，每个帧号对应一个图像区域，所述多个帧号包括一个起始帧号和一个结束帧号；
所述根据所述多个视频段以及对应的标注信息，确定视频数据集，包括：
对于所述多个视频段中的第一视频段，提取所述第一视频段的各个行为标签所对应的起始帧号和结束帧号之间的视频片段，得到一个或多个第一子视频段，所述第一视频段为所述多个视频段中的一个；
从所述对应关系中获取各个第一子视频段的行为标签所对应的行为位置，将各个第一子视频段的行为标签和对应的行为位置作为相应的第一子视频段对应的标注信息；
将所述多个视频段中提取出的子视频段以及对应的标注信息，确定为所述视频数据集。


5.根据权利要求2所述的方法，其特征在于，所述根据所述多个视频段以及对应的标注信息，确定所述模型选择操作所选择的初始分析网络模型对应的训练数据集之后，所述方法还包括：
根据所述图像数据集，对所述模型选择操作所选择的初始图像分析网络模型进行训练，得到图像行为分析网络模型；和/或，
根据所述视频数据集，对所述模型选择操作所选择的初始视频分析网络模型进行训练，得到视频行为分析网络模型。


6.根据权利要求5所述的方法，其特征在于，对所述模型选择操作所选择的初始分析网络模型进行训练之前，所述方法还包括：
显示所述模型选择操作所选择的初始分析网络模型的网络结构和/或训练参数的调整指示信息；
当基于所述调整指示信息检测到调整操作时，按照所述调整操作对所述模型选择操作所选择的初始分析网络模型的网络结构和/或训练参数进行调整。

【专利技术属性】
技术研发人员：童俊艳，赵飞，任烨，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：浙江;33