【技术实现步骤摘要】
本申请涉及计算机，具体而言，本申请涉及一种训练数据集的生成方法、装置、电子设备及存储介质。
技术介绍
1、目前，单目标的社交行为的研究所依赖的数据主要来自于三箱社交实验，例如，以动作作为目标，使用三箱社交实验测试动作的社交偏好。然而，三箱社交实验对于社交行为的量化过于简单，使得在研究社交行为时的数据量少，造成了行为量化粗糙的问题，不仅无法给予后期临床实验有效的参考，还会浪费大量的药物研发资源。
2、为了补充三箱社交实验的缺陷，提出针对多目标的社交行为的研究，但是传统的图像处理和机器学习还无法精准地做到对于多目标社交行为的追踪以及姿态估计，导致提升数据量很有限。
3、由上可知，在社交行为研究中尚存在用于多目标姿态估计的数据匮乏的问题。
技术实现思路
1、本申请各提供了一种训练数据集的生成方法、装置、电子设备及存储介质，可以解决相关技术中存在的用于多目标姿态估计的数据匮乏的问题。所述技术方案如下：
2、根据本申请的一个方面，一种训练数据集的生成方法，所述训练数据集用于多目标姿态估计，所述方法包括：获取原始视频；所述原始视频中的各视频帧是布设于不同视角的多个相机针对设定场景中进行社交行为的多个目标拍摄和采集得到的；基于所述原始视频，确定各所述目标在所述设定场景中的运动轨迹和运动背景，并基于所述原始视频中第一数量的视频帧，确定各所述目标在第一数量的各视频帧中的轮廓；根据各所述目标在第一数量的各视频帧中的轮廓，对所述原始视频中第二数量的各视频帧进行自训练，
3、根据本申请的一个方面，一种训练数据集的生成装置，所述训练数据集用于多目标姿态估计，所述装置包括：视频获取模块，用于获取原始视频；所述原始视频中的各视频帧是布设于不同视角的多个相机针对设定场景中进行社交行为的多个目标拍摄和采集得到的；轮廓确定模块，用于基于所述原始视频，确定各所述目标在所述设定场景中的运动轨迹和运动背景，并基于所述原始视频中第一数量的视频帧，确定各所述目标在第一数量的各视频帧中的轮廓；自训练模块，用于根据各所述目标在第一数量的各视频帧中的轮廓，对所述原始视频中第二数量的各视频帧进行自训练，得到各所述目标在所有视频帧中的轮廓；数据融合模块，用于根据各所述目标在所述设定场景中的运动轨迹，将各所述目标在相应视频帧中的轮廓和运动背景进行融合，形成所述训练数据集；所述训练数据集中的各训练数据是对存在不同遮挡关系的各所述目标均进行了实例标注的视频帧。
4、根据本申请的一个方面，一种电子设备，包括至少一个处理器以及至少一个存储器，其中，所述存储器上存储有计算机可读指令；所述计算机可读指令被一个或多个所述处理器执行，使得电子设备实现如上所述的训练数据集的生成方法。
5、根据本申请的一个方面，一种存储介质，其上存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行，以实现如上所述的训练数据集的生成方法。
6、根据本申请的一个方面，一种计算机程序产品，计算机程序产品包括计算机可读指令，计算机可读指令存储在存储介质中，电子设备的一个或多个处理器从存储介质读取计算机可读指令，加载并执行该计算机可读指令，使得电子设备实现如上所述的训练数据集的生成方法。
7、本申请提供的技术方案带来的有益效果是：
8、在上述技术方案中，基于布设于不同视角的多个相机，针对设定场景中进行社交行为的多个目标进行拍摄和采集，得到原始视频中的各视频帧，一方面，基于原始视频的各视频帧，确定各目标在设定场景中的运动轨迹和运动背景，另一方面，基于原始视频中第一数量的视频帧，确定各目标在第一数量的各视频帧中的轮廓，然后，基于各目标在第一数量的各视频帧中的轮廓，对原始视频中第二数量的各视频帧进行自训练，以得到各目标在所有视频帧中的轮廓，并最终在目标在设定场景中的运动轨迹的引导下，通过融合各目标在相应视频帧中的轮廓和运动背景，形成用于多目标姿态估计的训练数据集，该训练数据集中的各训练数据能够反映出各目标之间存在的不同遮挡关系，也就是说，用于多目标姿态估计的训练数据，不再主要依赖于人工标注，而能够通过自训练的方式创建，以此丰富训练数据集，从而能够有效地解决相关技术中存在的用于多目标姿态估计的数据匮乏的问题。
本文档来自技高网...【技术保护点】
1.一种训练数据集的生成方法，所述训练数据集用于多目标姿态估计，其特征在于，所述方法包括：
2.如权利要求1所述的方法，其特征在于，所述根据各所述目标在第一数量的各视频帧中的轮廓，对所述原始视频中第二数量的各视频帧进行自训练，得到各所述目标在所有视频帧中的轮廓，包括：
3.如权利要求2所述的方法，其特征在于，所述基于各所述目标在第二数量的各视频帧中的轮廓，对所述深度自训练模型进行第二次训练，直至得到完成训练的深度自训练模型，包括：
4.如权利要求1所述的方法，其特征在于，所述基于所述原始视频中第一数量的视频帧，确定各所述目标在第一数量的各视频帧中的轮廓，包括：
5.如权利要求1至4任一项所述的方法，其特征在于，所述形成所述训练数据集之后，所述方法还包括：
6.如权利要求5所述的方法，其特征在于，所述根据所述训练数据集中的各所述训练数据，对初始的时空实例分割模型进行训练，直至得到完成训练的时空实例分割模型，包括：
7.如权利要求5所述的方法，其特征在于，所述根据各所述目标在第三数量的各视频帧中的姿态，对初始的单
8.如权利要求5所述的方法，其特征在于，所述利用完成训练的时空实例分割模型和完成训练的单视角目标姿态估计模型，对待处理视频中的多个目标进行多目标姿态估计，包括：
9.一种训练数据集的生成装置，所述训练数据集用于多目标姿态估计，其特征在于，所述装置包括：
10.一种存储介质，其上存储有计算机可读指令，其特征在于，所述计算机可读指令被一个或多个处理器执行，以实现如权利要求1至8中任一项所述的训练数据集的生成方法。
...【技术特征摘要】
1.一种训练数据集的生成方法，所述训练数据集用于多目标姿态估计，其特征在于，所述方法包括：
2.如权利要求1所述的方法，其特征在于，所述根据各所述目标在第一数量的各视频帧中的轮廓，对所述原始视频中第二数量的各视频帧进行自训练，得到各所述目标在所有视频帧中的轮廓，包括：
3.如权利要求2所述的方法，其特征在于，所述基于各所述目标在第二数量的各视频帧中的轮廓，对所述深度自训练模型进行第二次训练，直至得到完成训练的深度自训练模型，包括：
4.如权利要求1所述的方法，其特征在于，所述基于所述原始视频中第一数量的视频帧，确定各所述目标在第一数量的各视频帧中的轮廓，包括：
5.如权利要求1至4任一项所述的方法，其特征在于，所述形成所述训练数据集之后，所述方法还包括：
6.如权利要求5所述的方...
【专利技术属性】
技术研发人员：韩亚宁，陈可，蔚鹏飞，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。