【技术实现步骤摘要】
本申请属于数据处理，尤其涉及一种数据增强方法、装置、计算机可读存储介质及终端设备。
技术介绍
1、作为重要的计算机视觉任务，动作检测拥有广泛的应用场景，例如，在安防监控的应用场景下，可以通过动作检测，确定出入侵、盗窃和跌倒等事件；又例如，在人机交互的应用场景下，可以通过动作检测，理解人类的动作含义；又例如，在影视制作的应用场景下，可以通过动作检测，实现特效生成和动作捕捉。
2、由于动作数据的获取难度较大，因此往往会需要通过图像增强的方式构造出足量的动作数据。然而，现有的图像增强方法往往只是针对静态主体进行图像增强，得到的图像数据难以应用于动作检测的训练中。
技术实现思路
1、有鉴于此，本申请实施例提供了一种数据增强方法、装置、计算机可读存储介质及终端设备，以解决现有技术中缺乏适用于动作检测的数据增强方法的问题。
2、本申请实施例的第一方面提供了一种数据增强方法，可以包括：
3、获取第一视频帧；其中，所述第一视频帧为第一视频中任意一个视频帧；
4、对所述第一视频帧进行主体分割，得到各个第一动作主体；
5、基于初始视频帧，计算各个所述第一动作主体的位置信息；其中，所述初始视频帧为所述第一视频中的第一个视频帧，所述第一动作主体的位置信息为所述第一动作主体相对于匹配动作主体的位移，所述匹配动作主体为所述初始视频帧中与所述第一动作主体匹配的动作主体；
6、基于各个所述第一动作主体的位置信息，将各个所述第一动作主体与预设的
7、在第一方面的一种具体实现方式中，所述基于初始视频帧，计算各个所述第一动作主体的位置信息，包括：
8、将所述第一动作主体与所述初始视频帧中的各个动作主体进行匹配，得到所述匹配动作主体；
9、基于各个所述第一动作主体的位置，以及对应的所述匹配动作主体的位置，计算各个所述第一动作主体的位置信息。
10、在第一方面的一种具体实现方式中，在所述基于初始视频帧，计算各个所述第一动作主体的位置信息之后，还包括：
11、基于所述待融合场景，确定所述初始视频帧中的各个动作主体在所述待融合场景中的深度信息；
12、基于初始视频帧中的各个动作主体的深度信息，确定对应的所述第一动作主体在所述待融合场景中的深度信息；
13、所述基于各个所述第一动作主体的位置信息，将各个所述第一动作主体与预设的待融合场景进行融合，得到第二视频帧，包括：
14、基于各个所述第一动作主体的位置信息，以及在所述待融合场景中的深度信息，将各个所述第一动作主体与所述待融合场景进行融合，得到所述第二视频帧。
15、在第一方面的一种具体实现方式中，所述基于所述待融合场景，确定所述初始视频帧中的各个动作主体在所述待融合场景中的深度信息，包括：
16、计算所述待融合场景中的目标灭点；其中，所述目标灭点在所述待融合场景的融合范围内；
17、基于所述目标灭点，确定所述初始视频帧中的各个动作主体在所述待融合场景中的深度信息。
18、在第一方面的一种具体实现方式中，所述计算所述待融合场景中的目标灭点，包括：
19、对所述融合范围进行直线检测，得到各条直线；
20、基于各条所述直线，确定所述目标灭点。
21、在第一方面的一种具体实现方式中，所述基于各个所述第一动作主体的位置信息，将各个所述第一动作主体与预设的待融合场景进行融合，得到第二视频帧，包括：
22、基于各个所述第一动作主体的位置信息，确定各个所述第一动作主体在所述待融合场景中对应的融合位置；
23、基于对应的所述融合位置，将各个所述第一动作主体进行仿射变换，得到所述第二视频帧。
24、在第一方面的一种具体实现方式中，在所述基于各个所述第一动作主体的位置信息，将各个所述第一动作主体与预设的待融合场景进行融合，得到第二视频帧之后，还包括：
25、对所述第二视频帧进行平移、缩放和/或遮挡的增强操作，得到增强操作后的所述第二视频帧。
26、本申请实施例的第二方面提供了一种数据增强装置，可以包括：
27、第一视频帧获取模块，用于获取第一视频帧；其中，所述第一视频帧为第一视频中任意一个视频帧；
28、主体分割模块，用于对所述第一视频帧进行主体分割，得到各个第一动作主体；
29、位置信息计算模块，用于基于初始视频帧，计算各个所述第一动作主体的位置信息；其中，所述初始视频帧为所述第一视频中的第一个视频帧，所述第一动作主体的位置信息为所述第一动作主体相对于匹配动作主体的位移，所述匹配动作主体为所述初始视频帧中与所述第一动作主体匹配的动作主体；
30、场景融合模块，用于基于各个所述第一动作主体的位置信息，将各个所述第一动作主体与预设的待融合场景进行融合，得到第二视频帧。
31、在第二方面的一种具体实现方式中，所述位置信息计算模块包括：
32、主体匹配子模块，用于将所述第一动作主体与所述初始视频帧中的各个动作主体进行匹配，得到所述匹配动作主体；
33、述位置信息计算子模块，用于基于各个所述第一动作主体的位置，以及对应的所述匹配动作主体的位置，计算各个所述第一动作主体的位置信息。
34、在第二方面的一种具体实现方式中，所述数据增强装置还包括：
35、深度信息第一确定模块，用于基于所述待融合场景，确定所述初始视频帧中的各个动作主体在所述待融合场景中的深度信息；
36、深度信息第二确定模块，用于基于初始视频帧中的各个动作主体的深度信息，确定对应的所述第一动作主体在所述待融合场景中的深度信息；
37、进一步地，所述场景融合模块还用于基于各个所述第一动作主体的位置信息，以及在所述待融合场景中的深度信息，将各个所述第一动作主体与所述待融合场景进行融合，得到所述第二视频帧。
38、在第二方面的一种具体实现方式中，所述深度信息第一确定模块包括：
39、目标灭点计算子模块，用于计算所述待融合场景中的目标灭点；其中，所述目标灭点在所述待融合场景的融合范围内；
40、深度信息确定子模块，用于基于所述目标灭点，确定所述初始视频帧中的各个动作主体在所述待融合场景中的深度信息。
41、在第二方面的一种具体实现方式中，所述目标灭点计算子模块包括：
42、直线检测单元，用于对所述融合范围进行直线检测，得到各条直线；
43、目标灭点确定单元，用于基于各条所述直线，确定所述目标灭点。
44、在第二方面的一种具体实现方式中，所述场景融合模块包括：
45、融合位置确定子模块，用于基于各个所述第一动作主体的位置信息，确定各个所述第一动作主体在所述待融合场景中对应的融合位置；
46、仿射变换子模块本文档来自技高网...
【技术保护点】
1.一种数据增强方法，其特征在于，包括：
2.根据权利要求1所述的数据增强方法，其特征在于，所述基于初始视频帧，计算各个所述第一动作主体的位置信息，包括：
3.根据权利要求1所述的数据增强方法，其特征在于，在所述基于初始视频帧，计算各个所述第一动作主体的位置信息之后，还包括：
4.根据权利要求3所述的数据增强方法，其特征在于，所述基于所述待融合场景，确定所述初始视频帧中的各个动作主体在所述待融合场景中的深度信息，包括：
5.根据权利要求4所述的数据增强方法，其特征在于，所述计算所述待融合场景中的目标灭点，包括：
6.根据权利要求1所述的数据增强方法，其特征在于，所述基于各个所述第一动作主体的位置信息，将各个所述第一动作主体与预设的待融合场景进行融合，得到第二视频帧，包括：
7.根据权利要求1至6中任一项所述的数据增强方法，其特征在于，在所述基于各个所述第一动作主体的位置信息，将各个所述第一动作主体与预设的待融合场景进行融合，得到第二视频帧之后，还包括：
8.一种数据增强装置，其特征在于，包括：p>
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的数据增强方法的步骤。
10.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的数据增强方法的步骤。
...【技术特征摘要】
1.一种数据增强方法，其特征在于，包括：
2.根据权利要求1所述的数据增强方法，其特征在于，所述基于初始视频帧，计算各个所述第一动作主体的位置信息，包括：
3.根据权利要求1所述的数据增强方法，其特征在于，在所述基于初始视频帧，计算各个所述第一动作主体的位置信息之后，还包括：
4.根据权利要求3所述的数据增强方法，其特征在于，所述基于所述待融合场景，确定所述初始视频帧中的各个动作主体在所述待融合场景中的深度信息，包括：
5.根据权利要求4所述的数据增强方法，其特征在于，所述计算所述待融合场景中的目标灭点，包括：
6.根据权利要求1所述的数据增强方法，其特征在于，所述基于各个所述第一动作主体的位置信息，将各个所述第一动作...
【专利技术属性】
技术研发人员：叶南飞，
申请(专利权)人：深圳云天励飞技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。