【技术实现步骤摘要】
本公开涉及计算机，具体而言，涉及一种视频生成方法、装置、计算机设备及存储介质。
技术介绍
1、随着短视频领域的发展，越来越多的人在网上发布各种视频。用户发布的视频中，往往携带有背景音乐，而为了提升视频的效果，背景音乐往往需要与视频内容进行卡点匹配，例如舞蹈视频中，舞蹈动作需要与音乐进行卡点匹配。相关技术中，往往需要手动进行编辑和调整，以实现视频画面与音乐的卡点匹配，效率较低。
技术实现思路
1、本公开实施例至少提供一种视频生成方法、装置、计算机设备及存储介质。
2、第一方面，本公开实施例提供了一种视频生成方法，包括：
3、获取待处理视频；
4、基于检测模型对所述待处理视频的目标视频画面进行卡点检测，确定所述待处理视频对应的第一卡点检测结果；
5、确定与所述第一卡点检测结果匹配的目标音乐，并基于所述目标音乐的第二卡点检测结果和所述第一卡点检测结果，对所述待处理视频进行调整；
6、基于调整后的待处理视频和所述目标音乐生成目标卡点视频。
7、一种可能的实施方式中，所述待处理视频为包含目标对象运动的视频；所述检测模型包括图像特征提取子模型和动作信息提取子模型；
8、所述基于检测模型对所述待处理视频的目标视频画面进行卡点检测，确定所述待处理视频对应的第一卡点检测结果，包括：
9、基于所述图像特征提取子模型提取所述目标视频画面的目标图像特征；以及基于所述动作信息提取子模型提取所述目标视频画面中，用于
10、基于所述目标图像特征和所述运动特征，确定所述第一卡点检测结果。
11、一种可能的实施方式中，所述基于所述目标图像特征和所述运动特征，确定所述第一卡点检测结果，包括：
12、将所述目标图像特征和所述运动特征进行融合，得到融合特征；
13、基于注意力模块对所述融合特征进行处理，得到目标编码特征；
14、基于全连接层对所述目标编码特征进行处理，确定所述第一卡点检测结果。
15、一种可能的实施方式中，所述基于检测模型对所述待处理视频的目标视频画面进行卡点检测，确定所述待处理视频对应的第一卡点检测结果，包括：
16、对所述待处理视频的视频帧进行抽帧处理，得到多帧抽帧视频帧；
17、将所述抽帧视频帧输入至所述检测模型中，确定各抽帧视频帧对应的检测结果；其中，所述抽帧视频帧对应的检测结果包括抽帧视频帧为卡点位置对应的视频帧的概率，以及抽帧视频帧所在的视频位置的卡点强度；
18、基于预先设置的筛选条件，对各抽帧视频帧对应的检测结果进行过滤，确定所述待处理视频对应的第一卡点检测结果。
19、一种可能的实施方式中，所述确定与所述第一卡点检测结果匹配的目标音乐，包括：
20、确定各候选音乐的第二卡点检测结果；
21、将所述第一卡点检测结果和各候选音乐的第二卡点检测结果进行匹配，并基于匹配结果确定与所述第一卡点检测结果匹配的目标音乐。
22、一种可能的实施方式中，所述基于所述目标音乐的第二卡点检测结果和所述第一卡点检测结果，对所述待处理视频进行调整，包括：
23、确定所述第一卡点检测结果和所述第二卡点检测结果的差异信息；
24、基于所述差异信息，确定所述待处理视频的各视频片段的倍速信息；
25、按照所述倍速信息对所述待处理视频的视频片段进行调整；其中，调整后的待处理视频的卡点检测结果与所述目标音乐的第二卡点检测结果的差异，小于调整前的差异。
26、一种可能的实施方式中，所述待处理视频对应的第一卡点检测结果包括所述目标视频画面的第一卡点位置以及所述第一卡点位置的卡点强度；
27、所述第二卡点检测结果包括候选音乐的第二卡点位置，以及候选音乐的第二卡点位置的卡点强度；
28、所述确定所述第一卡点检测结果和所述第二卡点检测结果的差异信息，包括：
29、确定相邻的所述第一卡点位置之间的第一时间间隔，以及相邻的所述第二卡点位置之间的第二时间间隔；
30、确定所述第一时间间隔和所述第二时间间隔之间的所述差异信息。
31、一种可能的实施方式中，所述检测模型基于以下方法调整得到：
32、获取参考视频；其中，所述参考视频所包含的视频画面的卡点检测结果与音频的卡点检测结果之间的差异满足预设条件；
33、从所述参考视频中分离出视频画面以及音频，并对所述音频进行卡点检测，确定监督卡点信息；
34、基于待调整的检测模型对所述视频画面进行卡点检测，确定预测卡点信息；
35、基于所述监督卡点信息和所述预测卡点信息，对所述待调整的检测模型进行调整。
36、第二方面，本公开实施例还提供一种视频生成装置，包括：
37、获取模块，用于获取待处理视频；
38、确定模块，用于基于检测模型对所述待处理视频的目标视频画面进行卡点检测，确定所述待处理视频对应的第一卡点检测结果；
39、匹配模块，用于确定与所述第一卡点检测结果匹配的目标音乐，并基于所述目标音乐的第二卡点检测结果和所述第一卡点检测结果，对所述待处理视频进行调整；
40、生成模块，用于基于调整后的待处理视频和所述目标音乐生成目标卡点视频。
41、一种可能的实施方式中，所述待处理视频为包含目标对象运动的视频；所述检测模型包括图像特征提取子模型和动作信息提取子模型；
42、所述确定模块，在基于检测模型对所述待处理视频的目标视频画面进行卡点检测，确定所述待处理视频对应的第一卡点检测结果时，用于：
43、基于所述图像特征提取子模型提取所述目标视频画面的目标图像特征；以及基于所述动作信息提取子模型提取所述目标视频画面中，用于表征所述目标对象的运动信息的运动特征；
44、基于所述目标图像特征和所述运动特征，确定所述第一卡点检测结果。
45、一种可能的实施方式中，所述确定模块，在基于所述目标图像特征和所述运动特征，确定所述第一卡点检测结果时，用于：
46、将所述目标图像特征和所述运动特征进行融合，得到融合特征；
47、基于注意力模块对所述融合特征进行处理，得到目标编码特征；
48、基于全连接层对所述目标编码特征进行处理，确定所述第一卡点检测结果。
49、一种可能的实施方式中，所述确定模块，在基于检测模型对所述待处理视频的目标视频画面进行卡点检测，确定所述待处理视频对应的第一卡点检测结果时，用于：
50、对所述待处理视频的视频帧进行抽帧处理，得到多帧抽帧视频帧；
51、将所述抽帧视频帧输入至所述检测模型中，确定各抽帧视频帧对应的检测结果；其中，所述抽帧视频帧对应的检测结果包括抽帧视频帧为卡点位置对应的视频帧的概率，以及抽本文档来自技高网...
【技术保护点】
1.一种视频生成方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述待处理视频为包含目标对象运动的视频；所述检测模型包括图像特征提取子模型和动作信息提取子模型；
3.根据权利要求2所述的方法，其特征在于，所述基于所述目标图像特征和所述运动特征，确定所述第一卡点检测结果，包括：
4.根据权利要求1所述的方法，其特征在于，所述基于检测模型对所述待处理视频的目标视频画面进行卡点检测，确定所述待处理视频对应的第一卡点检测结果，包括：
5.根据权利要求1所述的方法，其特征在于，所述确定与所述第一卡点检测结果匹配的目标音乐，包括：
6.根据权利要求1所述的方法，其特征在于，所述基于所述目标音乐的第二卡点检测结果和所述第一卡点检测结果，对所述待处理视频进行调整，包括：
7.根据权利要求6所述的方法，其特征在于，所述待处理视频对应的第一卡点检测结果包括所述目标视频画面的第一卡点位置以及所述第一卡点位置的卡点强度；
8.根据权利要求1所述的方法，其特征在于，所述检测模型基于以下方法调整得到：p>
9.一种视频生成装置，其特征在于，包括：
10.一种计算机设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至8任一项所述的视频生成方法的步骤。
11.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至8任一项所述的视频生成方法的步骤。
...【技术特征摘要】
1.一种视频生成方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述待处理视频为包含目标对象运动的视频；所述检测模型包括图像特征提取子模型和动作信息提取子模型；
3.根据权利要求2所述的方法，其特征在于，所述基于所述目标图像特征和所述运动特征，确定所述第一卡点检测结果，包括：
4.根据权利要求1所述的方法，其特征在于，所述基于检测模型对所述待处理视频的目标视频画面进行卡点检测，确定所述待处理视频对应的第一卡点检测结果，包括：
5.根据权利要求1所述的方法，其特征在于，所述确定与所述第一卡点检测结果匹配的目标音乐，包括：
6.根据权利要求1所述的方法，其特征在于，所述基于所述目标音乐的第二卡点检测结果和所述第一卡点检测结果，对所述待处理视频进行调整，包括：<...
【专利技术属性】
技术研发人员：周志超，刘腾营，何栋梁，
申请(专利权)人：北京字跳网络技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。