【技术实现步骤摘要】
本公开涉及人工智能，尤其涉及一种视频处理方法及相关设备。
技术介绍
1、随着中短视频的普及，在视频中添加文本信息的需求也日益增长。通常情况下，此类信息是以文字水印的方式添加到视频画面中的。但是这种方式过于生硬且添加的信息往往会遮挡画面内容，容易引起用户的反感。因此，如何在视频中添加额外的附加信息而不影响用户对视频的观感是目前视频处理中亟需解决的问题之一。
技术实现思路
1、有鉴于此，本公开的实施例提供一种视频处理方法，可以将附加信息以图形编码的方式融合到视频的至少一个视频帧中，并且融合到视频帧中的图形编码能够与视频画面相融合，不会影响用户对视频的整体观感。此外，用户还可以使用用户终端的摄像头扫描在视频中融合的图形编码，从而获取到由上述图形编码承载的附加信息。
2、本公开实施例所述的视频处理方法可以包括：基于待融合到第一视频中的附加信息生成图形编码；获取所述第一视频的多个第一视频帧；基于所述图形编码从所述多个第一视频帧中确定至少一个第一目标视频帧；针对每一个第一目标视频帧，以所述图形编码为控制条件，以所述第一目标视频帧为输入条件，基于图像生成模型，将所述图形编码与所述第一目标视频帧进行融合，得到与所述第一目标视频帧对应的已融合所述图形编码的第二目标视频帧；使用所述第二目标视频帧替换所述多个第一视频帧中对应的第一目标视频帧，得到多个第二视频帧；以及基于所述多个第二视频帧生成第二视频。
3、在本公开的实施例中，基于待融合到第一视频中的附加信息生成图形编码包括：基于
4、在本公开的实施例中，获取所述第一视频的多个第一视频帧包括：对所述第一视频进行抽帧处理，得到所述多个第一视频帧。
5、在本公开的实施例中，基于所述图形编码从所述多个第一视频帧中确定至少一个第一目标视频帧包括：分别确定每个第一视频帧与所述图形编码的匹配度；以及基于预先设定的选帧比例以及每个第一视频帧与所述图形编码的匹配度从所述多个第一视频帧中选择所述至少一个第一目标视频帧。
6、在本公开的实施例中，基于所述图形编码从所述多个第一视频帧中确定至少一个第一目标视频帧包括：将所述多个第一视频帧按照时间顺序划分为多个视频帧分组；基于预先设定的选帧比例确定每个视频帧分组中第一目标视频帧的第一数量；分别确定每个第一视频帧与所述图形编码的匹配度；以及分别从每个视频帧分组中选择所述匹配度最高的所述第一数量个第一视频作为所述第一目标视频帧。
7、在本公开的实施例中，分别确定每个第一视频帧与所述图形编码的匹配度包括：针对每个第一视频帧，分别将所述图形编码融合至所述第一视频帧中，得到第三视频帧；以及分别确定所述第三视频帧与其对应第一视频帧之间的相似度，将其作为所述每个第一视频帧与所述图形编码的匹配度。
8、在本公开的实施例中，将所述图形编码融合至所述第一视频帧中包括：基于预先设定的至少一个图形编码尺寸之一、至少一个旋转角度以及至少一个位置确定至少一种图像融合方式；针对每一种图像融合方式，基于所述图像融合方式下的图形编码尺寸、旋转角度以及位置确定所述图形编码在第一视频帧上所处的图像区域，基于所述图像融合方式下的图形编码尺寸以及旋转角度调整所述图形编码的大小和旋转角度，并将调整后的图形编码添加至所述第一视频帧的所述图像区域内，得到融合了图形编码的视频帧；以及对于对应同一个第一视频帧的多个融合了图形编码的视频帧，从中选择与所述第一视频帧相似度最高的视频帧作为所述第三视频帧。
9、在本公开的实施例中，所述图像生成模型由经过训练的扩散模型实现。
10、在本公开的实施例中，所述扩散模型包括：包含控制网络插件的稳定扩散模型、基于转换器架构的扩散模型以及t2i适配器之一。
11、对应于上述视频处理方法，本公开的实施例还提供了一种视频处理装置。上述视频处理装置包括：
12、图形编码模块，用于基于待融合到第一视频中的附加信息生成图形编码；
13、抽帧模块，用于获取所述第一视频的多个第一视频帧；
14、选帧模块，用于基于所述图形编码从所述多个第一视频帧中确定至少一个第一目标视频帧；
15、图像融合模块，用于针对每一个第一目标视频帧，以所述图形编码为控制条件，以所述第一目标视频帧为输入条件，基于图像生成模型，将所述图形编码与所述第一目标视频帧进行融合，得到与所述第一目标视频帧对应的已融合所述图形编码的第二目标视频帧；
16、视频帧替换模块，使用所述第二目标视频帧替换所述多个第一视频帧中对应的第一目标视频帧，得到多个第二视频帧；以及
17、视频合成模块，用于基于所述多个第二视频帧生成第二视频。
18、此外，本公开的实施例还提供了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述视频处理方法。
19、本公开的实施例还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行上述视频处理方法。
20、本公开的实施例还提供了一种计算机程序产品，包括计算机程序指令，当所述计算机程序指令在计算机上运行时，使得计算机执行上述视频处理方法。
21、由此可以看出，本公开的实施例提供了一种将附加信息融合到视频画面的方案，可以将附加信息以图形编码的方式融合到视频的至少一个视频帧中。本公开实施例提供的方案可以在保留视频画面内容基本不变的情况下，将视频变成可以扫码的视频。进一步，本公开实施例提供的方案通过图像生成和控制的融合算法，降低图形编码在视频画面中的违和感，使得融合到视频帧中的图形编码能够与视频画面相融合，从而不会影响用户对视频的整体观感。
本文档来自技高网...【技术保护点】
1.一种视频处理方法，包括：
2.根据权利要求1所述的方法，其中，基于待融合到第一视频中的附加信息生成图形编码包括：
3.根据权利要求1所述的方法，其中，获取所述第一视频的多个第一视频帧包括：对所述第一视频进行抽帧处理，得到所述多个第一视频帧。
4.根据权利要求1所述的方法，其中，基于所述图形编码从所述多个第一视频帧中确定至少一个第一目标视频帧包括：
5.根据权利要求1所述的方法，其中，基于所述图形编码从所述多个第一视频帧中确定至少一个第一目标视频帧包括：
6.根据权利要求4或5所述的方法，其中，分别确定每个第一视频帧与所述图形编码的匹配度包括：
7.根据权利要求6所述的方法，其中，将所述图形编码融合至所述第一视频帧中包括：
8.根据权利要求1所述的方法，其中，所述图像生成模型由经过训练的扩散模型实现。
9.根据权利要求8所述的方法，其中，所述扩散模型包括：包含控制网络插件的稳定扩散模型、基于转换器架构的扩散模型以及T2I适配器之一。
10.一种视频处理装置，包括：
...【技术特征摘要】
1.一种视频处理方法，包括：
2.根据权利要求1所述的方法，其中，基于待融合到第一视频中的附加信息生成图形编码包括：
3.根据权利要求1所述的方法，其中，获取所述第一视频的多个第一视频帧包括：对所述第一视频进行抽帧处理，得到所述多个第一视频帧。
4.根据权利要求1所述的方法，其中，基于所述图形编码从所述多个第一视频帧中确定至少一个第一目标视频帧包括：
5.根据权利要求1所述的方法，其中，基于所述图形编码从所述多个第一视频帧中确定至少一个第一目标视频帧包括：
6.根据权利要求4或5所述的方法，其中，分别确定每个第一视频帧与所述图形编码的匹配度包括：
7.根据权利要求6所述的方法，其中，将所述图形编码融合至所述第一视频帧中包括：
8.根据权利要求1所述的方...
【专利技术属性】
技术研发人员：林文峰，郭明宇，冉蛟，
申请(专利权)人：北京字跳网络技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。