本发明专利技术公开了视频剪辑方法及其装置，第一图像帧和虚拟对象构成第一视频数据；利用mediacodec技术对第一视频数据进行解码得到视频解码数据，将视频解码数据输入预先训练的神经网络模型进行处理，提取至少一个关键视频；利用OpenGL技术对具有虚拟对象的关键视频中每个具有虚拟对象的第二图像帧进行分段渲染，得到多个具有虚拟对象的第三图像帧；利用mediacodec技术将多个具有虚拟对象的第三图像帧进行重新编码生成目标视频。通过增强现实技术用户即可观看到基于真实环境叠加有虚拟对象的视频画面，以使虚拟对象更好地融合在真实环境中；基于多模态信息和相似度匹配相结合的方式，使其得到的关键视频更为精确。使其得到的关键视频更为精确。使其得到的关键视频更为精确。
【技术实现步骤摘要】
视频剪辑方法及其装置
[0001]本专利技术涉及视频处理
，更具体地，涉及一种视频剪辑方法及其装置。
技术介绍
[0002]视频剪辑技术是一种对视频进行裁剪得到该视频的其中一个或多个片段的技术，该技术应用于终端中安装的各应用程序中，如短视频应用程序、直播应用程序、游戏社区应用程序、社交应用程序等，示意性的，以社交应用程序为例进行说明，对总时长60秒的社交录制视频A进行剪辑，得到该社交录制视频A中第10秒至第19秒以及30秒至39秒之间的视频片段作为社交精彩瞬间，但在现有技术中，通常用户在图像帧上直接加载贴图，虽然图像帧与贴图位于同一个画面，但无法使虚拟对象更好地融合在真实环境中，使得人眼的视觉效果较差；此外，通过人工方式进行视频分割，费时费力，而采用非人工的一些视频分割，则无法正确理解图像帧的信息，导致对视频画面解读的准确性也明显降低，最终影响目标视频所呈现的视频画质效果，同时不便于个性化定制，即无法保证提取的关键视频中每一帧都过滤镜，进而无法保证每一帧画面均具有完整滤镜。
[0003]现有技术中，专利文献(CN106534971)公开了一种音视频剪辑方法及装置，该方案公开了在确定了待进行滤镜处理的GOP组后，只需对该音视频片段中的该GOP组进行相应的解码、滤镜处理以及编码，实现对音视频片段相应的部分进行二次编码以及滤镜处理的过程，但是该方案仅对该音视频片段中涉及的淡入的时长或者淡出的时长增加滤镜，即前音视频片段解码后的最后几帧做淡出滤镜，以及后音视频片段解码后的最后几帧做淡入滤镜，并非对音视频片段中每一帧进行渲染。
技术实现思路
[0004]有鉴于此，本专利技术提供了一种视频剪辑方法和装置。
[0005]第一方面，本申请提供一种视频剪辑方法，包括以下步骤：
[0006]采集源视频数据，所述源视频数据包括至少一个第一图像帧；
[0007]基于AR场景对第一图像帧进行渲染得到虚拟对象，所述第一图像帧和所述虚拟对象构成第一视频数据，其中，所述虚拟对象与所述第一图像帧中预设特征标记相匹配；
[0008]利用mediacodec技术对所述第一视频数据进行解码得到视频解码数据，将所述视频解码数据输入预先训练的神经网络模型进行处理，提取至少一个关键视频，其中，将所述视频解码数据输入预先训练的神经网络模型进行处理，提取至少一个关键视频包括：
[0009]将视频解码数据中至少一个具有所述虚拟对象的所述第一图像帧进行细节分割，得到多个具有虚拟对象的第二图像帧；
[0010]根据与所述多个具有虚拟对象的第二图像帧中相关的多模态信息，对所述多个具有虚拟对象的第二图像帧进行特征编码，得到用于表征所述多模态信息融合的特征融合信息，其中，多模态信息包括文本信息、音频信息、动作信息、色调信息和物体信息中的至少一种；
[0011]根据特征融合信息，对所述多个具有虚拟对象的第二图像帧进行相似度匹配，根据相似度匹配结果得到具有虚拟对象的关键视频；
[0012]利用OpenGL技术对所述具有虚拟对象的关键视频中每个具有虚拟对象的第二图像帧进行分段渲染，得到多个具有虚拟对象的第三图像帧；
[0013]利用mediacodec技术将所述多个具有虚拟对象的第三图像帧进行重新编码生成目标视频。
[0014]优选地，所述根据特征融合信息，对所述多个具有虚拟对象的第二图像帧进行相似度匹配，根据相似度匹配结果得到具有虚拟对象的关键视频之后包括：
[0015]读取所述关键视频中的每个第二图像帧，并将读取后的所述每个第二图像帧依次存储至缓存队列中；
[0016]在所述缓存队列中获取所述关键视频，将所述关键视频预先提交给所述mediacodec编码器。
[0017]优选地，所述利用OpenGL技术对所述具有虚拟对象的关键视频中每个具有虚拟对象的第二图像帧进行分段渲染，得到多个具有虚拟对象的第三图像帧：
[0018]创建OpenGL环境，将所述关键视频中每个具有虚拟对象的第二图像帧依次发送给绘图表面进行纹理操作；
[0019]利用绘图线程渲染当前具有虚拟对象的第二图像帧，当前具有虚拟对象的第二图像帧渲染完成后，再处理下一个具有虚拟对象的第二图像帧，直至每个关键视频中不存在具有虚拟对象的第二图像帧。
[0020]优选地，所述利用mediacodec技术将所述多个具有虚拟对象的第三图像帧进行重新编码生成目标视频包括：
[0021]根据所述关键视频中多个具有虚拟对象的第二图像帧的渲染顺序，将关键视频中多个具有虚拟对象的第二图像帧整理成为一个对象；
[0022]将所述对象过一遍整体效果后输出到mediacodec编码器中进行编码，并提取封面帧。
[0023]第二方面，本申请还提供一种视频剪辑装置，包括：
[0024]源视频数据采集模块，用于采集源视频数据，所述源视频数据包括至少一个第一图像帧；
[0025]第一视频数据构成模块，用于基于AR场景对第一图像帧进行渲染得到虚拟对象，所述第一图像帧和所述虚拟对象构成第一视频数据，其中，所述虚拟对象与所述第一图像帧中预设特征标记相匹配；
[0026]关键视频提取模块，用于利用mediacodec技术对所述第一视频数据进行解码得到视频解码数据，将所述视频解码数据输入预先训练的神经网络模型进行处理，提取至少一个关键视频；
[0027]所述关键视频提取模块包括：
[0028]细节分割单元，用于将视频解码数据中至少一个具有所述虚拟对象的所述第一图像帧进行细节分割，得到多个具有虚拟对象的第二图像帧；
[0029]特征编码单元，用于根据与所述多个具有虚拟对象的第二图像帧中相关的多模态信息，对所述多个具有虚拟对象的第二图像帧进行特征编码，得到用于表征所述多模态信
息融合的特征融合信息，其中，多模态信息包括文本信息、音频信息、动作信息、色调信息和物体信息中的至少一种；
[0030]相似度匹配单元，用于根据特征融合信息，对所述多个具有虚拟对象的第二图像帧进行相似度匹配，根据相似度匹配结果得到具有虚拟对象的关键视频；
[0031]分段渲染模块，用于利用OpenGL技术对所述具有虚拟对象的关键视频中每个具有虚拟对象的第二图像帧进行分段渲染，得到多个具有虚拟对象的第三图像帧；
[0032]目标视频生成模块，用于利用mediacodec技术将所述多个具有虚拟对象的第三图像帧进行重新编码生成目标视频。
[0033]优选的，视频剪辑装置还包括：
[0034]图像帧缓存模块，用于读取所述关键视频中的每个第二图像帧，并将读取后的所述每个第二图像帧依次存储至缓存队列中；
[0035]关键视频获取模块，用于在所述缓存队列中获取所述关键视频，将所述关键视频预先提交给所述mediacodec编码器。
[0036]优选的，分段渲染模块包括：
[0037]纹理操作模块，用于创建OpenGL环境，将所述关键视频中每个具有虚拟对象的第本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种视频剪辑方法，其特征在于，包括以下步骤：采集源视频数据，所述源视频数据包括至少一个第一图像帧；基于AR场景对第一图像帧进行渲染得到虚拟对象，所述第一图像帧和所述虚拟对象构成第一视频数据，其中，所述虚拟对象与所述第一图像帧中预设特征标记相匹配；利用mediacodec技术对所述第一视频数据进行解码得到视频解码数据，将所述视频解码数据输入预先训练的神经网络模型进行处理，提取至少一个关键视频，其中，将所述视频解码数据输入预先训练的神经网络模型进行处理，提取至少一个关键视频包括：将视频解码数据中至少一个具有所述虚拟对象的所述第一图像帧进行细节分割，得到多个具有虚拟对象的第二图像帧；根据与所述多个具有虚拟对象的第二图像帧中相关的多模态信息，对所述多个具有虚拟对象的第二图像帧进行特征编码，得到用于表征所述多模态信息融合的特征融合信息，其中，多模态信息包括文本信息、音频信息、动作信息、色调信息和物体信息中的至少一种；根据特征融合信息，对所述多个具有虚拟对象的第二图像帧进行相似度匹配，根据相似度匹配结果得到具有虚拟对象的关键视频；利用OpenGL技术对所述具有虚拟对象的关键视频中每个具有虚拟对象的第二图像帧进行分段渲染，得到多个具有虚拟对象的第三图像帧；利用mediacodec技术将所述多个具有虚拟对象的第三图像帧进行重新编码生成目标视频。2.根据权利要求1所述的视频剪辑方法，其特征在于，所述根据特征融合信息，对所述多个具有虚拟对象的第二图像帧进行相似度匹配，根据相似度匹配结果得到具有虚拟对象的关键视频之后包括：读取所述关键视频中的每个第二图像帧，并将读取后的所述每个第二图像帧依次存储至缓存队列中；在所述缓存队列中获取所述关键视频，将所述关键视频预先提交给所述mediacodec编码器。3.根据权利要求2所述的视频剪辑方法，其特征在于，所述利用OpenGL技术对所述具有虚拟对象的关键视频中每个具有虚拟对象的第二图像帧进行分段渲染，得到多个具有虚拟对象的第三图像帧：创建OpenGL环境，将所述关键视频中每个具有虚拟对象的第二图像帧依次发送给绘图表面进行纹理操作；利用绘图线程渲染当前具有虚拟对象的第二图像帧，当前具有虚拟对象的第二图像帧渲染完成后，再处理下一个具有虚拟对象的第二图像帧，直至每个关键视频中不存在具有虚拟对象的第二图像帧。4.根据权利要求3所述的视频剪辑方法，其特征在于，所述利用mediacodec技术将所述多个具有虚拟对象的第三图像帧进行重新编码生成目标视频包括：根据所述关键视频中多个具有虚拟对象的第二图像帧的渲染顺序，将关键视频中多个具有虚拟对象的第二图像帧整理成为一个对象；将所述对象过一遍整体效果后输出到mediacodec编码器中进...
【专利技术属性】
技术研发人员：邵泉，杜建平，
申请(专利权)人：北京快来文化传播集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。