一种基于视频的内容添加方法技术

本申请公开了一种基于视频的内容添加方法，具体包括以下几个步骤：首先获取用户上传的视频遮罩层图片以及音频资源，之后将图片进行背景透明化处理，音频源转换成AAC类型的音频缓存文件，根据视频信息创建图像过滤器和音频过滤器，并同时解码缓存音频，最后根据视频解码后的图像帧及音频帧分别传入图像过滤器或音频过滤器，并分别将缓存的遮罩层图像帧或音频帧分别混入过滤器中，输出处理后的视频帧。本方案，将视频帧分别通过图像过滤器和声音过滤器转换成目标视频帧，进而预处理过程将图片和声音等内容转化为视频过滤器直接能用的视频帧，有助于提升视频过滤器处理过程的效率，且支持高分辨率视频内容直接混流，无需单独转码。独转码。独转码。

【技术实现步骤摘要】
一种基于视频的内容添加方法


[0001]本申请涉及计算机应用
，具体而言，涉及一种基于视频的内容添加方法。

技术介绍

[0002]现有的视频直播平台视频内容添加方法，通常为用户提供管理平台，支持用户上传水印图片、声音文件，在线配置水印图在视频中的位置及声音混流。
[0003]水印图片编码格式支持包括但不限于png、jpg；
[0004]声音编码格式支持包括但不限于MP3、AAC；
[0005]媒体源协议支持包括但不限于http、rtmp；
[0006]视频支持的格式包括但不限于3gp、mp4、webm、ogg、mkv、flv、avi；
[0007]支持的编码格式包括但不限于H.264、VP8、VP9、MP3、AAC。
[0008]通过此方法，可以将各种直播视频流、视频文件流进行画面和声音的混合编排，应用于视频直播中的品牌logo水印、横幅添加，无声视频流的背景音乐、演说词音频添加、声音增益调节等相关场景中。市面上的视频混流服务，通常对接入的视频要求在2K分辨率以内，需要提前将视频或直播流进行转码，高分辨率视频转低分辨率之后会影响到原视频画面清晰度，不能满足4k、8k等高分辨率视频直接使用。

技术实现思路

[0009]本申请的主要目的在于提供一种基于视频的内容添加方法，以改善相关技术中的问题。
[0010]为了实现上述目的，本申请提供了一种基于视频的内容添加方法，具体包括以下几个步骤：
[0011]S1：获取用户上传的视频遮罩层图片以及音频资源；
[0012]S101：遮罩处理：读取用户上传的遮罩设计图，图片文件存放在文件服务中，通常用HTTP协议方式读取文件流，取出之后会将背景色设置为透明，背景色为：纯黑(RGB＝
‑
16777216)、纯白(RGB＝16777215)，此设定将会限制不能使用纯黑和纯白色为前景色，此限制可将图片编码格式要求降低，背景色转换为透明化后，需要读取视频源宽高尺寸，此过程在读取视频信息后会再进行，将处理后的遮罩图进行缩放至视频一致的尺寸，再生成一帧图像帧，存放于内存缓存中，生成的图像帧用于后续流程中图像过滤器使用；
[0013]S2：将图片进行背景透明化处理，音频源转换成AAC类型的音频缓存文件；
[0014]S3：解码视频，根据视频信息创建图像过滤器和音频过滤器，并同时解码缓存音频；
[0015]S4：根据视频解码后的图像帧及音频帧分别传入图像过滤器或音频过滤器，并分别将缓存的遮罩层图像帧或音频帧分别混入过滤器中，输出处理后的视频帧。
[0016]在本申请的一种实施例中，所述步骤S1中需要服务提供方部署一个文件上传服务用于存储用户上传的文件资源，以及内容添加服务读取资源文件时使用。
[0017]在本申请的一种实施例中，所述步骤S2用于服务端将内容提供方提供的设计图文件进行背景色透明化处理，音频文件转换成AAC格式的音频缓存文件，目的是提前准备数据，将提高内容混合过程的效率，由于图像占用内存较小，直接缓存于内存中，音频则需要整个缓存到本地文件存储，使用时直接读取缓存文件。
[0018]在本申请的一种实施例中，所述步骤S2中音频的处理步骤为：将读取用户上传的音频文件，文件存放在文件服务中，通常用HTTP协议方式读取文件流，为了统一不同编码格式情况下读取音频帧的方式，将统一转换成AAC编码格式的音频，为防止在读取过程网络波动导致性能低下，以及重复混流时网络带宽多次消耗，在主流程开始前会提前转码并生成转码后的音频缓存文件。
[0019]在本申请的一种实施例中，所述步骤S3中创建图像过滤器和音频过滤器之前需要获取原视频信息，信息包括：视频图像的宽高、音频的采样率和声道数，视频图像的宽高用于遮罩图片的缩放，音频的采样率和声道数用于声音过滤器统一声音出口重采样计算。
[0020]在本申请的一种实施例中，所述步骤S3中首先创建声音过滤器(amix)，此过滤器用于处理缓存音频文件的音频帧与原视频的音频帧混音；创建图像过滤器，此过滤器用于处理图像数据混合，将遮罩图图片覆盖到原视频每一帧画面中，缩放遮罩层，将遮罩层缩放为视频画面的宽高，并转换为图像数据帧，此过程将提高过滤器的处理能力，避免过滤器每次重复缩放遮罩层图像。
[0021]在本申请的一种实施例中，所述步骤S3中，视频源流的解码时会每次取出一帧数据帧，数据帧为图像帧或音频帧，图像帧传入图像过滤器，音频帧传入音频过滤器，取缓存音频的音频帧仅在取出的视频帧为音频帧的情况下进行，若取帧失败则重启取帧器，并重新取一帧音频帧，之后将原视频的音频帧和缓存音频的音频帧按指定顺序放入音频过滤器中。
[0022]在本申请的一种实施例中，所述步骤S3中，将原视频的图像帧和遮罩层缓存图像帧按指定顺序放入，此过程的放入顺序同音频过滤器，不同配置放入顺序也将不同，之后从过滤器中取出数据帧，取出的数据帧则为目标数据帧，若数据帧取出为空，则表示此帧数据不可用或不应完成后续流程，将取出的数据帧根据原视频信息进行视频混流重新编码，此流程结束后将继续重复执行视频源流的解码时会每次取出一帧数据帧之后的步骤，直到视频帧不能取数据帧，结束整个流程。
[0023]在本申请的一种实施例中，所述步骤S4中由于视频声音和图像的数据帧是混合在一起的，每次取帧只能取一帧，根据数据帧的数据类型，若为图像数据帧，则传入图像过滤器中，若为音频数据帧，则传入音频过滤器中，传入之后再分别传入缓存中的遮罩图像或取缓存音频的音频帧，之后再从过滤器中取出数据帧。
[0024]与现有技术相比，本申请的有益效果是：通过上述设计的基于视频的内容添加方法，使用时，首先获取用户上传的视频遮罩层图片以及音频资源，之后将图片进行背景透明化处理，音频源转换成AAC类型的音频缓存文件，解码视频，根据视频信息创建图像过滤器和音频过滤器，并同时解码缓存音频，最后根据视频解码后的图像帧及音频帧分别传入图像过滤器或音频过滤器，并分别将缓存的遮罩层图像帧或音频帧分别混入过滤器中，输出处理后的视频帧，有效的该方法基于FFmpeg视频处理工具，结合图片缩放技术，将视频帧分别通过图像过滤器和声音过滤器转换成目标视频帧，进而预处理过程将图片和声音等内容
转化为视频过滤器直接能用的视频帧，有助于提升视频过滤器处理过程的效率，且支持高分辨率视频内容直接混流，无需单独转码。
附图说明
[0025]图1为根据本申请实施例提供的基于视频的内容添加方法的工作流程示意图；
[0026]图2为根据本申请实施例提供的基于视频的内容添加方法的遮罩图设计示意图；
[0027]图3为根据本申请实施例提供的基于视频的内容添加方法的遮罩图处理流程示意图；
[0028]图4为根据本申请实施例提供的基于视频的内容添加方法的音频处理流程示意图；
[0029]图5为根据本申请实施例提供的基于视频的内容添加方法的视频处理流程示意图。
具体实施方式
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视频的内容添加方法，其特征在于，具体包括以下几个步骤：S1：获取用户上传的视频遮罩层图片以及音频资源；S101：遮罩处理：读取用户上传的遮罩设计图，图片文件存放在文件服务中，通常用HTTP协议方式读取文件流，取出之后会将背景色设置为透明，背景色为：纯黑(RGB＝
‑
16777216)、纯白(RGB＝16777215)，此设定将会限制不能使用纯黑和纯白色为前景色，此限制可将图片编码格式要求降低，背景色转换为透明化后，需要读取视频源宽高尺寸，此过程在读取视频信息后会再进行，将处理后的遮罩图进行缩放至视频一致的尺寸，再生成一帧图像帧，存放于内存缓存中，生成的图像帧用于后续流程中图像过滤器使用；S2：将图片进行背景透明化处理，音频源转换成AAC类型的音频缓存文件；S3：解码视频，根据视频信息创建图像过滤器和音频过滤器，并同时解码缓存音频；S4：根据视频解码后的图像帧及音频帧分别传入图像过滤器或音频过滤器，并分别将缓存的遮罩层图像帧或音频帧分别混入过滤器中，输出处理后的视频帧。2.如权利要求1所述的一种基于视频的内容添加方法，其特征在于，所述步骤S1中需要服务提供方部署一个文件上传服务用于存储用户上传的文件资源，以及内容添加服务读取资源文件时使用。3.如权利要求1所述的一种基于视频的内容添加方法，其特征在于，所述步骤S2用于服务端将内容提供方提供的设计图文件进行背景色透明化处理，音频文件转换成AAC格式的音频缓存文件，目的是提前准备数据，将提高内容混合过程的效率，由于图像占用内存较小，直接缓存于内存中，音频则需要整个缓存到本地文件存储，使用时直接读取缓存文件。4.如权利要求1所述的一种基于视频的内容添加方法，其特征在于，所述步骤S2中音频的处理步骤为：将读取用户上传的音频文件，文件存放在文件服务中，通常用HTTP协议方式读取文件流，为了统一不同编码格式情况下读取音频帧的方式，将统一转换成AAC编码格式的音频，为防止在读取过程网络波动导致性能低下，以及重复混流时网络带宽多次消耗，在主流程开始前会提前转码并生成转码后的音频...

【专利技术属性】
技术研发人员：陈江，王红梅，刘伟，李建华，
申请(专利权)人：北京易智时代数字科技有限公司，
类型：发明
国别省市：