一种基于数据流的视频添加背景音频方法技术

本发明专利技术涉及多媒体数据处理领域，尤其涉及一种基于数据流的视频添加背景音频方法，本发明专利技术通过选取待处理视频中的物体轮廓，选定一物体轮廓作为音源物体，确定物体轮廓所出现的视频片段，并将视频片段中各帧视频图像的亮度与相邻帧视频图像的亮度进行对比标定对应视频图像的时间节点，以将各时间节点作为参考选定音频段添加位置，计算各帧图像片段中物体轮廓对应的音源深度表征参量，对各时间段对应音频段的音量进行调整，本发明专利技术通过标定时间节点，为音频添加时间节点提供参考，简化用户添加音频时的操作，提高效率，自动根据视频图像中音源物体的位置变化调整所添加音频的音量，避免用户手动调整，简化用户操作，提高音频添加效率和准确性。率和准确性。率和准确性。

【技术实现步骤摘要】
一种基于数据流的视频添加背景音频方法


[0001]本专利技术涉及多媒体数据处理领域，尤其涉及一种基于数据流的视频添加背景音频方法。

技术介绍

[0002]随着多媒体技术的发展，视频制作相关技术操作也日益简单化，已经可以通过软件实现自制视频或自制电影，传统的视频制作方式通常是先摄制视频，然后针对视频文件，手动的添加一些配音或背景音效；中国专利公开号：CN112822563A，公开了一种生成视频的方法、装置、电子设备和计算机可读介质，其包括，在原始视频显示过程中通过原始视频的背景音乐获取音频素材，并获取影像素材；确定上述音频素材的音乐点，其中，上述音乐点用于将上述音频素材划分成多个音频片段；利用上述影像素材，为上述音频素材中的每个音乐片段分别生成一个视频片段，得到多个视频片段，其中，相对应的音乐片段和视频片段具有相同的时长；按照上述多个视频片段分别对应的音乐片段在上述音频素材中出现的时间将上述多个视频片段拼接在一起，并添加上述音频素材作为视频音轨，得到合成视频。该实施方式节省了用户处理素材的时间，为用户合成视频提供了便利。
[0003]但是，现有技术中还存在以下问题，实际情况中，在对视频进行配音时，在场景切换以及声源物体切换时往往需要切换背景音乐或针对声源物体的变化添加音频，例如，爆炸、碰撞等，上述配音过程需要手动完成，手动找寻关键帧，十分麻烦，现有技术中，未考虑通过对视频各帧的分析，通过视频帧的变化提取相关的时间节点，以向用户提供时间节点作为参考对音频进行添加，并且，现有技术中，在对视频配音时未根据声源物体在图像中的位置情况自动对添加的音频的音量进行修正。

技术实现思路

[0004]为解决现有技术中，未考虑通过对视频各帧的分析，通过视频帧的变化情况提取相关的时间节点，以向用户提供时间节点作为参考对音频进行添加的问题以及在对视频配音时未根据声源物体在图像中的位置情况自动对添加的音频的音量进行修正的问题，本专利技术提供一种基于数据流的视频添加背景音频方法，其包括：步骤S1，获取待处理视频的视频图像集，并识别所述视频图像集中的各视频图像中的物体轮廓，以得到物体轮廓集，所述视频图像集由所述待处理视频抽帧得到的若干视频图像组成；步骤S2，将出现被选定物体轮廓的视频图像从所述视频图像集中筛出，并将筛出的视频图像拼接后得到第一视频片段，基于所述第一视频片段中各帧视频图像与相邻帧视频图像的亮度差值标定若干视频图像，所述被选定物体轮廓为所述物体轮廓集中选取所得；
步骤S3，获取步骤S2中若干已标定视频图像在待处理视频的视频数据流中的时间节点，以得到时间节点集，从所述时间节点集中选定一时间节点作为起始时间节点在所述视频数据流中添加所需音频对应的音频数据流；步骤S4，基于所述第一视频片段的各帧视频图像中被选定物体轮廓的图像深度以及所述被选定物体轮廓与视频图像中点的距离计算各帧视频图像的音源深度表征参量；步骤S5，确定各时间段起始时间节点的视频图像的音源深度表征参量与结束时间节点的视频图像的音源深度表征参量的差值，并根据对比结果确定对各时间段内音频段的音量调整时的调整方式，各所述时间段为根据所述音频数据流的起始时间节点以及结束时间节点构成的时段划分所得。
[0005]进一步地，所述步骤S2中，逐帧选取所述物体轮廓集中的视频图像，并将所述被选定物体轮廓与所选取的视频图像中的物体轮廓进行对比，根据对比结果判定是否将已选取的视频图像筛出，其中，若所述被选定物体轮廓与已选取的视频图像中的物体轮廓的形状以及颜色均相同，则判定需将所述视频图像筛出。
[0006]进一步地，所述步骤S3中，逐帧选取所述第一视频片段中的视频图像，并将已选取视频图像的亮度与相邻帧的视频图像的亮度进行对比，并根据对比结果判定是否标定已选取的视频图像，其中，确定已选取的所述视频图像的平均亮度值L1以及所述视频图像相邻的下一帧视频图像的平均亮度值L2，并计算亮度差值ΔL，设定ΔL=L1
‑
L2，并将计算出的亮度差值ΔL与预设亮度差值对比参量ΔL0进行对比，若ΔL≥ΔL0，则判定需标记所述视频图像，并确定已标记视频图像在所述待处理视频的数据流的时间节点。
[0007]进一步地，所述步骤S4中，确定各帧视频图像中被选定物体轮廓的图像深度h以及所述被选定物体轮廓与视频图像中点的距离D，并根据公式(1)计算音源深度表征参量E，(1)公式(1)中，D0表示预设距离对比参量，h0表示预设深度对比参量。
[0008]进一步地，所述步骤S5还包括预设置若干连续的数据区间，并建立各所述数据区间与音量参量的关联关系，各所述数据区间所关联的音量参量各不相同，并且，各所述数据区间所关联的音量参量随数据区间的区间中点值增大而增大。
[0009]进一步地，所述步骤S5中，对首个时间段内的音频段的音量进行调整时，确定所述时间段起始时间节点对应的视频图像的音源深度表征参量，将所述音源深度表征参量与预设置的若干数据区间进行对比，根据对比结果确定初始音量，其中，若所述音源深度表征参量属于任一所述数据区间，则调用与所述数据区间关联的音量参量，将所述音量参量作为初始音量，以所述初始音量为基准对音频段的音量进行调整。
[0010]进一步地，将各时间段起始时间节点的视频图像的音源深度表征参量与结束时间节点的视频图像的音源深度表征参量进行对比，根据对比结果确定对对应时间段内音频段的音量调整时的调整方式，其中
第一调整方式为将对应时间段内的音频段的音量以预设调整速率V0增大；第二调整方式为将对应时间段内的音频段的音量以预设调整速率V0减小；所述第一调整方式需满足时间段的起始时间节点的视频图像的音源深度表征参量小于所述时间段的结束时间节点的视频图像的音源深度表征参量；所述第二调整方式需满足所述时间段的起始时间节点的视频图像的音源深度表征参量大于等于所述时间段的结束时间节点的视频图像的音源深度表征参量。
[0011]进一步地，所述步骤S5还包括对各时间段内的音频段的音量调整时的调整速率进行修正，其中，选定一物体轮廓作为所述被选定物体轮廓的参照物，按照公式(2)计算时间段中所述被选定物体轮廓相对所述参照物的移动速度V，(2)公式(2)中，D(i)表示所述时间段内的第i帧视频图像中被选定物体轮廓与参照物的距离，D(i+1)表示所述时间段内的第i+1帧视频图像中被选定物体轮廓与参照物的距离，N为大于1的整数。
[0012]进一步地，所述步骤S5中，计算时间段中所述被选定物体轮廓相对所述参照物的移动速度V与预设标准移动速度对比参量V1的速度差值
△
V，设定
△
V=V
‑
V1，并将所述速度差值
△
V与预设移动速度对比参量V2进行对比，根据对比结果确定对调整速率修正时的修正方式，其中，第一修正方式为根据第一音量调整参量v1将音量调整速率修正至第一修正值；第二修正方式为根据第二音量调整参量v2将音量调整速率修正至第二修正值；第三修正方式为根据第一音量调整参量v1将音量调整速率修正至第三修正值；第四本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数据流的视频添加背景音频方法，其特征在于，包括：步骤S1，获取待处理视频的视频图像集，并识别所述视频图像集中的各视频图像中的物体轮廓，以得到物体轮廓集，所述视频图像集由所述待处理视频抽帧得到的若干视频图像组成；步骤S2，将出现被选定物体轮廓的视频图像从所述视频图像集中筛出，并将筛出的视频图像拼接后得到第一视频片段，基于所述第一视频片段中各帧视频图像与相邻帧视频图像的亮度差值标定若干视频图像，所述被选定物体轮廓为所述物体轮廓集中选取所得；步骤S3，获取步骤S2中若干已标定视频图像在待处理视频的视频数据流中的时间节点，以得到时间节点集，从所述时间节点集中选定一时间节点作为起始时间节点在所述视频数据流中添加所需音频对应的音频数据流；步骤S4，基于所述第一视频片段的各帧视频图像中被选定物体轮廓的图像深度以及所述被选定物体轮廓与视频图像中点的距离计算各帧视频图像的音源深度表征参量；步骤S5，将各时间段起始时间节点的视频图像的音源深度表征参量与结束时间节点的视频图像的音源深度表征参量进行对比，并根据对比结果确定对各时间段内音频段的音量调整时的调整方式，各所述时间段为根据所述音频数据流的起始时间节点以及结束时间节点构成的时段划分所得。2.根据权利要求1所述的基于数据流的视频添加背景音频方法，其特征在于，所述步骤S2中，逐帧选取所述物体轮廓集中的视频图像，并将所述被选定物体轮廓与所选取的视频图像中的物体轮廓进行对比，根据对比结果判定是否将已选取的视频图像筛出，其中，若所述被选定物体轮廓与已选取的视频图像中的物体轮廓的形状以及颜色均相同，则判定需将所述视频图像筛出。3.根据权利要求2所述的基于数据流的视频添加背景音频方法，其特征在于，所述步骤S3中，逐帧选取所述第一视频片段中的视频图像，并将已选取视频图像的亮度与相邻帧的视频图像的亮度进行对比，并根据对比结果判定是否标定已选取的视频图像，其中，确定已选取的所述视频图像的平均亮度值L1以及所述视频图像相邻的下一帧视频图像的平均亮度值L2，并计算亮度差值ΔL，设定ΔL=L1
‑
L2，并将计算出的亮度差值ΔL与预设亮度差值对比参量ΔL0进行对比，若ΔL≥ΔL0，则判定需标记所述视频图像，并确定已标记视频图像在所述待处理视频的数据流的时间节点。4.根据权利要求1所述的基于数据流的视频添加背景音频方法，其特征在于，所述步骤S4中，确定各帧视频图像中被选定物体轮廓的图像深度h以及所述被选定物体轮廓与视频图像中点的距离D，并根据公式(1)计算音源深度表征参量E，(1)公式(1)中，D0表示预设距离对比参量，h0表示预设深度对比参量。5.根据权利要求1所述的基于数据流的视频添加背景音频方法，其特征在于，所述步骤S5还包括预设置若干连续的数据区间，并建立各所述数据区间与音量参量的关联关系，各所述数据区间所关联的音量参量各不相同，并且，各所述数据区间所关联的音量参量随数据区间的区间中点值增大而增大。
6.根据权利要求5所述的基于数据流的视频添加背景音频方法，其特征在于，所述步骤S5中，对首个时间段内的音频段的音量进行调整时，确定所述时间段起始时间节点对应的视频图像的音源深度...

【专利技术属性】
技术研发人员：李鲲，李永海，
申请(专利权)人：泰德网聚北京科技股份有限公司，
类型：发明
国别省市：