一种视频剪辑方法、装置、计算机可读存储介质及相机制造方法及图纸

技术编号:26308169 阅读:31 留言:0更新日期:2020-11-10 20:10
本申请适用于视频处理领域,提供了一种视频剪辑方法、装置、计算机可读存储介质及相机。所述视频剪辑方法包括:获取声音数据和与所述声音数据对应的视频数据,并生成与所述声音数据对应的平面视频帧;对所述声音数据对应的平面视频帧进行目标检测,获取目标信息;根据所述声音数据和所述目标信息确定声源目标;根据所述声源目标生成剪辑的包括所述声源目标的平面视频。本申请实现难度小,在室内等嘈杂环境下,可以降低环境噪声与室内混响对定位的影响,定位精度高,鲁棒性强,且能基于声源目标进行自动剪辑,视频剪辑效果好;此外,通过本申请实施例在进行声源目标定位时,仅需1个麦克风即可进行准确定位,成本较低,大大减少视频剪辑的难度与成本。

【技术实现步骤摘要】
一种视频剪辑方法、装置、计算机可读存储介质及相机
本申请属于视频处理领域,尤其涉及一种视频剪辑方法、装置、计算机可读存储介质及相机。
技术介绍
随着摄像与声音采集硬件设备的不断发展,视频会议系统逐渐成为人们日常生活工作中交流沟通的重要渠道。在视频会议中,通常需要同时获取主讲人的图像与声音,并在播放设备上同时播放并记录到存储设备中,或将声音转换成文字便于整理。由于会议可能存在多个主讲人,因此视频会议系统通常需要具备获得不同角度视频图像和声音的功能。传统视频会议系统通过设置多个摄像头采集视频图像,同时配备多个麦克风获取声音。在视频会议系统的播放设备中,为了让收看会议视频的与会人员将注意力集中在主讲者上,需要将视频转换成以主讲者为中心视角的平面视频,并记录主讲者的内容;当主讲者由一人转换至另一人时,视频视角也随之切换至新主讲者。这一过程一般通过声源定位实现。现有技术方案通过麦克风阵列采集会议现场的声音并对声源定位,获得声源的位置信息,成本较高,且在室内环境下,受麦克风位置、环境噪声与室内混响等因素的影响,会导致定位误差,影响视频剪辑效果,用户本文档来自技高网...

【技术保护点】
1.一种视频剪辑方法,其特征在于,所述方法包括:/n获取声音数据和与所述声音数据对应的视频数据,并生成与所述声音数据对应的平面视频帧;/n对所述声音数据对应的平面视频帧进行目标检测,获取目标信息;/n根据所述声音数据和所述目标信息确定声源目标;/n根据所述声源目标生成剪辑的包括所述声源目标的平面视频。/n

【技术特征摘要】
1.一种视频剪辑方法,其特征在于,所述方法包括:
获取声音数据和与所述声音数据对应的视频数据,并生成与所述声音数据对应的平面视频帧;
对所述声音数据对应的平面视频帧进行目标检测,获取目标信息;
根据所述声音数据和所述目标信息确定声源目标;
根据所述声源目标生成剪辑的包括所述声源目标的平面视频。


2.如权利要求1所述的视频剪辑方法,其特征在于,所述获取声音数据和与所述声音数据对应的视频数据具体为:
获取声音数据和与所述声音数据对应的平面视频;
或者,
获取声音数据和与所述声音数据对应的全景视频;
根据所述全景视频生成与所述声音数据对应的平面视频。


3.如权利要求1所述的视频剪辑方法,其特征在于,所述目标信息包括目标对应的平面视频帧和目标的位置信息;
所述根据所述声音数据和所述目标信息确定声源目标具体为:
根据所述声音数据和所述目标对应的平面视频帧确定声源目标。


4.如权利要求3所述的视频剪辑方法,其特征在于,获取所述目标对应的平面视频帧具体为:
通过目标检测算法获得目标的位置信息,并根据目标的位置信息和预设的图像大小从所述声音数据对应的平面视频帧中截取包括目标的平面视频帧。


5.如权利要求3所述的视频剪辑方法,其特征在于,所述目标的位置信息通过以下方式获取:
采用目标检测算法检测所述平面视频帧的所有目标,并用矩形框来表示每一个目标,通过所述矩形框坐标来确定目标的位置信息。


6.如权利要求3所述的视频剪辑方法,其特征在于,所述根据所述声音数据和所述目标信息确定声源目标具体为:
将所述声音数据和一个或多个所述目标对应的平面视频帧输入预先训练完成的机器学习模型,由机器学习模型输出与所述声音数据对应的声源目标。


7.如权利要求1所述的视频剪辑方法,其特征在于,所述获取声音数据和与所述声音数据对应的视频数据具体为:
获取连续的一段声音数据和与所述连续的一段声音数据对应的视频数据;
所述根据所述声源目标生成剪辑的包括所述声源目标的平面视频之后,所述方法还包括:
获取当前时刻的平面视频帧;
判断所述当前时刻的平面视频帧是否有对应的声音数据,如果是,则返回所述对所述声音数据对应的平面视频帧进行目标检测的步骤,如果没有,则根据前一时刻确定的声源目标生成剪辑的包括所述声源目标的平面视频;
或者,
所述根据所述声源目标生成剪辑的包括所述声源目标的平面视频之后,所述方法还包括:
判断当前时刻是否有声音数据,如果是,则返回所述获取声音数据和与所述声音数据对应的视频数据的步骤,如果没有,则获取当前时刻的平面视频帧;
根据前一时刻确定的声源目标生成剪辑的包括所述声源目标的平面视频。


8.如权利要求7所述的视频剪辑方法,其特征在于,所述根据所述声源目标生成剪辑的包括所述声源目标的平面视频或者所述根据前一时刻确定的声源目标生成剪辑的包括所述声源目标的平面视频具体为:
根据所述声源目标确定所述声源目标对应的平面视频帧;
将声源目标对应的平面视频帧作为剪辑视频的视频帧进行剪辑,生成剪辑的包括所述声源目标的平面视频;
或者,
根据所述声源目标确定所述声源目标的位置信息;
根据所述...

【专利技术属性】
技术研发人员:符峥蔡锦霖姜文杰
申请(专利权)人:影石创新科技股份有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1