全景视频的处理方法、装置及存储介质制造方法及图纸

本公开实施例提供一种全景视频的处理方法、装置及存储介质；其中，方法包括：确定全景视频的视频帧中的参考帧，并确定所述参考帧中的目标对象；获取所述目标对象在所述参考帧中的位置信息；基于所述位置信息，获取所述目标对象在所述全景视频中的运动轨迹；基于所述运动轨迹对待处理音频帧进行处理，以得到能够表征所述目标对象在所述全景视频中所处位置的目标音频帧；将所述目标音频帧与所述全景视频的视频帧合成得到全景视频文件。

【技术实现步骤摘要】
全景视频的处理方法、装置及存储介质
本公开实施例涉及多媒体技术，尤其涉及一种全景视频的处理方法、装置及存储介质。
技术介绍
通信基础设施的不断发展，使得终端网络通信的速率不断提升，从而各种媒体形式特别是视频在网络中得到前所未有地广泛传播。全景视频是对用户感知视频方式的拓展，视频中的内容的展现能够呈现丰富多样的方式。为了更好的展现全景视频的三维播放效果，全景视频中的音频数据需要体现相应声源在全景视频中的位置，相关技术中，对全景视频的音频数据的处理依赖人工手动处理，处理效率低。
技术实现思路
有鉴于此，本公开实施例提供一种全景视频的处理方法、装置及存储介质。本公开实施例提供了一种全景视频的处理方法，所述方法包括：确定全景视频的视频帧中的参考帧，并确定所述参考帧中的目标对象；获取所述目标对象在所述参考帧中的位置信息；基于所述位置信息，获取所述目标对象在所述全景视频中的运动轨迹；基于所述运动轨迹对待处理音频帧进行处理，以得到能够表征所述目标对象在所述全景视频中所处位置的目标音频帧；并且本文档来自技高网...

【技术保护点】
1.一种全景视频的处理方法，其特征在于，所述方法包括：/n确定全景视频的视频帧中的参考帧，并确定所述参考帧中的目标对象；/n获取所述目标对象在所述参考帧中的位置信息；/n基于所述位置信息，获取所述目标对象在所述全景视频中的运动轨迹；/n基于所述运动轨迹对待处理音频帧进行处理，以得到能够表征所述目标对象在所述全景视频中所处位置的目标音频帧；并且/n将所述目标音频帧与所述全景视频的视频帧合成以得到全景视频文件。/n

【技术特征摘要】
1.一种全景视频的处理方法，其特征在于，所述方法包括：
确定全景视频的视频帧中的参考帧，并确定所述参考帧中的目标对象；
获取所述目标对象在所述参考帧中的位置信息；
基于所述位置信息，获取所述目标对象在所述全景视频中的运动轨迹；
基于所述运动轨迹对待处理音频帧进行处理，以得到能够表征所述目标对象在所述全景视频中所处位置的目标音频帧；并且
将所述目标音频帧与所述全景视频的视频帧合成以得到全景视频文件。


2.如权利要求1所述的方法，其特征在于，所述获取所述目标对象在所述参考帧中的位置信息，包括：
识别所述参考帧中所述目标对象的多个特征点，得到对应所述目标对象的特征点集合；
基于所述特征点集合中的特征点，获取所述目标对象在所述参考帧中的位置信息，所述位置信息包括：
所述目标对象在所述全景视频中所处位置对应的角度信息；所述目标对象在所述全景视频中所处位置的中心距离，所述中心距离为所述位置与所述参考帧对应的三维模型的中心的距离。


3.如权利要求2所述的方法，其特征在于，所述基于所述特征点集合中的特征点，获取所述目标对象在所述参考帧中的位置信息，包括：
确定所述特征点集合中多个特征点的重心位置；
基于所述重心位置，确定所述目标对象在所述全景视频中所处位置对应的角度信息；
获取所述多个特征点在所述参考帧中占据的区域的像素面积；
基于所述像素面积，确定所述目标对象在所述全景视频中所处位置的中心距离。


4.如权利要求3所述的方法，其特征在于，所述基于所述重心位置，确定所述目标对象在所述全景视频中所处位置对应的角度信息，包括：
确定所述重心位置对应的像素点的像素点坐标；
将所述像素点坐标转换成对应所述三维模型的球面坐标，所述球面坐标指示所述目标对象在所述全景视频中所处位置对应的角度。


5.如权利要求3所述的方法，其特征在于，所述基于所述像素面积，确定所述目标对象在所述全景视频中所处位置的中心距离，包括：
根据所述像素面积与所述中心距离的平方所呈的反比例关系，确定所述目标对象在所述全景视频中所处位置的中心距离。


6.如权利要求2所述的方法，其特征在于，所述方法还包括：
将所述特征点集合中的多个特征点，与所述全景视频的非参考帧中的特征点进行特征点匹配，得到特征点匹配结果；
基于所述特征点匹配结果，确定所述非参考帧中所述目标对象的位置。


7.如权利要求6所述的方法，其特征在于，所述基于所述特征点匹配结果，确定所述非参考帧中所述目标对象的位置，包括：
基于所述特征点匹配结果，在所述非参考帧中，选取与所述特征点集合中的特征点的相似度大于第一相似度阈值的特征点；
基于选取的所述大于第一相似度阈值的特征点，确定所述非参考帧中所述目标对象的位置。


8.如权利要求1所述的方法，其特征在于，所述基于所述位置信息，获取所述目标对象在所述全景视频中的运动轨迹，包括：
获取所述全景视频的每个非参考帧中所述目标对象的位置信息；
基于所述目标对象在所述参考帧中的位置信息，以及每个非参考帧中所述目标对象的位置信息，确定所述目标对象在所述全景视频中的运动轨迹。


9.如权利要求6所述的方法，其特征在于，所述方法还包括：
基于所述特征点匹配结果，在所述非参考帧中，选取与所述特征点集合中的特征点的相似度小于第二相似度阈值的特征点；
基于选取的所述小于第二相似度阈值的特征点，更新所述特征点集合中的特征点。


10.如权利要求6所述的方法，其特征在于，所述方法还包括：
获取预设数量的非参考帧，与所述特征点集合中特征点的匹配结果；所述预设数量的非参考帧为所述全景视频的连续视频帧；
基于获取的特征点匹配结果，确定所述特征点集合中的待删除特征点，所述待删除特征点与获取的非参考帧中的特征点的相似度小于第三相似度阈值；
将所述待删除特征点从所述特征点集合中删除。


11.如权利要求1所述的方法，其特征在于，所述确定所述参考帧中的目标对象，包括：
接收到针对所述参考帧的对象选取操作；
基于所述对象选取操作在所述参考帧中所选定的区域，确定所述参考帧中的目标对象。


12.如权利要求1所述的方法，其特征在于，所述基于所述运动轨迹，对待处理音频帧进行处理，得到能够表征所述目标对象在所述全景视频中所处位置的目标音频帧，包括：
调用三维音频引擎，对待处理音频帧根据所述运动轨迹进行混音处理，得到能够表征所述目标对象在所述全景视频中所处位置的目标音频帧。


13.一种全景视频的处理装置，其特征在于，所...

【专利技术属性】
技术研发人员：白鹤群，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：北京;11