本发明专利技术实施例提供了一种全景视频的音频处理方法和音频处理装置以及全景视频的播放系统,该方法包括:确定观看全景视频的用户和全景视频的音源之间的当前相对位置信息;根据当前相对位置信息和与当前相对位置信息相关的预设滤波系数,确定当前位置信息对应的目标滤波系数;根据目标滤波系数对当前输入音频进行滤波处理,生成3D音频。本发明专利技术可以基于观看全景视频的用户和全景视频的音源之间的相对位置信息来确定与该相对位置信息相匹配的滤波系数,从而对经过该相对位置信息所对应的路径的声波进行滤波处理,以生成与该相对位置信息相匹配的3D音频,使得观看全景视频的用户能够从不同的角度收听到与其实际观看场景相匹配的不同3D音效。
【技术实现步骤摘要】
本专利技术涉及计算机
,特别是涉及一种全景视频的音频处理方法和一种全景视频的音频处理装置以及一种全景视频的播放系统。
技术介绍
随着计算技术的飞速发展,全景视频的引入,为人们的观影体验带来了更加震撼的感受。其中,全景视频是由许多连拍图片组合而成,并通过对镜头方向的实时调整,来为观众提供不同角度的视频观看,从而使得相对于镜头处于不同位置的观众都能观看到适应于本人所处角度的全景视频。但是,在现有技术中的全景视频仅仅做到了随着观众观影方向的不同,调整视频画面,而在实际的应用环境下,全景视频的声音效果并不能够做到随着观众视角位置的不同而不同。为了增加观众对视频的临场体验,3D音效成为重要组成部分,如果在全景视频中能够从不同的角度产生不同的音效,那么将会提高观众的视听效果。因此,目前需要本领域技术人员迫切解决的一个技术问题就是:如何在全景视频中从不同的角度产生不同的音效。
技术实现思路
本专利技术实施例所要解决的技术问题是提供一种全景视频的音频处理方法和装置以及全景视频的播放系统,以解决在全景视频中无法从不同的角度产生不同的音效的问题。为了解决上述问题,根据本专利技术的一个方面,本专利技术公开了一种全景视频的音频处理方法,包括:确定观看全景视频的用户和全景视频的音源之间的当前相对位置信息;根据当前相对位置信息和与当前相对位置信息相关的预设滤波系数,确
定当前位置信息对应的目标滤波系数;根据目标滤波系数对当前输入音频进行滤波处理,生成3D音频。根据本专利技术的另一方面,本专利技术还公开了一种全景视频的音频处理装置,包括:第一确定模块,用于确定观看全景视频的用户和全景视频的音源之间的当前相对位置信息;第二确定模块,用于根据当前相对位置信息和与当前相对位置信息相关的预设滤波系数,确定当前位置信息对应的目标滤波系数;滤波处理模块,用于根据目标滤波系数对当前输入音频进行滤波处理,生成3D音频。根据本专利技术的又一方面,本专利技术还公开了一种全景视频的播放系统,包括:上述的全景视频的音频处理装置。与现有技术相比,本专利技术实施例包括以下优点:本专利技术可以基于观看全景视频的用户和全景视频的音源之间的相对位置信息来确定与该相对位置信息相匹配的滤波系数,从而对经过该相对位置信息所对应的路径的声波进行滤波处理,以生成与该相对位置信息相匹配的3D音频,使得观看全景视频的用户能够从不同的角度收听到与其实际观看场景相匹配的不同3D音效。此外,本专利技术能够基于不同坐标系来确定用户和音频之间的当前相对位置信息,从而提高位置信息的准确度;此外,通过对与当前相对位置信息相关的不同相对位置信息所分别对应的预设滤波系数来进行计算处理,来得到对应当前相对位置信息的滤波系数,能够对任何相对位置信息所对应的滤波系数进行计算,应用广泛;最后,在对输入音频进行滤波处理时,采用的是与该当前相对位置信息对应的滤波系数,从而使得对该音频的滤波效果与实际收听场景相匹配,提高用户视听感受。附图说明图1是本专利技术的一种全景视频的播放系统实施例的系统示意图;图2是本专利技术的一种全景视频的音频处理方法实施例的步骤流程图;图3是本专利技术的另一种全景视频的音频处理方法实施例的步骤流程图;图4是本专利技术的另一种全景视频的音频处理方法实施例的第一坐标轴示意图;图5是本专利技术的另一种全景视频的音频处理方法实施例的第二坐标轴示意图;图6是本专利技术的另一种全景视频的音频处理方法实施例的3D音频生成流程;图7是本专利技术的一种全景视频的音频处理装置实施例的结构框图;图8是本专利技术的另一种全景视频的音频处理装置实施例的结构框图;图9是本专利技术的另一种全景视频的播放系统实施例的系统示意图。具体实施方式为使本专利技术的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本专利技术作进一步详细的说明。由于音源的声波到达用户两耳的强度、延时、频谱等差异,使得人耳能够分辨声音的方位。其中,到达人耳的声波可以看成是从音源经过了一个滤波器滤波处理后得到的;而左右耳不同的滤波系数将会产生两耳所接收的声波差异,从而产生方位感。其中,用户位置不变,左右耳的滤波系数不同;此外,用户同一个耳朵处在不同的位置,其所接收的声波所经过的滤波系数也不同。那么为了使用户在观看全景视频时,使处于不同位置的用户都能感受到3D音效,同时,在用户所处方位、角度发生细微变化时,所接收的声波仍为3D音效,参照图1,示出了本专利技术的一种全景视频的播放系统实施例的系统示意图,系统的具体执行流程如下:首先,将音频输入流输入至全景播放器;然后,判断是否开启了3D音效,如果未开启,则直接将音频输出;如果开启了3D音效,则将音频输入流、3D滤波数据和音源相对位置信息(用户和音频之间的相对位置信息)输入至3D音效生成模块,3D音效生
成模块借助于3D滤波数据和音源相对位置信息对音频输入流进行处理,生成3D音频并输出,从而实现全景视频的3D音效播放。通过上述3D音效生成模块对输入音频的处理,能够使输出的3D音频与音源相对位置信息直接关联,使得用户在观看全景视频时能够在不同的角度接收到不同的音效,提高用户的视听效果。那么具体到3D音效生成模块如何将输入音频处理为3D音频,图2则做出了详细介绍。参照图2,示出了本专利技术的一种全景视频的音频处理方法实施例的步骤流程图,具体可以包括如下步骤:步骤201,确定观看全景视频的用户和全景视频的音源之间的当前相对位置信息;其中,可以确定观看当前全景视频的观众和该全景视频的音源之间的当前相对位置信息(例如可以包括高度、角度、距离等信息)。步骤203,根据当前相对位置信息和与当前相对位置信息相关的预设滤波系数,确定当前位置信息对应的目标滤波系数;其中,可以基于该当前相对位置信息和与该当前相对位置信息相关的预设滤波系数,来确定当前相对位置对应的目标滤波系数,即,音频在全景视频的音源和该用户之间滤波时的滤波系数。步骤205,根据目标滤波系数对当前输入音频进行滤波处理,生成3D音频。最后,就可以根据确定的目标滤波系数对全景视频的当前输入音频进行滤波处理,来生成3D音频。借助于本专利技术上述实施例的技术方案,本专利技术可以基于观看全景视频的用户和全景视频的音源之间的相对位置信息来确定与该相对位置信息相匹配的滤波系数,从而对经过该相对位置信息所对应的路径的声波进行滤波处理,以生成与该相对位置信息相匹配的3D音频,使得观看全景视频的用户能够从不同的角度收听到与其实际观看场景相匹配的不同3D音效。参照如图3,示出了本专利技术的另一种全景视频的音频处理方法实施例的步骤流程图,具体可以包括如下步骤:步骤301,基于笛卡尔坐标系或球面坐标系确定当前相对位置信息。其中,可以基于笛卡尔坐标系的坐标(x,y,z)或者球面坐标系的坐标来确定观看全景视频的用户和该全景视频的音源之间的当前相对位置信息。步骤303,按照预定的内插方式,对与当前相对位置信息相关的不同相对位置信息所分别对应的预设滤波系数进行内插拟合,得到当前位置信息对应的目标滤波系数;其中,预设滤波系数具体可以是在预设音效库中查找到的与当前相对位置信息相关的不同相对位置信息所分别对应的预设滤波系数;其中,由于音源的位置可以来自无数个方位,从而造成音源和观看全景视频的用户之间的相对位置也是无数个。因此,为了节省资源存储空间,本文档来自技高网...
【技术保护点】
一种全景视频的音频处理方法,其特征在于,包括:确定观看所述全景视频的用户和所述全景视频的音源之间的当前相对位置信息;根据所述当前相对位置信息和与所述当前相对位置信息相关的预设滤波系数,确定所述当前位置信息对应的目标滤波系数;根据所述目标滤波系数对当前输入音频进行滤波处理,生成3D音频。
【技术特征摘要】
1.一种全景视频的音频处理方法,其特征在于,包括:确定观看所述全景视频的用户和所述全景视频的音源之间的当前相对位置信息;根据所述当前相对位置信息和与所述当前相对位置信息相关的预设滤波系数,确定所述当前位置信息对应的目标滤波系数;根据所述目标滤波系数对当前输入音频进行滤波处理,生成3D音频。2.根据权利要求1所述的方法,其特征在于,所述确定观看所述全景视频的用户和所述全景视频的音源之间的当前相对位置信息的步骤包括:基于笛卡尔坐标系或球面坐标系确定所述当前相对位置信息。3.根据权利要求1所述的方法,其特征在于,所述预设滤波系数具体是在预设音效库中查找到的与所述当前相对位置信息相关的不同相对位置信息所分别对应的预设滤波系数。4.根据权利要求3所述的方法,其特征在于,所述根据所述当前相对位置信息和与所述当前相对位置信息相关的预设滤波系数,确定所述当前位置信息对应的目标滤波系数的步骤包括:按照预定的内插方式,对与所述当前相对位置信息相关的不同相对位置信息所分别对应的预设滤波系数进行内插拟合,得到所述当前位置信息对应的目标滤波系数。5.根据权利要求1所述的方法,其特征在于,所述方法还包括:在所述当前相对位置信息更新的情况下,根据更新的当前相对位置信息和与所述更新的当前相对位置信息相关的预设滤波系数,重新确定所述目标滤波系数;根据重新确定的所述目标滤波系数对当前输入音频进行滤波处理,生成3D音频。6.根据权利要求1所述的方法,其特征在于,所述方法还包括:在所述当前相对位置信息未更新的情况下,获取所述用户和所述音源之间的当前距离信息;根据所述当前距离信息和对应所述当前距离信息的第一预设衰减系数,
\t对所述当前输入音频的音量进行衰减处理。7.根据权利要求6所述的方法,其特征在于,在所述当前距离信息更新的情况下,所述根据所述当前距离信息和对应所述当前距离信息的预设衰减系数,对所述当前输入音频的音量进行衰减处理的步骤包括:根据更新后的所述当前距离信息和对应所述更新后的当前距离信息的第二预设衰减系数,对所述当前输入音频的音量进行衰减处理。8.根据权利要求1所述的方法,其特征在于,在根据所述目标滤波系数对当前输入音频进行滤波处理,生成3D音频的步骤之后,所述方法还包括:将所述3D音频直接输出到播放设备进行播放,或者以文件流的方...
【专利技术属性】
技术研发人员:黄瑛,王涛,张彦刚,
申请(专利权)人:北京奇艺世纪科技有限公司,
类型:发明
国别省市:北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。