一种音频与视频视角匹配的方法、客户端和服务器技术

本申请公开了一种音频与视频视角匹配的方法、客户端和服务器，以解决现有的客户端播放全景视频的方案中存在的客户端在当前视角发生变化时，无法选择与之匹配的音频文件进行播放，导致用户体验差的问题。该方法为，客户端向服务器发送用于获取全景视频的MPD文件的携带有所述MPD文件的标识第一请求消息；接收服务器根据所述MPD文件的标识反馈的所述MPD文件，所述MPD文件中包括至少一个音频分片的标识及其对应的空间描述信息，所述音频空间描述信息用于描述所述MPD文件中的至少一个音频分片的关联区域；根据用户的当前视角范围和所述至少一个音频空间描述信息，确定与所述当前视角范围匹配的第一音频分片。

【技术实现步骤摘要】
一种音频与视频视角匹配的方法、客户端和服务器
本申请涉及多媒体
，尤其涉及一种音频与视频视角匹配的方法、客户端和服务器。
技术介绍
全景视频也称为360度全景视频，是通过位于中心位置的相机对四周进行360度全景拍摄，并通过同步、拼接、投影等技术，将多个角度拍摄的图像合成全景图像，并将多个帧的全景图像组成全景视频。用户观看全景视频时可以上下左右任意改变观看的角度，获得更好的体验。全景视频与传统普通视频的一个很大区别是：用户某一时刻观看到的不是完整的视频画面，只是完整视频画面的一部分区域。通常把用户当前实际观看的内容在全景视频坐标系所处的区域称为当前视角，本申请中将用户在当前视角观看到的视频画面称为视频视角。用户观看时通过滑动屏幕或转动头部(头盔)，来转换当前视角观看到不同的视频视角。目前的全景视频应用中，只考虑了视频视角随着用户当前视角的改变而不同，而没有考虑音频、字幕等其他媒体组件。而在一些应用场景中，当用户当前视角发生变化时，如果音频可以与视频视角进行同步匹配将为用户带来更好的观看体验。例如，当我们观看如《爸爸去哪儿》等娱乐节目时，当多组家庭在一起集合时，如果用户当前视角为家庭1时，表示用户对家庭1比较感兴趣，此时与之匹配的可以是家庭1成员相关的音频。而当用户当前视角切换为家庭2时，与之匹配的应为家庭2成员相关的音频。当用户没有特别关注的家庭或者视频画面中包含多个家庭时，与之匹配的可以是默认音频，但是，当前的全景视频应用中，在用户当前的视频视角发生变化时，无法选择与之匹配的音频文件进行播放，导致用户体验差。
技术实现思路
本申请实施例提供一种音频与视频视角匹配的方法、客户端和服务器，以解决现有的客户端播放全景视频的方案中存在的客户端在当前视角发生变化时，无法选择与之匹配的音频文件进行播放，导致用户体验差的问题。本申请实施例提供的具体技术方案如下：第一方面，本申请实施例提供一种音频与视频视角匹配的方法，包括：服务器接收客户端发送的用于获取全景视频的媒体展示描述MPD文件的第一请求消息，所述第一请求消息中携带有所述MPD文件的标识；所述服务器根据所述MPD文件的标识，向所述客户端返回所述MPD文件，所述MPD文件中包括至少一个音频分片的标识及其对应的音频空间描述信息，所述音频空间描述信息用于描述所述至少一个音频分片的关联区域。采用上述方法，客户端向服务器请求获取包含音频分片的标识及其对应的音频空间描述信息的MPD文件，使得客户端可以在当前视角范围确定后，根据音频空间描述信息计算出各个音频在全景视频图像中的关联区域。当某个音频分片对应的关联区域与用户当前视角范围相匹配时，使客户端获取到与视频图像精准匹配的音频文件进行播放，从而实现音频与视频图像的同步匹配，提升用户的观看体验。通过本申请实施例可以用以解决现有的客户端播放全景视频的方案中存在的客户端在当前视角发生变化时，无法选择与之匹配的音频文件进行播放，导致用户体验差的问题。结合第一方面，一种可能的设计中，所述MPD文件中还包括所述MPD文件中的至少一个音频分片的区域匹配条件和/或多音频分片的匹配策略。这种设计中，所述MPD文件中包括区域匹配条件时，当音频分片的关联区域与用户当前视角范围之间满足区域匹配条件时，即认为所述音频分片与多给你钱视角是匹配的。当MPD文件中包括多音频匹配策略时，当存在至少两个音频分片的关联区域与用户当前视角范围之间满足区域匹配条件时，根据多音频匹配策略确定与当前视角范围匹配的音频分片，为用户提供更加灵活的视频匹配效果。结合第一方面，一种可能的设计中，所述方法还包括：所述服务器接收所述客户端发送的用于获取视频分片的第二请求消息，所述第二请求消息中携带有所述视频分片的标识；所述服务器根据所述视频分片的标识，向所述客户端发送所述视频分片。结合第一方面，一种可能的设计中，所述方法还包括：所述服务器接收所述客户端发送的用于获取与所述视频分片匹配的第一音频分片的第三请求消息，所述第三请求消息中携带有所述第一音频分片的标识；所述服务器根据所述第一音频分片的标识，向所述客户端发送所述第一音频分片。第二方面，本申请实施例提供一种音频与视频视角匹配的方法，包括：客户端向服务器发送用于获取全景视频的媒体展示描述MPD文件的第一请求消息，所述第一请求消息中携带有所述MPD文件的标识；所述客户端接收所述服务器根据所述MPD文件的标识反馈的所述MPD文件，所述MPD文件中包括至少一个音频分片的标识及其对应的空间描述信息，所述音频空间描述信息用于描述所述MPD文件中的至少一个音频分片的关联区域；所述客户端根据用户的当前视角范围和所述至少一个音频空间描述信息，确定与所述当前视角范围匹配的第一音频分片。上述方法中，客户端向服务器请求获取包含音频分片的标识及其对应的音频空间描述信息的MPD文件，使得客户端可以在当前视角范围确定后，根据音频空间描述信息计算出各个音频在全景视频图像中的关联区域。当某个音频分片对应的关联区域与用户当前视角范围相匹配时，使客户端获取到与视频图像精准匹配的音频文件进行播放，从而实现音频与视频图像的同步匹配，提升用户的观看体验。通过本申请实施例可以用以解决现有的客户端播放全景视频的方案中存在的客户端在当前视角发生变化时，无法选择与之匹配的音频文件进行播放，导致用户体验差的问题。结合第二方面，一种可能的设计中，所述MPD文件中还包括所述MPD文件中的至少一个音频分片的区域匹配条件和/或多音频分片的匹配策略。这种设计中，所述MPD文件中包括区域匹配条件时，当音频分片的关联区域与用户当前视角范围之间满足区域匹配条件时，即认为所述音频分片与多给你钱视角是匹配的。当MPD文件中包括多音频匹配策略时，当存在至少两个音频分片的关联区域与用户当前视角范围之间满足区域匹配条件时，根据多音频匹配策略确定与当前视角范围匹配的音频分片，为用户提供更加灵活的视频匹配效果。结合第二方面，一种可能的设计中，所述客户端根据用户的当前视角范围和所述至少一个音频空间描述信息，确定与所述当前视角范围匹配的第一音频分片，包括：所述客户端根据所述至少一个音频空间描述信息得到所述MPD文件中的至少一个音频分片在所述全景视频中的至少一个关联区域；所述客户端将所述至少一个关联区域中与所述当前视角范围内相匹配的关联区域对应的音频分片确定为备选音频分片；若只存在一个备选音频分片时，将所述备选音频分片确定为第一音频分片；若存在至少两个备选音频分片时，根据所述多音频分片的匹配策略，确定第一音频分片；若不存在备选音频分片时，将预配置的默认音频分片定为第一音频分片。这种设计中，通过在MPD文件中设置多音频匹配策略，当多个关联区域与用户当前视角范围匹配时，根据多音频匹配策略，客户端可以选择最佳的音频进行匹配播放。结合第二方面，一种可能的设计中，所述至少一个关联区域中与所述当前视角范围内相匹配的关联区域为与所述当前视角范围相同的关联区域；或，与所述当前视角范围满足所述区域匹配条件的关联区域。这种设计中，针对所述至少一个关联区域中与所述当前视角范围内相匹配的关联区域设置不同的条件，用户可以根据实际需要来具体确定所述至少一个关联区域是否与当前视角范围匹配，方式灵活，提高用户体验。结合第二方面，一本文档来自技高网...

【技术保护点】
1.一种音频与视频视角匹配的方法，其特征在于，包括：服务器接收客户端发送的用于获取全景视频的媒体展示描述MPD文件的第一请求消息，所述第一请求消息中携带有所述MPD文件的标识；所述服务器根据所述MPD文件的标识，向所述客户端返回所述MPD文件，所述MPD文件中包括至少一个音频分片的标识及其对应的音频空间描述信息，所述音频空间描述信息用于描述所述至少一个音频分片的关联区域。

【技术特征摘要】
1.一种音频与视频视角匹配的方法，其特征在于，包括：服务器接收客户端发送的用于获取全景视频的媒体展示描述MPD文件的第一请求消息，所述第一请求消息中携带有所述MPD文件的标识；所述服务器根据所述MPD文件的标识，向所述客户端返回所述MPD文件，所述MPD文件中包括至少一个音频分片的标识及其对应的音频空间描述信息，所述音频空间描述信息用于描述所述至少一个音频分片的关联区域。2.如权利要求1所述的方法，其特征在于，所述MPD文件中还包括所述MPD文件中的至少一个音频分片的区域匹配条件和/或多音频分片的匹配策略。3.如权利要求1或2所述的方法，其特征在于，所述方法还包括：所述服务器接收所述客户端发送的用于获取视频分片的第二请求消息，所述第二请求消息中携带有所述视频分片的标识；所述服务器根据所述视频分片的标识，向所述客户端发送所述视频分片。4.如权利要求3所述的方法，其特征在于，所述方法还包括：所述服务器接收所述客户端发送的用于获取与所述视频分片匹配的第一音频分片的第三请求消息，所述第三请求消息中携带有所述第一音频分片的标识；所述服务器根据所述第一音频分片的标识，向所述客户端发送所述第一音频分片。5.一种音频与视频视角匹配的方法，其特征在于，包括：客户端向服务器发送用于获取全景视频的媒体展示描述MPD文件的第一请求消息，所述第一请求消息中携带有所述MPD文件的标识；所述客户端接收所述服务器根据所述MPD文件的标识反馈的所述MPD文件，所述MPD文件中包括至少一个音频分片的标识及其对应的空间描述信息，所述音频空间描述信息用于描述所述MPD文件中的至少一个音频分片的关联区域；所述客户端根据用户的当前视角范围和所述至少一个音频空间描述信息，确定与所述当前视角范围匹配的第一音频分片。6.如权利要求5所述的方法，其特征在于，所述MPD文件中还包括所述MPD文件中的至少一个音频分片的区域匹配条件和/或多音频分片的匹配策略。7.如权利要求5或6所述的方法，其特征在于，所述客户端根据用户的当前视角范围和所述至少一个音频空间描述信息，确定与所述当前视角范围匹配的第一音频分片，包括：所述客户端根据所述至少一个音频空间描述信息得到所述MPD文件中的至少一个音频分片在所述全景视频中的至少一个关联区域；所述客户端将所述至少一个关联区域中与所述当前视角范围内相匹配的关联区域对应的音频分片确定为备选音频分片；若只存在一个备选音频分片时，将所述备选音频分片确定为第一音频分片；若存在至少两个备选音频分片时，根据所述多音频分片的匹配策略，确定第一音频分片；若不存在备选音频分片时，将预配置的默认音频分片定为第一音频分片。8.如权利要求7所述的方法，其特征在于，所述至少一个关联区域中与所述当前视角范围内相匹配的关联区域为与所述当前视角范围相同的关联区域；或，与所述当前视角范围满足所述区域匹配条件的关联区域。9.如权利要求8所述的方法，其特征在于，所述与所述当前视角范围满足所述区域匹配条件的关联区域，包括：落入所述当前视角范围的关联区域；或，与所述当前视角范围的匹配度大于预设阈值的关联区域。10.如权利要求5所述的方法，其特征在于，所述方法还包括：所述客户端将所述MPD文件中包括的至少一个音频分片下载至所述客户端本地，所述客户端在根据用户的当前视角范围和所述至少一个音频空间描述信息，确定与所述当前视角范围匹配的第一音频分片之后，从下载至本地的至少一个音频分片中获取所述第一音频分片进行解码播放。11.一种服务器，其特征在于，包括：接收单元，用于接收客户端发送的用于获取全景视频的媒体展示描述MPD文件的第一请求消息，所述第一请求消息中携带有所述MPD文件的标识；处理单元，用于根据所述MPD文件的标识，向所述客户端返回所述MPD文件，所述MPD文件中包括至...

【专利技术属性】
技术研发人员：高莹，顾迎节，张尧烨，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44