用于网页播放媒体流的回声消除的方法、装置及设备制造方法及图纸

本申请通过一种用于网页播放媒体流的回声消除的方法、装置及设备，首先获取所述媒体流中的音频数据，接着创建循环脚本，在所述循环脚本中包含近端对象和远端对象，其中，所述近端对象用于获取所述音频数据，所述远端对象用于监听所述近端对象的状态，然后创建媒体流，当所述远端对象监听到所述近端对象发送所述音频数据，从所述近端对象获取所述音频数据，并构建所述媒体流的音频流，最后创建音频元素，将所述媒体流确定为所述音频元素的源内容，以实现所述网页播放媒体流的本地播放及回声消除。通过该方法，可将网页播放媒体流的声音作为回声消除，不会被传输至远端，大大提升了一些网络交互应用场景下的用户体验。

【技术实现步骤摘要】
用于网页播放媒体流的回声消除的方法、装置及设备
本申请涉及网络多媒体处理
，尤其涉及一种用于网页播放媒体流的回声消除的技术。
技术介绍
随着网络传输速度的提升，以及上网成本的下降，网络带宽和流量对于网络视频的限制已经不那么明显，包括通过网络实现音视频互动等的互联网视频应用已经成为人们日常工作和生活中的一部分。在通过网络实现音视频互动过程中，不可避免会产生回声。通常各种在线互动的应用或浏览器中会采用AEC(AutomaticEchoCancellation，自动回声消除)技术，以该在线互动的应用或网页发送至扬声器播放的音频数据为依据，根据所处环境的回声路径特征，模拟出回声数据，从麦克风采集到的音频数据中滤除模拟出的回声数据，以实现回声消除。AEC技术的原理如图1所示。然而在一些音视频互动的应用场景中，比如，在本地打开一个网页播放媒体流的同时在另一个网页上与他人进行在线互动聊天，本地网页播放媒体流的声音若不是通过耳机而是通过扬声器播放，则会被本地麦克风采集到，这也是一种回声。对于某些浏览器来说，比如chrome，由于该声音不是在线互动聊天中产生的，不是通过在线互动聊天网页播放到扬声器的音频数据，无法通过浏览器的AEC功能消除，当进行在线互动聊天时会和本地聊天声音一起通过网络传输给远端。同样地，若远端设备其它网页播放的声音也是通过扬声器而不是耳机播放，则当在另一个网页上进行在线互动聊天时，其麦克风也会采集到该声音，无法通过其浏览器的AEC功能将其作为回声加以消除，而是通过网络传输至本地。使得此类在线交互应用场景下的用户体验不佳。
技术实现思路
本申请的目的是提供一种用于网页播放媒体流的回声消除的方法、装置及设备，用以解决一些在线交互应用场景下的回声消除的技术问题。根据本申请的一个方面，提供了一种用于网页播放媒体流的回声消除的方法，其中，所述方法包括：获取所述媒体流中的音频数据；创建循环脚本，在所述循环脚本中包含近端对象和远端对象，其中，所述近端对象用于获取所述音频数据，所述远端对象用于监听所述近端对象的状态；创建媒体流，当所述远端对象监听到所述近端对象发送所述音频数据，则从所述近端对象获取所述音频数据，并构建所述媒体流的音频流；创建音频元素，将所述媒体流确定为所述音频元素的源内容，以实现所述网页播放媒体流的本地播放及回声消除。可选地，其中，所述获取所述媒体流中的音频数据包括：基于获取的所述媒体流，获取音频流；基于所述音频流，获取所述音频数据。可选地，其中，所述基于所述音频流，获取所述音频数据包括：基于音频解码器，将所述音频流解码成所述音频数据。可选地，其中，所述创建音频元素，将所述媒体流确定为所述音频元素的源内容，以实现所述网页播放媒体流的本地播放及回声消除包括：创建音频元素，将所述媒体流确定为所述音频元素的源内容，以实现本地播放；基于浏览器的回声消除功能，确定所述远端对象获取的音频数据对应的回声参考音频数据；从本地收录的音频数据中删除所述回声参考音频数据，以实现所述网页播放媒体流的回声消除。可选地，其中，所述获取所述媒体流中的音频数据还包括：获取所述媒体流中的视频数据，并同步所述视频数据及所述音频数据；其中，所述方法还包括：将所述视频数据发送至显示源，以实现与所述音频数据本地同步播放。可选地，其中，所述获取所述媒体流中的视频数据包括：基于获取的所述媒体流，获取视频流；基于所述视频流，获取所述视频数据。可选地，所述所述基于所述视频流，获取所述视频数据包括：基于视频解码器，将所述视频流解码成所述视频数据。根据本申请的另一方面，还提供了一种用于网页播放媒体流的回声消除的装置，其中，所述装置包括：第一模块，用于获取所述媒体流中的音频数据；第二模块，用于创建循环脚本，在所述循环脚本中包含近端对象和远端对象，其中，所述近端对象用于获取所述音频数据，所述远端对象用于监听所述近端对象的状态；第三模块，用于创建媒体流，当所述远端对象监听到所述近端对象发送所述音频数据，从所述近端对象获取所述音频数据，并构建所述媒体流的音频流；第四模块，用于创建音频元素，将所述媒体流确定为所述音频元素的源内容，以实现所述网页播放媒体流的本地播放及回声消除。可选地，其中，所述第一模块还包括：用于获取所述媒体流中的视频数据，并同步所述视频数据及所述音频数据；其中，所述装置还包括：第五模块，用于将所述视频数据发送至显示源，以实现与所述音频数据本地同步播放。与现有技术相比，本申请通过一种用于网页播放媒体流的回声消除的方法、装置及设备，首先获取所述媒体流中的音频数据，接着创建循环脚本，在所述循环脚本中包含近端对象和远端对象，其中，所述近端对象用于获取所述音频数据，所述远端对象用于监听所述近端对象的状态，然后创建媒体流，当所述远端对象监听到所述近端对象发送所述音频数据，从所述近端对象获取所述音频数据，并构建所述媒体流的音频流，最后创建音频元素，将所述媒体流确定为所述音频元素的源内容，以实现所述网页播放媒体流的本地播放及回声消除。通过该方法，可消除本地音频播放源，如扬声器，播放的网页媒体流所产生的回声，使得网页播放媒体流的声音不会被传输至远端，大大提升了一些网络交互应用场景下的用户体验。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显：图1示出AEC自动回声消除技术的原理图；图2示出根据本申请一个方面的一种用于网页播放媒体流的回声消除的方法流程图；图3示出根据本申请一个方面的一种用于网页播放媒体流的回声消除装置示意图；附图中相同或相似的附图标记代表相同或相似的部件。具体实施方式下面结合附图对本专利技术作进一步详细描述。在本申请一个典型的配置中，系统各模块和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flashRAM)。内存是计算机可读介质的示例。计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的本文档来自技高网...

【技术保护点】
1.一种用于网页播放媒体流的回声消除的方法，其特征在于，所述方法包括：/n获取所述媒体流中的音频数据；/n创建循环脚本，在所述循环脚本中包含近端对象和远端对象，其中，所述近端对象用于获取所述音频数据，所述远端对象用于监听所述近端对象的状态；/n创建媒体流，当所述远端对象监听到所述近端对象发送所述音频数据流，从所述近端对象获取所述音频数据，并构建所述媒体流的音频流；/n创建音频元素，将所述媒体流确定为所述音频元素的源内容，以实现所述网页播放媒体流的本地播放及回声消除。/n

【技术特征摘要】
1.一种用于网页播放媒体流的回声消除的方法，其特征在于，所述方法包括：
获取所述媒体流中的音频数据；
创建循环脚本，在所述循环脚本中包含近端对象和远端对象，其中，所述近端对象用于获取所述音频数据，所述远端对象用于监听所述近端对象的状态；
创建媒体流，当所述远端对象监听到所述近端对象发送所述音频数据流，从所述近端对象获取所述音频数据，并构建所述媒体流的音频流；
创建音频元素，将所述媒体流确定为所述音频元素的源内容，以实现所述网页播放媒体流的本地播放及回声消除。


2.根据权利要求1所述的方法，其特征在于，所述获取所述媒体流中的音频数据包括：
基于获取的所述媒体流，获取音频流；
基于所述音频流，获取所述音频数据。


3.根据权利要求2所述的方法，其特征在于，所述基于所述音频流，获取所述音频数据包括：
基于音频解码器，将所述音频流解码成所述音频数据。


4.根据权利要求1所述的方法，其特征在于，所述创建音频元素，将所述媒体流确定为所述音频元素的源内容，以实现所述网页播放媒体流的本地播放及回声消除包括：
创建音频元素，将所述媒体流确定为所述音频元素的源内容，以实现本地播放；
基于浏览器的回声消除功能，确定所述远端对象获取的音频数据对应的回声参考音频数据；
从本地收录的音频数据中删除所述回声参考音频数据，以实现所述网页播放媒体流的回声消除。


5.根据权利要求1所述的方法，其特征在于，所述获取所述媒体流中的音频数据还包括：获取所述媒体流中的视频数据，并同步所述视频数据及所述音频数据；
其中，所述方法还包括：
将所述视频数据发送至显示源，以实现与所述音频数据本地同步播放。


6...

【专利技术属性】
技术研发人员：张慧，董学军，
申请(专利权)人：上海视龙软件有限公司，
类型：发明
国别省市：上海;31