用于使媒体内容的观看者效果信号与媒体内容的媒体信号同步的方法和系统技术方案

描述了一种用于将媒体内容的观看者效果信号与媒体内容的媒体信号同步的方法。方法通常具有：使用麦克风从周围环境中捕获媒体信号的音频部分；从所捕获的媒体信号的音频部分获得指纹；根据与至少参考媒体内容的参考时间位置相关联的参考指纹，识别对应于所获得的指纹的媒体内容的时间位置；获得与所识别的媒体内容的时间位置相关联的观看者效果信号；以及输出使用所识别的媒体内容的时间位置的与媒体信号同步的观看者效果信号，用于向观看者产生与媒体内容的媒体信号同步的效果。与媒体内容的媒体信号同步的效果。与媒体内容的媒体信号同步的效果。

Method and system for synchronizing viewer effect signal of media content with media signal of media content

【技术实现步骤摘要】
【国外来华专利技术】用于使媒体内容的观看者效果信号与媒体内容的媒体信号同步的方法和系统


[0001]本公开涉及媒体识别和同步的领域。更具体地，本说明书涉及用于将诸如触觉信号的观看者效果信号与视频和音频流媒体同步的方法和装置。

技术介绍

[0002]在控制公共、商业或家庭环境中使用的运动反馈系统时，挑战在于用于游戏、长篇电影、游乐园游乐设施、虚拟现实等的触觉信号与回放期间的音频或视频信号同步，使得触觉信号及时传递至运动反馈系统，以使平台运动与再现的视听信号相匹配。所需的精度可能为数毫秒。
[0003]在某些应用中，触觉信号不与音频或视频信号同步传输；播放装置必须单独检索触觉信号，并将其与音频或视频信号同步回放。在某些情况下，媒体的音频信号可能只能作为环境声音的一部分，作为扬声器的输出。例如，环境声音可以来自单声道音频设置、立体声设置或多声道环绕声音频，例如，5.1环绕声或7.1环绕声。作为声音捕获位置的函数、作为正在使用的音频通道数量的函数、和/或作为正在播放媒体的哪一个语言轨道的函数，由于诸如混响、寄生噪声、未知声级、失真、回声、声音可变性等因素，这可能导致识别媒体的问题。
[0004]因此，需要一种改进的同步方法和装置，该方法和装置解决了上述挑战。

技术实现思路

[0005]根据本专利技术的第一方面，提供了一种用于将媒体内容的观看者效果信号与媒体内容的媒体信号同步的系统，所述系统包括：至少一个麦克风，所述麦克风从周围环境中捕获所述媒体信号的音频部分；控制器，所述控制器通信地耦合到所述至少一个麦克风，所述控制器具有处理器和其上存储有指令的非暂时性存储器，当由所述处理器执行时，所述指令执行以下步骤：从所捕获的媒体信号的音频部分获得指纹；根据与参考媒体内容的参考时间位置相关联的参考指纹，识别对应于所获得的指纹的媒体内容的时间位置；获得与所识别的媒体内容的时间位置相关联的所述观看者效果信号；以及输出使用所识别的媒体内容的时间位置的与所述媒体信号同步的所述观看者效果信号，能够用于向观看者产生与所述媒体信号同步的效果。
[0006]进一步根据本专利技术的第一方面，例如，可以使至少一个麦克风与观看者座位构成一体。
[0007]更进一步，根据本专利技术的第一方面，所述至少一个麦克风可以例如包括捕获媒体信号的不同音频部分的多个麦克风。
[0008]更进一步，根据本专利技术的第一方面，所述多个麦克风可以例如分布在所述周围环境中。
[0009]更进一步，根据本专利技术的第一方面，可以例如针对所述媒体信号的每一个捕获的
音频部分执行所述获得、识别和获得步骤。
[0010]更进一步，根据本专利技术的第一方面，所述参考指纹可以例如存储在远程数据库上，并且在所述识别期间能够由所述控制器访问。
[0011]更进一步，根据本专利技术的第一方面，所述获得观看者效果信号可以例如包括从所述远程数据库中检索所述观看者效果信号。
[0012]更进一步，根据本专利技术的第一方面，所述控制器可以例如具有增益控制模块，所述增益控制模块在所述识别之前将给定的增益应用于所捕获的音频部分。
[0013]更进一步，根据本专利技术的第一方面，当峰值幅度高于饱和阈值时，所述增益控制模块可以例如减小所给定的增益，当峰值幅度低于可检测声音阈值时，增加所给定的增益，并且当峰值幅度高于可检测声音阈值并且低于饱和阈值时，保持所给定的增益。
[0014]更进一步，根据本专利技术的第一方面，该系统还可以例如包括通信地耦合到所述控制器的观看者效果产生装置，所述观看者效果产生装置基于与所述媒体信号同步的所输出的观看者效果信号向观看者产生效果。
[0015]更进一步，根据本专利技术的第一方面，所述观看者效果产生装置可以例如是运动反馈装置，所述观看者效果信号可以例如对应于触觉信号。
[0016]根据本专利技术的第二方面，提供了一种用于将媒体内容的观看者效果信号与所述媒体内容的媒体信号同步的方法，所述观看者效果信号用于向观看者产生效果，所述方法包括：使用至少一个麦克风从周围环境中捕获所述媒体信号的音频部分；从所捕获的媒体信号的音频部分获得指纹；根据与至少参考媒体内容的参考时间位置相关联的参考指纹，识别对应于所获得的指纹的媒体内容的时间位置；获得与所识别的媒体内容的时间位置相关联的所述观看者效果信号；以及使用用于产生与所述媒体内容的所述媒体信号同步的效果的所识别的媒体内容的时间位置，输出与所述媒体信号同步的所述观看者效果信号。
[0017]进一步根据本公开的第二方面，所述系统可以例如还包括基于与所述媒体信号同步的所输出的观看者效果信号，产生与所述媒体内容的所述媒体信号同步的效果。
[0018]更进一步，根据本专利技术的第二方面，所述观看者效果信号可以例如是触觉信号，所述产生可以例如包括根据所述触觉信号激活运动反馈装置的一个或多个致动器。
[0019]更进一步，根据本专利技术的第二方面，该方法可以例如还包括接收所述媒体内容的身份，所述参考指纹与所述媒体内容的所述身份相关联。
[0020]更进一步，根据本专利技术的第二方面，所述捕获可以例如包括捕获所述媒体信号的多个音频部分，针对所述媒体信号的每一个捕获的音频部分执行所述获得、识别和获得步骤。
[0021]更进一步，根据本专利技术的第二方面，所述参考指纹可以例如存储在远程数据库上，所述识别可以例如包括从所述远程数据库访问所述参考指纹。
[0022]更进一步，根据本专利技术的第二方面，所述获得观看者效果信号可以例如包括从所述远程数据库中检索所述观看者效果信号。
[0023]更进一步，根据本专利技术的第二方面，所述获得指纹可以例如包括在所述识别之前将给定的增益应用于所捕获的音频部分，所给定的增益可以例如取决于峰值幅度。
[0024]更进一步，根据本专利技术的第二方面，当峰值幅度高于饱和阈值时，所给定的增益可以例如减小，当峰值幅度低于可检测声音阈值时，增加所给定的增益，并且当峰值幅度高于
可检测声音阈值并且低于饱和阈值时，保持所给定的增益。
[0025]根据本专利技术的第三方面，提供了一种用于确定媒体内容的观看者效果信号是否与所述媒体内容的媒体信号同步的系统，所述系统包括：观看者效果产生装置，所述观看者效果产生装置基于所述观看者效果信号向观看者产生效果；至少一个麦克风，所述麦克风从周围环境中捕获所述媒体信号的音频部分；以及控制器，所述控制器通信地耦合到所述观看者效果产生装置和所述至少一个麦克风，所述控制器具有处理器和其上存储有指令的非暂时性存储器，当由所述处理器执行时，所述指令执行以下步骤：从所捕获的媒体信号的音频部分获得指纹；基于所述观看者效果信号的当前时间位置，在所述媒体内容的参考时间位置检索所述媒体信号的参考指纹；将所获得的指纹和所述参考指纹相互比较；基于所述比较，确定所述观看者效果信号是否与所述媒体信号同步；以及根据所述确定，输出与所述媒体信号同步的所述观看者效果信号，用于使用所述观看者效果产生装置产生与所述媒体内容同步的效果。
[0026]进一步根据本专利技术的第三方面，该本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于将媒体内容的观看者效果信号与媒体内容的媒体信号同步的系统，所述系统包括：至少一个麦克风，从周围环境中捕获所述媒体信号的音频部分；控制器，通信地耦合到所述至少一个麦克风，所述控制器具有处理器和存储有指令的非暂时性存储器，当由所述处理器执行时，所述指令执行以下步骤：从所捕获的媒体信号的音频部分获得指纹；根据与参考媒体内容的参考时间位置相关联的参考指纹，识别对应于所获得的指纹的媒体内容的时间位置；获得与所识别的媒体内容的时间位置相关联的所述观看者效果信号；以及输出使用所识别的媒体内容的时间位置的与所述媒体信号同步的所述观看者效果信号，能够用于向观看者产生与所述媒体信号同步的效果。2.根据权利要求1所述的系统，其中，使所述至少一个麦克风与观看者座位构成一体。3.根据权利要求1或2所述的系统，其中，所述至少一个麦克风包括捕获所述媒体信号的不同音频部分的多个麦克风。4.根据权利要求3所述的系统，其中，所述多个麦克风分布在所述周围环境内。5.根据权利要求3所述的系统，其中，针对所捕获的媒体信号的音频部分中的每一个执行获得、识别和获得步骤。6.根据权利要求1至5中任一项所述的系统，其中，所述参考指纹存储在远程数据库上，并且在识别期间能够由所述控制器访问。7.根据权利要求1至6中任一项所述的系统，其中，获得所述观看者效果信号包括从远程数据库中检索所述观看者效果信号。8.根据权利要求1至7中任一项所述的系统，其中，所述控制器具有增益控制模块，所述增益控制模块在识别之前将给定的增益应用于所捕获的音频部分。9.根据权利要求8所述的系统，其中，当峰值幅度高于饱和阈值时，所述增益控制模块减小所给定的增益，当所述峰值幅度低于可检测声音阈值时，增加所给定的增益，并且当所述峰值幅度高于所述可检测声音阈值并且低于所述饱和阈值时，保持所给定的增益。10.根据权利要求1至9中任一项所述的系统，还包括通信地耦合到所述控制器的观看者效果产生装置，所述观看者效果产生装置基于与所述媒体信号同步的所输出的观看者效果信号向观看者产生效果。11.根据权利要求10所述的系统，其中，所述观看者效果产生装置是运动反馈装置，所述观看者效果信号对应于触觉信号。12.一种用于将媒体内容的观看者效果信号与所述媒体内容的媒体信号同步的方法，所述观看者效果信号用于向观看者产生效果，所述方法包括：使用至少一个麦克风从周围环境中捕获所述媒体信号的音频部分；从所捕获的媒体信号的音频部分获得指纹；根据与至少参考媒体内容的参考时间位置相关联的参考指纹，识别对应于所获得的指纹的媒体内容的时间位置；获得与所识别的媒体内容的时间位置相关联的所述观看者效果信号；以及输出使用所识别的媒体内容的时间位置的与所述媒体信号同步的所述观看者效果信
号，用于产生与所述媒体内容的媒体信号同步的效果。13.根据权利要求12所述的方法，还包括基于与所述媒体信号同步的所输出的观看者效果信号，产生与所述媒体内容的媒体信号同步的效果。14.根据权利要求13所述的方法，其中，所述观看者效果信号是触觉信号，产生包括根据所述触觉信号激活运动反馈装置的一个或多个致动器。15.根据权利要求12至14中任一项所述的方法，还包括接收所述媒体内容的身份，所述参考指纹与所述媒体内容的身份相关联。16.根据权利要求12至15中任一项所述的方法，其中，捕获包括捕获所述媒体信号的多个音频部分，针对所捕获的媒体信号的音频部分中的每一个执行获得、识别和获得的步骤。17.根据权利要求12至16中任一项所述的方法，其中，所述参考指纹存储在远程数据库上，识别包括从所述远程数据库访问所述参考指纹。18.根据权利要求12至17中任一项所述的方法，其中，获得所述观看者效果信号包括从远程数据库中检索所述观看者效果信号。19.根据权利要求12至18中任一项所述的方法，其中，获得所述指纹包括在识别之前将给定的增益应用于所捕获的音频部分，所给定的增益取决于峰值幅度。20.根据权利要求19所述的方法，其中，当所述峰值幅度高于饱和阈值时，所给定的增益减小，当所述峰值幅度低于可检测声音阈值时，增加所给定的增益，并且当所述峰值幅度高于所述可检测声音阈值并且低于所述饱和阈值时，保持所给定的增益。21.一种用于确定媒体内容的观看者效果信号是否与所述媒体内容的媒体信号同步的系统，所述系统包括：观看者效果产生装置，基于所述观看者效果信号向观看者产生效果；至少一个麦克风，从周围环境中捕获所述媒体信号的音频部分；以及控制器，通信地耦合到所述观看者效果产生装置和所述至少一个麦克风，所述控制器具有处理器和存储有指令的非暂时性存储器，当...

【专利技术属性】
技术研发人员：安德烈，
申请(专利权)人：迪宝克技术公司，
类型：发明
国别省市：