动态控制指纹识别速率以促进媒体内容的时间精确修正制造技术

一种计算系统基于与由客户端以某一帧速率产生的查询指纹进行的指纹匹配而识别正由所述客户端接收的媒体流。所述计算系统接着使所述客户端增大所述帧速率，以便促进所述计算系统在所述媒体流内的真实时间和根据所述客户端的时钟的客户端时间之间建立同步锁。所述计算系统接着将所述建立的同步锁用作将在所述媒体流中应执行内容修正的真实时间点映射到所述客户端应执行所述内容修正的客户端时间点的基础。并且，所述计算系统使所述客户端在所述确定的客户端时间点执行所述内容修正。

Dynamic control of fingerprint recognition rate to promote accurate time correction of media content

【技术实现步骤摘要】
【国外来华专利技术】动态控制指纹识别速率以促进媒体内容的时间精确修正相关申请的交叉引用本申请要求2018年10月22日申请的第16/166,561号美国专利申请和2018年7月16日申请的第62/698,629号美国临时专利申请的优先权，所述申请中的每一个的全部内容在此以引用的方式并入。本申请还与2018年10月22日提交的第16/166,948号美国专利申请有关，所述申请的全部内容在此以引用的方式并入。
技术介绍
典型媒体客户端用于接收表示媒体内容(例如，视频和/或音频内容)的模拟或数字媒体流，和输出媒体内容和/或转发所述流以用于在例如显示屏和/或音频扬声器的用户接口上呈现内容。此类客户端的实例包含电视、计算机显示器、投影系统、扩音器、头戴式耳机、机顶盒(例如，有线或卫星电视接收器)、数字视频记录器、收音机、个人计算机、移动通信装置、游戏控制台、流媒体播放器等。举例来说，电视可以接收广播流(例如，通过空气、从机顶盒、通过因特网连接或以另一方式)，并且可向用户呈现所述广播流的媒体内容。作为另一实例，机顶盒可接收来自多信道视频节目分配器的广播流，并且可通过高清多媒体接口(HDMI)缆线或其它接口将所述流的媒体内容输出到电视和/或音频/视频接收器以供播出。作为再一实例，数字视频或音频记录器可同样地接收广播流，但可存储所述流供以后播出。作为又一实例，扩音器或头戴式耳机可接收来自收音机、计算机或其它装置的广播音频流，并且可向用户呈现所述流的音频内容。许多其它实例也是可能的。
技术实现思路
当媒体客户端接收媒体流时，在某些情形中，客户端修正流的媒体内容的一部分可为有用的。例如，可为有用的是，客户端用替换广告或用其它替换内容动态地替换广告或媒体内容的其它片段，使得当向用户播出内容时，用户将接收到替换广告，而不是原先包含的广告。作为另一实例，可为有用的是，客户端用叠加或分屏内容(例如，信道标识、上下文信息、广告内容等)动态补充媒体内容的一部分，使得当正对用户播出内容时，用户将接收到所述补充内容以及原先包含的内容。另外，可能需要客户端在媒体流内的特定时间点执行此内容修正。举例来说，如果客户端要用替换广告动态地替换现有广告，那么可能需要客户端将替换广告定位在媒体流中现有广告原本将已开始的时间。同样地，如果客户端要用与媒体内容的特定部分有关的叠加补充那部分，那么可能需要客户端在那部分开始时开始所述叠加。许多实例也是可能的。更确切地说，讨论中的媒体流可定义例如视频帧和/或音频帧的帧的序列，且可能需要客户端以帧精确为基础执行内容修正。举例来说，对于广告替换，可能需要客户端精确地在现有广告的第一帧处开始插入替换广告，代替现有广告。且为了将叠加添加到媒体流的特定部分，可能需要客户端在媒体流的那部分的第一帧处或以与所述帧成特定关系的方式开始叠加。为了促进使客户端执行此内容修正，客户端可能需要获悉修正即将发生的特定时间点。然而，在实践中，可能会在客户端未知的时间线上定义修正时间点。举例来说，可在媒体流自身内的参考时间线上定义修正时间点，但客户端可能不具有针对所述时间线的上下文。因此，为客户端提供所述修正时间点可能无法使客户端在媒体流中所要的时间点执行所述修正。作为这个情况的非限制性实例，考虑定义可出现于电视广播内的广告荚的媒体流。广告荚包括广告序列，例如，电视商业广告的序列。通过此实例，客户端可以是正接收和呈现特定电视信道的线性广播馈送的电视，且广告荚可出现于所述馈送内的任何时刻。举例来说，尤其在例如体育赛事等直播的情况下，广告荚在此馈送中出现的时间可能是不可预测的。替代地，广告荚可出现于特定安排的时间。在此实例中，所要修正可以是对广告荚内的特定广告的替换(例如，用不同广告或其它替换内容取代所述广告)。举例来说，如果广告荚是广告A1、A2、A3、A4的序列，那么所要的修正可以是广告A3的替换。在此情况下，广告荚可定义内部时间线，其开始于时间T＝0且继续到广告荚的末尾，且广告A3可开始于所述时间线上的时间TA3。然而，客户端可能对所述时间线没有概念。客户端可具有它自己的内部时钟，所述内部时钟具有定义“客户端时间”的时间线(例如，日时间或其它内部时间参考)。但在未提前知晓广告荚时间线存在于客户端时间内何处的情况下，仅给出值TA3作为所要的内容修正时间点将无法使客户端在需要时执行广告替换。解决这个问题的一个方式是执行指纹匹配，比较正由客户端接收的媒体流的带时间戳的查询指纹与已知媒体流(例如已知广告荚序列)的带时间戳的参考指纹。举例来说，客户端可产生客户端正接收的媒体流的帧的查询指纹，且可基于客户端的内部时钟对那些查询指纹加时间戳，且计算系统可接收那些带时间戳的查询指纹以供分析。另外，计算系统可具备已知媒体流(例如已知广告荚序列)的帧的参考指纹，其基于基准时间或沿着已知媒体流内的时间线定义的“真实时间”加时间戳。因此，计算系统可比较带时间戳的查询指纹与带时间戳的参考指纹，并且在发现指纹匹配时可得出匹配查询指纹的时间戳与匹配参考指纹的时间戳对应的结论。在匹配的查询和参考指纹的时间戳之间建立此相关性可构成在客户端时间与真实时间之间建立“同步锁”或时间映射。举例来说，匹配查询指纹与匹配参考指纹的时间戳之间的差可定义已知媒体流内的真实时间与客户端接收媒体流时的客户端时间之间的时间偏移。假设了解已知媒体流内的帧的真实时间点，计算系统可因此使用建立的同步锁来确定正由客户端接收的媒体流中的同一帧的相关联客户端时间点。举例来说，计算系统可应用真实时间与客户端时间之间的时间偏移，以便确定与给定真实时间点对应的客户端时间点。继续上文的广告荚实例，计算系统可因此使用建立的同步锁将真实时间值TA3映射到标示客户端应替换正由客户端接收的媒体流中的广告A3的客户端时间点(例如，客户端应开始广告替换的客户端时间点)的客户端时间值。并且，客户端可接着执行在那个确定的客户端时间点的广告A3的替换。然而，这个过程可出现的技术问题是，客户端无法以足以促进查询指纹与参考指纹之间的高置信度指纹匹配的速度产生查询指纹。具体地说，为了帮助节约客户端处的有限处理能力、内存和/或其它资源，客户端可布置成以相对较低的帧速率产生指纹，所述帧速率可远低于客户端正接收的媒体流的帧速率。因此，检测到的指纹匹配可能是不精确的，建立的同步锁可能是不精确的，且客户端可能在媒体流中的错误点有可能过早或过迟地结束执行所要的内容修正。例如，在视频具有每秒30帧的情况下，客户端可设置成例如每秒2帧的低帧速率产生查询指纹。但以那种低速率执行指纹匹配可能会导致低置信度指纹匹配。出现这种情况的一个原因是，媒体流可包含相同或几乎相同的帧的各种子序列，其与媒体序列中媒体内容在一段时间内根本不改变的部分对应。因此，以低速率产生的查询指纹中的一些可匹配多个参考指纹，从而导致低置信度匹配。公开一种帮助解决此技术问题的机构。根据本公开，客户端将以相对较低的速率(例如，在上述实例中每秒2帧)正常建立查询指纹，且计算系统将使用那些低速率查询指纹作为与已知媒体流的参考指纹本文档来自技高网...

【技术保护点】
1.一种方法，包括：/n通过计算系统接收表示正由客户端接收的媒体流的查询指纹，其中所述查询指纹由所述客户端以某一帧速率产生；/n通过计算系统确定正由所述客户端接收的所述媒体流是已知媒体流，其中所述确定是基于由所述计算系统进行的(i)以所述帧速率产生的所述查询指纹与(ii)表示所述已知媒体流的参考指纹的比较；/n响应于所述确定，通过所述计算系统使所述客户端增大所述客户端产生正由所述计算系统接收的所述查询指纹的所述帧速率；/n通过所述计算系统将以所述增大的帧速率产生的所述查询指纹用作在(i)沿着所述已知媒体流内的时间线定义的真实时间与(ii)根据所述客户端的时钟定义的客户端时间之间建立同步锁的基础；/n通过所述计算系统将所述建立的同步锁用作确定所述客户端在正由所述客户端接收的所述媒体流中应执行内容修正的客户端时间点的基础；以及/n使所述客户端在所述确定的客户端时间点执行所述内容修正。/n

【技术特征摘要】
【国外来华专利技术】20180716 US 62/698,629;20181022 US 16/166,5611.一种方法，包括：
通过计算系统接收表示正由客户端接收的媒体流的查询指纹，其中所述查询指纹由所述客户端以某一帧速率产生；
通过计算系统确定正由所述客户端接收的所述媒体流是已知媒体流，其中所述确定是基于由所述计算系统进行的(i)以所述帧速率产生的所述查询指纹与(ii)表示所述已知媒体流的参考指纹的比较；
响应于所述确定，通过所述计算系统使所述客户端增大所述客户端产生正由所述计算系统接收的所述查询指纹的所述帧速率；
通过所述计算系统将以所述增大的帧速率产生的所述查询指纹用作在(i)沿着所述已知媒体流内的时间线定义的真实时间与(ii)根据所述客户端的时钟定义的客户端时间之间建立同步锁的基础；
通过所述计算系统将所述建立的同步锁用作确定所述客户端在正由所述客户端接收的所述媒体流中应执行内容修正的客户端时间点的基础；以及
使所述客户端在所述确定的客户端时间点执行所述内容修正。


2.根据权利要求1所述的方法，其中所述计算系统由与所述客户端网络通信的服务器实施。


3.根据权利要求2所述的方法，其中使所述客户端增大所述客户端产生正由所述计算系统接收的所述查询指纹的所述帧速率包括向所述客户端传输指令，所述客户端配置成通过增大所述客户端产生正由所述计算系统接收的所述查询指纹的所述帧速率来对所述指令作出响应。


4.根据权利要求2所述的方法，其中使所述客户端在所述确定的客户端时间点执行所述内容修正包括向所述客户端传输指示所述确定的客户端时间点的内容修正指令。


5.根据权利要求1所述的方法，其中将以所述增大的帧速率产生的所述查询指纹用作在(i)沿着所述已知媒体流内的时间线定义的真实时间与(ii)根据所述客户端的时钟定义的客户端时间之间建立同步锁的基础包括：
比较以所述增大的帧速率产生的所述查询指纹与所述已知媒体流的参考指纹；
基于以所述增大的帧速率产生的所述查询指纹与所述已知媒体流的所述参考指纹的所述比较，识别定义查询指纹和参考指纹之间的匹配的至少一个匹配点；以及
基于所述查询指纹的客户端时间时间戳与所述参考指纹的真实时间时间戳之间的映射建立所述同步锁。


6.根据权利要求1所述的方法，其中将所述建立的同步锁用作确定所述客户端在正由所述客户端接收的所述媒体流中应执行所述内容修正的客户端时间点的基础包括将所述建立的同步锁用作将在所述已知媒体流中应执行所述内容修正的预定义真实时间点映射到所述客户端在正由所述客户端接收的所述媒体流中应执行所述内容修正的对应客户端时间点的基础。


7.根据权利要求1所述的方法，其中所述内容修正包括内容替换。


8.根据权利要求7所述的方法，其中正由所述客户端接收的所述媒体流包括定义广告序列的广告荚，并且其中所述内容修正包括用替换媒体内容替换所述序列中的广告。


9.根据权利要求7所述的方法，进一步包括向所述客户端提供所述客户端将用来取代正由所述客户端接收的所述媒体流的替换内容。


10.一种计算系统，包括：
网络通信接口，通过所述网络通信接口传输和接收；
处理单元；
非暂时性数据存储装置；以及
程序指令，其存储在所述非暂时性数据存储装置中且可由所述处理单元执行以使所述计算系统实行包含以下的操作：
识别正由媒体客户端接收的媒体流，其中所述识别包含：(i)接收所述媒体流的查询指纹，所述接收到的查询指纹由所述媒体客户端以某一帧速率产生，和(ii)匹配所述接收到的查询指纹与已知媒体流的参考指纹，
响应于识别所述媒体流，向所述媒体客户端传输使所述媒体客户端增大产生所述查询指纹的所述帧速率的指令，
基于由所述媒体客户端以所述增大的帧速率产生的所述查询指纹，...

【专利技术属性】
技术研发人员：K·R·蒂伦，S·C·麦钱特，P·东克尔，M·K·克里默，S·D·舍夫，
申请(专利权)人：格雷斯诺特公司，
类型：发明
国别省市：美国;US