使用低速率指纹识别基于内插建立及使用时间映射以帮助促成帧准确内容修正制造技术

本发明专利技术涉及一种媒体客户端，其确定(i)表示由所述客户端接收的媒体流的查询指纹与(ii)参考指纹之间的多个匹配点，每一经识别匹配点定义用根据所述客户端的时钟定义的客户端时间加时间戳的查询指纹与用根据已知媒体流内的时间线定义的真实时间加时间戳的参考指纹之间的相应匹配。此外，所述客户端基于所述经确定多个匹配点的所述时间戳执行线性回归以在真实时间与客户端时间之间建立映射。接着，所述客户端使用所述经建立映射作为确定在其处所述客户端应关于由所述客户端接收的媒体流而执行一动作的客户端时间点的基础。且所述客户端在所述经确定客户端时间点处执行所述动作。

Low rate fingerprint recognition based on interpolation and time mapping to help facilitate accurate content correction

【技术实现步骤摘要】
【国外来华专利技术】使用低速率指纹识别基于内插建立及使用时间映射以帮助促成帧准确内容修正相关申请案的参考本申请案主张2018年10月22日申请的第16/166,981号美国专利申请案及2018年7月19日申请的第62/700,660号美国临时专利申请案的优先权，所述美国专利申请案中的每一者的全部内容特此通过引用方式并入。本申请案还涉及2018年10月22日申请的第16/166,971号另一美国专利申请案，所述美国专利申请案的全部内容特此通过引用方式并入。
技术介绍
典型的媒体客户端操作以接收表示媒体内容(例如视频及/或音频内容)的模拟或数字媒体流及输出所述媒体内容及/或转发所述流以在用户接口(例如显示器屏幕及/或音频扬声器)上呈现所述内容。此类客户端的实例包含电视机、计算机监视器、投影系统、扬声器、耳机、机顶盒(例如，有线电视或卫星TV接收器)、数字录像机、收音机、个人计算机、移动通信装置、游戏机、流式媒体播放器及类似物。作为实例，媒体客户端可为电视机，其可接收媒体流(例如，空中广播流、从机顶盒输出的媒体流、从数字存储媒体播放的媒流体、因特网流或另一此流)且可向用户呈现所述流的媒体内容。作为另一实例，媒体客户端可为机顶盒，其可从多通道视频节目分配器接收广播流且可经由高清多媒体接口(HDMI)电缆或其它接口将所述流的媒体内容输出到电视机及/或音频/视频接收器以进行播放。作为又另一实例，媒体客户端可为数字录像机或录音机，其同样可接收广播流但可存储所述流供稍后播放。且作为又另一实例，媒体客户端可为扬声器或耳机，其可从收音机、计算机或其它接收器或音频存储装置接收音频流且可向用户呈现所述流的音频内容。众多其它实例同样也是可能的。
技术实现思路
当媒体客户端接收媒体流时，在某些情景中可为有用的是，使客户端修正流的媒体内容的一部分。举例来说，可为有用的是，使客户端用替换ad或用其它替换内容动态地替换ad或媒体内容的其它片段，使得当向用户播出内容时，用户可接收替换ad而非最初包含的ad。作为另一实例，可为有用的是，使客户端用叠加或分屏内容(例如通道识别、上下文信息、ad内容或类似物)动态地增补媒体内容的一部分，使得当向用户播出内容时，用户可与最初包含的内容一起接收增补内容。此外，可期望客户端在特定时间点处在媒体流内执行此内容修正。例如，如果客户端将要用替换ad动态地替换现存ad，那么可期望客户端在现存ad可能已开始时在一时间处将替换ad定位在媒体流中。同样地，如果客户端将要用与媒体内容的特定部分相关的叠加增补所述部分，那么可期望客户端在所述部分开始时开始叠加。其它实例同样也是可能的。更特定来说，讨论中的媒体流可定义帧序列，例如视频帧及/或音频帧，且可期望客户端以帧精确基础执行内容修正。例如，对于ad替换，可期望客户端精确地在现存ad的第一帧处开始插入替换ad来代替现存ad。且为了将叠加添加到媒体流的特定部分，可期望客户端在媒体流的所述部分的第一帧出或与媒体流的所述部分的第一帧成特定关系开始叠加。为了有利于使客户端执行此内容修正，客户端可能需要学习修正将要在其处发生的特定时间点。然而，在实践中，修正时间点可定义在客户端未知的时间线上。举例来说，修正时间点可在媒体流本身内的参考时间线上定义，但客户端可能不具有针对所述时间线的上下文。因此，向客户端提供所述修正时间点可能无法使客户端在媒体流中的所期望时间点处执行修正。作为此的非限制性实例，考虑定义可在电视广播内出现的ad群(pod)的媒体流。ad群包括一系列ad，例如电视广告。在此实例的情况下，客户端可为接收及呈现特定电视频道的线性广播馈送的电视机，且ad群可在任何时刻出现在所述馈送内。特别是在现场直播(例如，体育赛事)的情况下，例如，ad群出现在此馈送中的时间可为不可预测的。替代地，ad群可在具体排定时间出现。在此实例中，所期望的修正可为ad群内的特定ad的替换(例如，用不同ad或其它替换内容代替所述ad)。例如，如果ad群是ad序列A1、A2、A3、A4，那么所期望的修正可为替换adA3。在此情况中，ad群可定义内部时间线，在时间T＝0处开始且继续到ad群结束，且adA3可在所述时间线上的时间TA3处开始。然而，客户端可能缺乏针对所述时间线的上下文。客户端可具有其自身内部时钟，其具有定义“客户端时间”的时间线(例如，当日时间或其它内部时间参考)。但在不具有ad群时间线存在于客户端时间内的位置的高级知识的情况下，仅给定值TA3作为所期望的内容修正时间点将无法使客户端在期望时执行ad替换。解决此问题的一种方法是执行指纹匹配、比较由客户端接收的媒体流的加时间戳的查询指纹与已知媒体流(例如已知ad群序列)的加时间戳的参考指纹。例如，客户端可生成客户端正接收的媒体流的帧的查询指纹，且可基于客户端的内部时钟对所述查询指纹加时间戳，且计算系统可接收所述加时间戳的查询指纹以进行分析。此外，计算系统可被提供有基于沿已知媒体流内的时间线定义的参考时间或“真实时间”加时间戳的已知媒体流(例如已知ad群序列)的帧的参考指纹。计算系统可因此比较加时间戳的查询指纹与加时间戳的参考指纹以试图找到查询指纹匹配参考指纹的匹配点，且一旦找到匹配点，可推断匹配查询指纹的时间戳与匹配参考指纹的时间戳对应。在匹配的查询质询与参考指纹的时间戳之间建立此相关性可构成在客户端时间与真实时间之间建立“同步锁定”或时间映射。例如，匹配查询指纹与匹配参考指纹的时间戳之间的差异可定义当客户端接收媒体流时已知媒体流内的真实时间与客户端时间之间的时间偏移。给定已知媒体流内的帧的真实时间点的知识，计算系统可因此使用经建立同步锁定确定由客户端接收的媒体流中的相同帧的相关联的客户端时间点。例如，计算系统可在真实时间与客户端时间之间应用时间偏移，以便确定与给定真实时间点对应的客户端时间点。继续上文的ad群实例，计算系统可使用经建立同步锁定将真实时间值TA3映射为标示客户端应替换由客户端接收的媒体流中的adA3的客户端时间点(例如，其中客户端可开始ad替换的客户端时间点)的客户端时间值。且接着，客户端可在所述经预先确定的客户端时间点处执行adA3的替换。然而，此过程可产生的技术问题是客户端无法足够快地生成查询指纹以有利于查询指纹与参考指纹之间的高置信度指纹匹配。特定来说，为了帮助在客户端处节省有限的处理电力、存储器及/或其它资源，客户端可经布置以按相对较低帧速率生成指纹，所述速率可远低于客户端接收的媒体流的帧速率。因此，检测到的指纹匹配可能是不正确的且经建立同步锁定可能是不正确的。举例来说，在每秒具有30个帧的视频的情况下，客户端可经设置以按较低帧速率(例如，每秒2帧)生成查询指纹。但以所述较低速率执行指纹匹配可导致低置信度指纹匹配。此困难的一个原因是媒体流可包含与媒体序列的部分对应的相同或几乎相同帧的各种子序列，其中媒体内容在一时间段内实质上不会改变。此的实例可为在一时间段内呈现静止图像的视频。在所述情景中，查询指纹可在经定义的匹配公差内匹配多个连续参考指纹。...

【技术保护点】
1.一种方法，其包括：/n确定(i)表示由客户端接收的媒体流的查询指纹与(ii)参考指纹之间的多个匹配点，其中每一经识别匹配点定义(i)用根据所述客户端的时钟定义的客户端时间加时间戳的查询指纹与(ii)用根据已知媒体流内的时间线的真实时间加时间戳的参考指纹之间的相应匹配；/n基于所述经确定的多个匹配点的所述时间戳执行线性回归，所述线性回归在真实时间与客户端时间之间建立映射；/n使用所述经建立映射作为确定所述客户端应在其处关于由所述客户端接收的媒体流而执行一动作的客户端时间点的基础；及/n在所述经确定客户端时间点处关于由所述客户端接收的所述媒体流执行所述动作。/n

【技术特征摘要】
【国外来华专利技术】20180719 US 62/700,660;20181022 US 16/166,9811.一种方法，其包括：
确定(i)表示由客户端接收的媒体流的查询指纹与(ii)参考指纹之间的多个匹配点，其中每一经识别匹配点定义(i)用根据所述客户端的时钟定义的客户端时间加时间戳的查询指纹与(ii)用根据已知媒体流内的时间线的真实时间加时间戳的参考指纹之间的相应匹配；
基于所述经确定的多个匹配点的所述时间戳执行线性回归，所述线性回归在真实时间与客户端时间之间建立映射；
使用所述经建立映射作为确定所述客户端应在其处关于由所述客户端接收的媒体流而执行一动作的客户端时间点的基础；及
在所述经确定客户端时间点处关于由所述客户端接收的所述媒体流执行所述动作。


2.根据权利要求1所述的方法，其由所述客户端实施。


3.根据权利要求2所述的方法，其中所述确定所述多个匹配点包括由所述客户端接收指示所述多个匹配点的一组数据。


4.根据权利要求2所述的方法，其中所述确定所述多个匹配点包括：
由所述客户端生成所述查询指纹；
由所述客户端接收所述参考指纹；及
由所述客户端比较所述经生成查询指纹与所述接收到的参考指纹，及基于所述比较确定所述多个匹配点。


5.根据权利要求4所述的方法，其中每一匹配点是基于(i)一批相应所述查询指纹与(ii)所述参考指纹之间的比较，所述方法进一步包括：
检测一给定批的所述查询指纹中的所述查询指纹彼此匹配；及
响应于所述检测到所述给定批的所述查询指纹彼此匹配，排除所述给定批使其无法用于建立用于所述线性回归的匹配点。


6.根据权利要求1所述的方法，其中关于由所述客户端接收的所述媒体流的所述动作包括内容修正。


7.根据权利要求6所述的方法，其中由所述客户端接收的所述媒体流包括定义ad序列的ad群，且其中所述内容修正包括用替换媒体内容替换所述序列的ad。


8.根据权利要求1所述的方法，其中关于由所述客户端接收的所述媒体流的所述动作包括准备进行内容修正。


9.根据权利要求1所述的方法，其中使用所述经建立映射作为确定在其处所述客户端应关于由所述客户端接收的所述媒体流执行所述动作的客户端时间点的基础包括使用所述经建立映射作为将在其处应关于所述已知媒体流执行所述动作的经预定义的真实时间点映射到在其处所述客户端应关于由所述客户端接收的所述媒体流执行所述动作的对应客户端时间点的基础。


10.一种媒体客户端，其包括：
处理单元；
非暂时性数据存储装置；及
程序指令，其存储于所述非暂时性数据存储装置中且可由所述处理单元执行以致使所述媒体客户端实施包含以下的操作：
确定(i)表示由所述媒体客户端接收的媒体流的查询指纹与(ii)参考指纹之间的多个匹配点，其中每一经识别匹配点定义(i)用根据所述媒体客户端的时钟定义的客户端时间加时间戳的查询指纹与(ii)用根据已知媒体流内的时间线的真实时间加时间戳的参考...

【专利技术属性】
技术研发人员：P·东克尔，M·K·克里默，S·C·麦钱特，K·R·蒂伦，
申请(专利权)人：格雷斯诺特公司，
类型：发明
国别省市：美国;US