通过产生在视频内容帧中像素的相应组的特征之间的相异点测量，和通过产生音频分段的低分辨率时频表示，从内容产生可用于识别视频和音频视频内容的签名。通过将散列函数应用于从相异点测量导出的中间值和应用于低分辨率时频表示来产生签名。所产生的签名可以用于多种应用，比如恢复视频和音频内容流之间的同步和识别原始视频和音频内容的副本。尽管存在对内容的有意的和无意的修改，所产生的签名仍可以提供可靠的识别。
【技术实现步骤摘要】
【国外来华专利技术】
本专利技术总的来说涉及视频和音频信号的处理，且更具体地说涉 及从视频信号和音频信号提取特征以识别信号的处理。在本公开中， 术语"视频信号"和"视频内容"是指表示意在用于视觉感知的图像 的信号和内容，且术语"音频信号"和"音频内容，，是指表示意在用于听觉感知的声音的信号和内容。
技术介绍
比如那些尝试检测由视频和音频信号传送的盗版内容或者那些 尝试再同步分离的视频和音频信号的应用通常依靠于检查信号内容以 识别信号的处理。对于这些应用中的很多来说，重要的是即使那些信 号的内容已经被无意地或者有意地修改也能获得信号的可靠识别，以 使得仍然能够由人类观察员将修改的内容识别为基本上与原始内容相 同。如果在原始信号的内容和修改的信号的内容之间的察觉的差异很 小，那么优选地，该识别处理能够从彼此非常类似的原始和修改的信 号提取识别特征。对信号内容的无意识的修改的实例包括在传输信道中和在存储 介质上向信号插入或添加噪声。对视频信号的故意的修改的实例包括 亮度和颜色修改，比如对比度/亮度调节、伽马校正、亮度直方图均 衡化、色彩饱和度调节和用于白平衡的彩色校正，包括几何修改，比 如图像裁剪和调整大小、图像旋转和翻转、伸展、斑点去除、模糊、 锐化和边缘增强，且包括比如有损压缩的编码技术。对音频信号的故 意的修改的实例包括放大、均衡化、动态范围修改、信道上混频、时 标修改、频语成型和有损数据压缩。
技术实现思路
本专利技术的目的是提供可用于即使已经由比如如上所述的那些机 制修改了信号的内容，也能获得视频和音频信号的可靠识别的识别处 理。该目的由以下将要描述的本专利技术实现。通过参考以下说明和附图可以更好地理解本专利技术的各种特征和 其优选实施例，在附图中，类似的参考标号表示几个图中的类似的元 件。提出以下说明和附图的内容仅作为实例，且其不应该被理解为表 示对本专利技术的范围的限制。附图说明图1是可以用于获得视频和音频信号的可靠识别的系统的示意 性框图。图2是可以用于获得视频信号的可靠识别的系统的示意性框图。图3是可以用于获得音频信号的可靠识别的系统的示意性框图。图4A- 4C是可以用于产生表示视频内容的两个帧之间的差异的相异点测量的处理的示意性框图。图5A - 5B是在低分辨率图像中的 一组中间值的示意性框图。 图6是可以用于产生音频内容的分段的时频表示的处理的示意性框图。图7是在低分辨率时频表示中的一组中间值的示意性框图。图8是捕捉用于同步视频/音频流的基准签名和对准信息的装置的示意性框图。图9是恢复对视频/音频流的同步的装置的示意性框图。图10是图示视频/音频流中的时间延迟的示意性框图。图11是管理用于视频或者音频内容的副本的检测的签名数据库的装置的示意性框图。图12是可以用于实现本专利技术的各种方面的装置的示意性框图。具体实施方式 A简介图1是检查视频/音频信号3的分段3a到3d的内容以获得信号 的可靠识别的示例性系统300的示意性框图。视频签名发生器100获 得识别视频内容的一组视频签名(SV) 199b到199d并且音频签名发 生器200获得识别音频内容的一组音频签名(SA) 299a到299d。在 如图所示的实例中，视频和音频内容的各个签名对应于视频/音频信 号的分段。在接下来的几段中进一步讨论该具体的实例，其中视频/ 音频信号的每个分段传送一帧视频内容和一段音频内容。视频/音频 分段、视频帧、音频分段和签名之间的该具体的对应性仅是作为实例 呈现的。其他配置是可能的。图2是视频签名发生器100的示意性框图。相异点测量处理器 120检查在视频帧的序列内的两个视频帧la， lb的内容，并产生表 示全部两个帧或者两个帧的一部分之间的相异点的一个或多个测量的 中间值。如果每个视频帧的内容由表示离散画面元素或者像素的强度 的值的阵列表示，例如，中间值可以是多组像素的强度的平均值或者 标准偏差之间的差的阵列。视频签名处理器170将散列函数应用于中 间值以产生识别^见频帧的内容的^L频签名(SV) 199b。图3是音频签名发生器200的示意性框图。时频表示处理器210 检查分段序列内的音频分段2b的内容，并产生表示分段中的音频内 容的频谱分量的全部或者一部分的频语值。如果该分段的音频内容由 表示离散样本的幅度的值表示，例如，频谱值可以是通过块 (block)时域到频域转换产生的时频表示内的一组系数。中间值处 理器250检查多组频谱值并从每组中频诿值的强度导出中间值。音频 签名处理器270将散列函数应用于该中间值以产生识别该音频分段的 内容的音频签名(SA) 299b。B.视频签名发生器可以以多种方式实现视频签名发生器100的组件。优选的实现产生对几乎没有或没有感知影响的视频内容的修改相对不敏感的签 名。如果对视频内容的修改对感知的图像没有重要的作用，那么优选 地这些修改也对产生的签名没有重要的作用。在两个视频签名之间的 差的某些测量与在从其产生签名的两个内容之间的差的测量相称。以 下讨论几个示例性实现。以下讨论的实现计算表示视频帧之间的相异点的一个或多个测 量的中间值，因为相异点测量的使用增加了产生的签名对运动及原始 内容中其他变化的灵敏度，但是消除或者减少了对随后的处理的修改 (比如改变亮度或者对比度的修改、在不同彩色空间之间转换或者应 用彩色校正的修改)的灵敏度。可以对于—见频内容的任何两个帧la、 lb计算中间值。这两个帧 可以是帧序列内的相邻的视频帧，或者它们可以由一个或多个插入帧 彼此分开。如果两个帧分开指定时间间隔而不是分开指定数目的插入 帧，则对于这两个帧计算的中间值通常对由改变^f见频帧速率的编码处 理所引起的修改更有抵抗力。l.相异点测量处理器在图4A到4C中图示了相异点测量处理器120的几个示例性实 现。参考图4A，组件122a形成来自视频帧la的一个或多个^f象素 組，且组件124a从这些像素组的每一个提取一个或多个特征，并计 算表示每个特征的值R。组件122b形成来自视频帧lb的一个或多个 像素组，且组件124b从这些像素组的每一个提取一个或多个特征， 并计算表示每个特征的值R。組件126计算表示在两个^L频帧la, lb中对于相应的特征和相应的像素组的值R之间的相异点测量的中 间值Q。a)像素組形成組件122a和122b可以以基本上可要求的任意方式形成像素 组。以下讨论几个选择。如果需要，用于产生视频签名的视频帧中的 信息可以仅限于全部图像的一部分以避免由将信箱(letterbox)或者14图形添加到图像的边缘或者角的任意处理产生的变化。这可以以多种 方式实现，比如通过在特征抽取之前裁剪图像、通过在计算表示提取的特征的值R的阵列之后裁剪它们、或通过裁剪根据值R计算的相 异值的阵列。优选地，这通过在特征抽取之前裁剪图像来实现。对于比如电视的视频应用，适当的裁剪选择图像的中央部分以 使得插入在接近图像边缘的视频内容中的任何标识或其它图形对象不 影响提取的特征。裁剪还可以消除由于逐行扫描和隔行扫描格式之间 的转换和高清晰度(HD)和标准清晰度(SD)格式之间的转换而对 图像进行的修改。在下面段落中讨论对于一个具体的HD到SD格式 转换的裁剪。如果具有1080 x 1920像素分辨率的HD格式的原始视频内容被 转换为具本文档来自技高网...
【技术保护点】
一种用于产生识别视频信号的内容的签名的方法，其中，该方法包括： 从表示由视频信号的视频帧序列内的第一视频帧传送的图像中像素的数据，提取第一组一个或多个特征，并且计算表示该第一组特征的第一值； 从表示由视频信号的视频帧序列内的第二 视频帧传送的图像中像素的数据，提取第二组一个或多个特征，其中，第二组特征中的每个特征在第一组特征中具有相应的特征，并且计算表示该第二组特征的第二值，其中，表示第二组特征中相应特征的第二值对应于表示第一组特征中对应于该相应特征的特征的第一值； 产生中间值的阵列，其中，该阵列中的每个中间值表示在第二值和对应的第一值之间的一个或多个相异点测量；和 通过将散列函数应用于所述中间值来产生识别视频信号的内容的签名。
【技术特征摘要】
【国外来华专利技术】...
【专利技术属性】
技术研发人员：R拉达克里希南，C鲍尔，KB特里，BD林科，金炯淑，E吉塞尔，
申请(专利权)人：杜比实验室特许公司，
类型：发明
国别省市：US[美国]
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。