用于同步视频和数据的方法和系统技术方案

方法包括：‑通过从原始帧(F)的区域(R)提取图像片段(V)并在其上设置水印(M)来生成标记视频信号；以及‑生成数据信号，其中包括提取的图像片段(V)和/或重建信息；‑执行附加的同步步骤，该步骤包括：‑从数据信号获得图像片段(V)和/或重建信息，‑从标记视频信号获得不完整的帧(Fr)，以及‑尝试从数据信号和标记视频信号获得的信息重建原始帧(F)，并且如果重建成功，则确定同步正确。系统适用于实施本发明专利技术的方法。

【技术实现步骤摘要】
【国外来华专利技术】用于同步视频和数据的方法和系统
在第一方面，本专利技术总体涉及一种用于同步视频和数据的方法，该方法包括使用水印信息以及，更具体地，涉及一种包括用所述水印的部分信息执行附加同步步骤的方法。本专利技术的第二方面涉及一种用于同步视频和数据的系统，该系统适于实施第一方面的方法。现有技术在现有技术中，已经公开了用于同步视频和数据的方法，具有包括在本专利技术权利要求1的前序部分中的特征，即该方法包括：i)提供至少一个标记视频信号，该视频信号包括含有至少一个标记帧的视频信号，该标记帧包括至少一个原始帧的一个区域上的水印(将“原始”理解成意味着初始)，其中，所述水印包括用于使所述至少一个原始帧的相对于与其相关的数据同步的编码信息；ii)将上述标记视频信号发送至接收器，其访问包含所述相关的数据的数据信号；以及iii)执行同步步骤，该步骤包括所述接收器提取包括在标记视频信号的所述标记帧的水印中的同步信息，对其进行解码并使用其来同步所述原始帧和与其相关的所述数据。这是专利文献US20150242983A1、WO2007072327A2和WO2005089476A2中所公开的方法的情况。所有这些专利文献都强调了水印必须是难以察觉(或察觉不出的)或不可辨别之事实。甚至US20150242983A1(其讨论了在水印的难以察觉性与其鲁棒性之间要达成的妥协)认为，为了提高难以察觉性，必须通过在一组像素中划分要添加的值来应用侵入性技术，诸如添加技术，该技术提供更好的鲁棒性。包含在视频信号帧中的水印的这种难以察觉性导致了，在视频信号传输通过的通信路径衰减(或降级)其质量时，如果在其到达其目的地时其严重衰减，有时不可能恢复水印中编码的信息(即使借助于在US20150242983A1中描述的“通知”或“非盲”方法)或重建视频信号。另一方面，在需要非常精确的逐帧的同步时，由所述方法提出的同步可能不足以实现这样的目的。而且，上述方法不能完全确定地保证，被确定为要与在视频信号中的帧相关的数据或者视频信号本身在到达接收器之前没有经受任何类型的处理，即他们都是正确的且彼此相关的。因此，有必要提供一种克服现有技术中所发现的缺陷的针对现有技术的替代方案，通过提供一种能够实现视频与数据之间的如上所述的精确同步，以及如上所述的保证没有处理或改变数据和/或视频信号的方法和系统。
技术实现思路
因此，本专利技术的第一方面涉及一种用于视频和数据同步的方法，该方法包括：i)提供至少一个标记视频信号，该视频信号包括含有至少一个标记帧的一个视频信号，该标记帧包括在至少一个原始帧的一个区域上的一个水印，其中，所述水印包括关于所述至少一个帧的相对于与其相关的数据的编码同步信息；ii)将上述标记视频信号发送给接收器，其访问包含所述相关数据的数据信号；以及iii)执行同步步骤，该步骤包括所述接收器提取包括在所述标记视频信号的所述标记帧的水印中的同步信息，对其进行解码并使用其来同步所述原始帧和与其相关的所述数据。与已知方法不同，在本专利技术第一方面提出的方法中，以特有的方式：上述步骤i)包括：ia)生成上述标记视频信号，通过从上述原始帧的区域提取图像片段，并在所述原始帧的所述区域上布置水印，替换从中提取的图像片段，以获得上述标记帧；以及ib)生成上述数据信号，其中包括提取的图像片段和/或允许用于其重建的重建信息；上述步骤iii)包括：iiia)执行上述同步步骤；以及iiib)接收器执行附加同步步骤，该步骤包括：iiib1)从数据信号中获得其中所包括的图像片段和/或重建信息，iiib2)从接收到的标记视频信号中获得不完整帧，该不完整帧包括原始帧而没有水印且没有提取的图像片段，以及iiib3)尝试根据iiibl)和iiib2)中获得的信息重建原始帧，并且，如果重建成功，则确定视频信号的帧和数据信号的相关数据适时同步。根据实施方式，子步骤ib)包括将关于与帧相关的数据的同步信息，以及子步骤iia)包括通过借助于接收器执行同步步骤，还提取包括在数据信号中的同步信息，并且还使用其来使帧和与其相关的数据同步。有利地，根据本专利技术第一方面提出的方法，步骤ii)包括通过彼此独立的通信路径将标记视频信号和数据信号二者发送至接收器。通常，视频信号的同步信息或视频信号和数据信号二者的同步信息包括与原始帧相关的至少一个时间码。根据本专利技术第一方面提出的方法的优选实施方式，上述帧是第一帧，且该方法包括以与第一帧相同的方式，即如前面段落所述，逐帧地将视频信号的多个帧与包含在数据信号中的相应多个相关数据同步。本专利技术第一方面的方法包括将视频信号从发射器发送至上述接收器(该接收器是远程接收器)，通过任何类型的通信路径，即使当后者可能导致信号丢失(或损耗)或衰减(如在卫星通信的情况下可能发生的)，因为，一方面，水印以必要的侵入性和不可逆的方式布置在帧(一个或多个)上或遍及(或覆盖)该帧，所以不太可能的是，其无法在其目的地解码，以及另一方面，即使帧(一个或多个)在它们到达接收器时严重恶化，得益于数据信号中所包含的重建信息，可以重建该帧。根据实施方式，本专利技术第一方面的方法包括：如果步骤iiib3)的重建成功，在至少一个屏幕上显示包括一个或多个重建帧的视频信号，并且使用与每个重建帧相关的数据来采取与其相关的动作(由相关的数据确定的)，在显示帧的同时。根据一些实施方式，上述动作至少是以下之一：至少在上述屏幕上显示包括在相关数据中或通过它们能够访问的图形和/或文本信息(图形、字幕、图例等)，从包括在相关数据中或通过它们能够访问的音频信号再现音频，以及使用包括在相关数据中或通过它们能够访问的控制命令控制连接至接收器的设备。有利地，本专利技术的方法应用于视频信号的电视广播，到多个电视，或类似的，来自于接收器，或者与相关数据一起，逐帧地适时同步，如果这些有这样的目的或者在其基础上控制，如果后者是包括控制命令的数据。本专利技术的第二方面涉及一种用于同步视频和数据的系统，该系统包括：-第一计算实体，其适于执行第一方面的方法的步骤i)和ii)；以及-接收器，其包括第二计算实体并且适于执行第一方面的方法的步骤iii)。根据实施方式，上述第一计算实体和上述接收器具有通过至少两个独立通信路径彼此通信的能力，以便实现第一方面的方法。在本专利技术中，“水印”一词的含义非常广泛：理解为意指在空间或频域或者它们的组合中，待插入/嵌入/附加至视频信号的一个或若干个帧的任何类型的图形标记，不管其中编码的“元数据”或数据(即有时给予术语“水印”的限制性限定，意味着包括关于与其相关的内容的作者的识别信息的标记，是不被接受的)。附图说明通过参考附图的一些实施方式的以下详细描述，将更全面地理解上述以及其他优点和特征，其须被认为是说明性的而非限制性的，在附图中：图1以图形方式示出了如何根据本专利技术第一方面的实施方式提出的方法处理原始帧来包括水印。图2通过框图示意性地示出了在实现第一方面的方法时由本专利技术的第二方面所提出的系统。具体实施方式由本专利技术第一方面提出的方法包括：步骤ia)、ib)、ii)、iiia)和iiib)(iiib1、iiib2和iiib3)，其已在前面的部分中描述了。关于步骤ia)，即产生标记视频信号的步骤，图1以图形方式例示了如何处理原始帧F(视图a))以被转换为要包括在本文档来自技高网...

【技术保护点】
1.一种用于同步视频和数据的方法，所述方法包括：i)提供至少一个标记视频信号，所述标记视频信号包括含有至少一个标记帧(Fm)的一个视频信号，所述标记帧包括在至少一个原始帧(F)的一个区域(R)上的一个水印(M)，其中，所述水印(M)包括关于所述至少一个原始帧(F)的相对于与其相关的数据的编码同步信息；ii)将所述标记视频信号发送至接收器(R)，其访问包含相关的所述数据的数据信号；以及iii)执行同步步骤，所述同步步骤包括所述接收器(R)提取包括在所述标记视频信号的所述标记帧(Fm)的所述水印(M)中的所述同步信息，对其进行解码并使用其来同步所述原始帧(F)和与其相关的所述数据；所述方法的特征在于：所述步骤i)包括：ia)生成所述标记视频信号，通过从所述原始帧(F)的区域(R)提取图像片段(V)，并在所述帧(F)的所述区域(R)上布置所述水印(M)，替换提取的所述图像片段(V)，以获得所述标记帧(Fm)；以及ib)生成所述数据信号，其中包括提取的所述图像片段(V)和/或允许用于其重建的重建信息；所述步骤iii)包括：iiia)执行所述同步步骤；以及iiib)所述接收器(R)执行附加的同步步骤，所述附加的同步步骤包括：iiib1)从所述数据信号获得所述图像片段(V)和/或其中包括的所述重建信息，iiib2)从接收到的所述标记视频信号获得不完整帧(Fr)，所述不完整帧包括所述原始帧(F)而没有所述水印(M)且没有提取的所述图像片段(V)，以及iiib3)尝试根据在iiib1)和iiib2)中获得的信息重建所述原始帧(F)，并且，如果重建成功，确定所述视频信号的所述帧和所述数据信号的相关的数据适时同步。...

【技术特征摘要】
【国外来华专利技术】2016.02.09 ES P2016301481.一种用于同步视频和数据的方法，所述方法包括：i)提供至少一个标记视频信号，所述标记视频信号包括含有至少一个标记帧(Fm)的一个视频信号，所述标记帧包括在至少一个原始帧(F)的一个区域(R)上的一个水印(M)，其中，所述水印(M)包括关于所述至少一个原始帧(F)的相对于与其相关的数据的编码同步信息；ii)将所述标记视频信号发送至接收器(R)，其访问包含相关的所述数据的数据信号；以及iii)执行同步步骤，所述同步步骤包括所述接收器(R)提取包括在所述标记视频信号的所述标记帧(Fm)的所述水印(M)中的所述同步信息，对其进行解码并使用其来同步所述原始帧(F)和与其相关的所述数据；所述方法的特征在于：所述步骤i)包括：ia)生成所述标记视频信号，通过从所述原始帧(F)的区域(R)提取图像片段(V)，并在所述帧(F)的所述区域(R)上布置所述水印(M)，替换提取的所述图像片段(V)，以获得所述标记帧(Fm)；以及ib)生成所述数据信号，其中包括提取的所述图像片段(V)和/或允许用于其重建的重建信息；所述步骤iii)包括：iiia)执行所述同步步骤；以及iiib)所述接收器(R)执行附加的同步步骤，所述附加的同步步骤包括：iiib1)从所述数据信号获得所述图像片段(V)和/或其中包括的所述重建信息，iiib2)从接收到的所述标记视频信号获得不完整帧(Fr)，所述不完整帧包括所述原始帧(F)而没有所述水印(M)且没有提取的所述图像片段(V)，以及iiib3)尝试根据在iiib1)和iiib2)中获得的信息重建所述原始帧(F)，并且，如果重建成功，确定所述视频信号的所述帧和所述数据信号的相关的数据适时同步。2.根据权利要求1所述的方法，其中，子步骤ib)包括：将关于与所述原始帧(F)相关的所述数据的...

【专利技术属性】
技术研发人员：埃洛伊·莫利纳斯·隆巴尔，安赫尔·安德烈斯·莫兰，
申请(专利权)人：埃洛伊·莫利纳斯·隆巴尔，安赫尔·安德烈斯·莫兰，
类型：发明
国别省市：西班牙,ES