用于提供媒体数据和元数据组合的方法和系统技术方案

一种提供视频数据（37）和元数据（34）的组合的方法包括获取由视频摄影机（5）捕获的图像序列（23）。从图像序列（23）中提取至少一个信号（24），其中每个提取的信号（24）特征化光强度和颜色的至少一个的局部时间变化并且携带与有生命的主体的至少一个生物信息信号相对应的信息。对来自该序列（23）的图像的图像数据应用至少一个视频压缩技术以获取压缩的视频数据（37）。所提取的信号（24）从在将所述至少一个压缩技术应用到来自那些图像的图像数据之前的状态的图像中提取。提供具有用于特征化在图像的至少部分中表示的有生命的主体中的至少一个生物过程的元数据（34）的压缩的视频数据（37），这个过程引起从该主体捕获的光的强度和颜色的至少一个的局部时间变化。元数据（34）至少基于所提取的信号（24）的至少一个。

Methods and systems used to provide media data and metadata combinations

A method of providing a combination of video data (37) and metadata (34) includes obtaining an image sequence (23) captured by a video camera (5). At least one signal (24) is extracted from the image sequence (23), where each extracted signal (24) characterize the local time variation of at least one light intensity and color, and carries information corresponding to at least one biological information signal of the living body. At least one video compression technique is applied to the image data from the image from the sequence (23) to obtain compressed video data (37). The extracted signal (24) is extracted from the image of the state before the at least one compression technique is applied to the image data from those images. Provide metadata for at least a biological process subject characteristic representation of at least part of the image in the life of the (34) of the compressed video data (37), this process caused from part of at least one of the main body of the capture of light intensity and color change time. At least one of the metadata (34) is based on the extracted signal (24).

【技术实现步骤摘要】
用于提供媒体数据和元数据组合的方法和系统
本专利技术涉及一种提供媒体数据和元数据组合的方法、一种用于提供媒体数据和元数据组合的系统。本专利技术还涉及包括压缩视频和元数据组合的信号，其中压缩视频是可通过对来自图像序列的图像的图像数据应用至少一个视频压缩技术获取的。本专利技术还涉及一种处理此信号的方法、用于处理此信号的系统和计算机程序。
技术介绍
US2009/0192961A1描述了一种用于基于用户兴趣适配媒体流的比特率的系统。收集的生物信息数据可以用来确定用户的情感兴趣并且可选地调节媒体的比特率和/或将导航选项呈现给存储的媒体的一个或多个选择的部分。生物信息数据可以包括心率、呼吸率、皮肤电反应、瞳孔扩张、血压、体温等。可以从传感器收集生物信息，该传感器可以包括皮肤电传感器、麦克风、温度计、加速计等。在实施例中，用户兴趣的变化可以触发可变比特率编码器基于配置选项来调节所捕获的音频/视频的比特率处理。例如，数码摄影机可以在图片捕获期间获取生物信息数据。当用户兴趣被检测为高时，图像分辨率和百万像素计数会增加，将该图片存储为高保真度图像。收集的生物信息数据可以作为元数据存储在图像中以用在重放和导航。已知系统的问题在于其限于在捕获时可以获取的生物信息数据。仅获取了特征化附连到传感器的人的生物信息数据。每个另外的人都需要所描述类型的附加生物信息传感器，并且每个人必须合作。
技术实现思路
期望的是提供一种上面所提及类型的方法、系统、信号和计算机程序，其允许利用特征化在视频中表示的主题中的过程的元数据来高效提供视频数据。为此，根据第一方面，提供了一种提供视频数据和元数据组合的方法，包括：-获取由视频摄影机捕获的图像序列；-从图像序列中提取至少一个信号，其中每个提取的信号特征化光强度和颜色的至少一个的局部时间变化并且携带与有生命的主体的至少一个生物信息信号相对应的信息；-对来自该序列的图像的图像数据应用至少一个视频压缩技术以获取压缩的视频数据；其中所述至少一个信号从在将所述至少一个压缩技术应用到来自那些图像的图像数据之前的状态的图像中提取；以及-提供具有用于特征化在所述图像的至少部分中表示的有生命的主体（subject）中的至少一个生物过程的元数据的压缩的视频数据，这个过程引起从该主体捕获的光的强度和颜色的至少一个的局部时间变化，其中所述元数据至少基于所提取的信号的至少一个。图像序列中表示的主体通常将是有生命的主体。引起光的强度和颜色的至少一个的局部时间变化的过程一般将是独立于主体的任何外部可见部分的任何移动的内部过程。然而，在一些应用中它可以是主体的可见部分的内部移动（例如，主体的部分相对于针对该主体固定的参考帧的旋转或相互移动）的过程。在有生命的主体和内部过程的情况下，提取的信号携带与至少一个生物信息信号相对应的信息。通过提供压缩的视频数据，该方法是相对高效的。因为压缩的视频数据，尤其是使用预测编码获取的压缩视频数据，通常不再适合于提取表示光强度和颜色的至少一个中的局部时间变化的信号，该信号可以用来获取特征化在图像中表示的主体中的至少一个生物现象的数据，所以本方法提供了这样的元数据，其对应于特征化生物现象的这些数据，或者适合用于获取这些数据。该方法基于从压缩前的图像序列中提取至少一个信号，以使得由图像的至少部分中表示的主体中的过程引起的强度和/或颜色的小规模变化仍旧表示在所提取的信号中。通过基于这样提取的信号，也即通过提取多个信号，该方法能够用来获取特征化图像序列中表示的多个人的数据而无需提供附加的传感器。该方法主要还独立于有生命的主体的合作意愿，因为不需要在身体上放置传感器。该方法例如在监督应用中适合于结合压缩的视频来提供生物信息数据。该生物信息数据可以用来标识需要更严密监视的压缩视频部分。因为视频被压缩，具有相对低容量的数据传输网络可以用于从摄影机系统收集视频和元数据。该系统可以容易地被布置为使得通过能够获得压缩的视频的人确定事件的性质来实现对由元数据信号传递的事件的短期响应。该方法的实施例包括取决于至少基于提取的信号的至少一个的获取部分的数据的分析结果来适配至少一个压缩技术的应用。这个实施例可以用来提供对于以下问题的解决方案，即如果存在在图像序列中表示的更多的人并且与他们的每一个单独相关的生物信息数据将可从元数据恢复，则可能需要更多的元数据。包括的元数据的数量可以根据需要（信息的数量）而变化，同时保持数据（压缩的视频和元数据）的总量在界限内。可替换地或另外，该实施例可以用来，根据图像序列的特定空间部分是否表示感兴趣的主体，将或多或少的压缩应用在那些特定空间部分上。例如，提取的信号可以用来确定在图像中表示的有生命的人的面部位于何处。可以对图像的这些空间部分进行编码以便保留更多的细节。在预测编码用作压缩技术的一部分的情况下同样如此。如果确定特征化该过程的参数在对应于图像序列的特定段的间隔期间的时间上快速地变化，则可以应用更少的插值来对作为压缩的部分的这些段进行编码。方法的实施例包括，在获取图像序列时，引起取决于至少基于所提取的信号的至少一个的获取部分的数据的分析结果来调节使用至少一个摄影机捕获图像的过程的参数。该实施例使得可以使用相对廉价的摄影机而不会生成不可靠的特征化图像序列中表示的主体中的过程的数据。代替必须使用高清摄影机，可以调节参数以使得携带与主体中的过程有关的信息的一个或多个提取信号的分量更清晰地存在于提取的信号中。在该实施例的一个变形中，影响用来将光聚焦到传感器阵列上的光学系统设置的参数被适配。因此，可以放大以捕获与图像序列中表示的情景中的特定部分有关的更多信息。因此可以增加用来创建一个或多个提取信号的像素数目。可替换地，可以生成携带与同一过程有关的信息的更多的提取信号，其将随后导致更加可靠的、特征化主体中的过程的合意信号（consensussignal）或值。在另一变形中，取决于至少基于所提取的信号的至少一个的获取部分的数据的分析结果来调节用于将光强度转换成离散的像素值的系统的至少一个参数。这些参数的示例包括图像传感器阵列的增益和离散化（discretisation)阈值。在此实施例中，典型地由于内部（尤其是生物）过程，像素值携带更加可靠的表示颜色或强度中小规模变化的信息。可以调节的其他参数包括曝光时间和帧速率（典型地用于将光强度转换成离散像素值的系统的参数，因为数码摄影机将通常不具有机械快门）。在实施例中，该方法通过包括在摄影机中的处理系统来执行。这意味着处理系统被包括在与图像传感器阵列相同的外壳内。该实施例极大地避免了未压缩视频数据的传送，并且因而相对廉价地来实施。在特定变形中，摄影机提供有至少一个网络接口，以使得由摄影机自身通过网络可发送视频数据和元数据的组合。在一个实施例中，该组合是压缩的视频和与压缩的视频流同步的元数据流的多路复用。合适的摄影机（所谓的IP摄影机）已经存在。该方法的这个变形仅要求它们被合适地配置来执行该方法。在实施例中，元数据包括特征化图像序列中的光强度和颜色的至少一个中的局部时间变化的至少一个信号。因此，元数据包括基本上与提取的信号类似的信号。然而，它们可以是组合所提取的信号的两个或更多个的操作的结果，例如取平均或聚类操作。在此实施例中，提供元数据和压缩视频的组合的系统无需本文档来自技高网...

【技术保护点】
一种计算机实施的提供视频数据（37）和元数据（34）的组合的方法，包括：‑ 获取由视频摄影机（5）捕获的图像序列（23）；‑ 从所述图像序列（23）中提取至少一个信号（24），其中每个提取的信号（24）特征化光强度和颜色的至少一个的局部时间变化并且携带与有生命的主体的至少一个生物信息信号相对应的信息；‑ 对来自该序列（23）的图像的图像数据应用至少一个视频压缩技术以获取压缩的视频数据（37）；‑ 取决于至少基于所述至少一个提取的信号（24）的至少一个的获取部分的数据的分析结果来适配所述至少一个压缩技术的应用;其中所述至少一个提取的信号（24）从在将所述至少一个压缩技术应用到来自那些图像的图像数据之前的状态的图像中提取；以及‑ 提供具有用于特征化在所述图像的至少部分中表示的有生命的主体中的至少一个生物过程的元数据（34）的所述压缩的视频数据（37），这个过程引起从该主体捕获的光的强度和颜色的至少一个的局部时间变化，其中所述元数据（34）至少基于所提取的信号（24）的至少一个。

【技术特征摘要】
2009.11.04 EP 09175006.71.一种计算机实施的提供视频数据（37）和元数据（34）的组合的方法，包括：-获取由视频摄影机（5）捕获的图像序列（23）；-从所述图像序列（23）中提取至少一个信号（24），其中每个提取的信号（24）特征化光强度和颜色的至少一个的局部时间变化并且携带与有生命的主体的至少一个生物信息信号相对应的信息；-对来自该序列（23）的图像的图像数据应用至少一个视频压缩技术以获取压缩的视频数据（37）；-取决于至少基于所述至少一个提取的信号（24）的至少一个的获取部分的数据的分析结果来适配所述至少一个压缩技术的应用;其中所述至少一个提取的信号（24）从在将所述至少一个压缩技术应用到来自那些图像的图像数据之前的状态的图像中提取；以及-提供具有用于特征化在所述图像的至少部分中表示的有生命的主体中的至少一个生物过程的元数据（34）的所述压缩的视频数据（37），这个过程引起从该主体捕获的光的强度和颜色的至少一个的局部时间变化，其中所述元数据（34）至少基于所提取的信号（24）的至少一个。2.如权利要求1所述的方法，包括，当获取所述图像序列（23）时，引起取决于至少基于所提取的信号（24）的至少一个的获取部分的数据的分析结果来调节使用至少一个摄影机（5）捕获所述图像的过程的参数。3.如权利要求1所述的方法，其中该方法通过包括在摄影机（...

【专利技术属性】
技术研发人员：IO基伦科，MP博德拉恩德，
申请(专利权)人：皇家飞利浦电子股份有限公司，
类型：发明
国别省市：荷兰,NL