基于视听内容呈现动态光场景制造技术

一种基于视听内容控制连接的照明系统的方法。该方法包括自动执行以下操作：从视听内容的视频组分中包括的图像进行颜色提取，计算视听内容的音频组分的音频样本的音频强度水平，基于提取的颜色和计算的音频强度水平确定第一目标光颜色和第一音频强度水平；并且，根据所确定的第一目标光颜色和第一音频强度水平控制至少一个照明设备。该方法通过提供由连接的照明系统提供的光效果，以下列方式提供了控制：提高体验正被例如TV呈现的视听内容的用户的沉浸感。

Presenting dynamic light scene based on audio-visual content

【技术实现步骤摘要】
【国外来华专利技术】基于视听内容呈现动态光场景
本公开涉及基于视听内容呈现动态光场景。
技术介绍
WO2007/113738A1公开了确定色点的基于视频的环境照明数据和确定待被呈现的光效果的暗淡水平的基于音频的环境照明数据。US2009/161030A1公开了基于选择的像素点的RGB值来控制光输出和基于声音强度来调整发射光的闪烁频率。连接的照明系统可以实现动态光场景（即，提供随时间改变的光输出的光场景）的呈现。动态光场景可以创建用户认为是愉悦的氛围。作为示例，这样的动态光场景可以是由用户预定的和可选择的，诸如灯缓慢地调亮以使用户缓慢地醒来的唤醒光场景。作为另一示例，可以基于诸如图像、视频或音频内容的输入值来呈现这样的动态光场景。动态光场景可以通过从视频内容提取颜色并通过照明设备呈现该提取的颜色为用户提供沉浸式体验。以类似的方式，动态光场景可以增强暴露于声音的用户（诸如，听音乐的用户）的体验。光效果可以例如基于音频内容中存在的节拍来呈现。期望提供一种动态光场景，该动态光场景允许用户深入沉浸到视听内容的呈现中。
技术实现思路
用户通过听觉和视觉感知二者来体验视听内容。该听觉和视觉体验通常是相关的。作为第一示例，当爆炸是视听内容的一部分时，音频的响度可能与爆炸在视频中的突出程度直接相关。作为第二示例，例如电影的乐谱可以指示场景的强度；诸如令人兴奋的电影场景中的响亮音乐。根据本文公开的第一方面，提供了一种基于视听内容来控制（有线或无线）连接的照明系统的方法。该连接的照明系统包括一个或多个照明设备。可以使用诸如ZigBee（光链路）或蓝牙（网）的任何无线技术来无线地控制这些一个或多个照明设备或使用有线连接（例如DALI、DMX）来控制这些一个或多个照明设备。作为示例，该视听内容可以是电影或音乐视频；并且包括音频组分和视频组分，它们通常由诸如电视、投影仪或其他类型的视听装备的呈现设备同步呈现。该方法包括自动执行以下操作：第一颜色提取，第一音频强度水平计算，基于计算的第一音频强度水平确定第一目标光颜色和第一目标光强度水平，并且，根据确定的第一目标光颜色和第一目标光强度水平，控制至少一个照明设备。第一颜色从包括在视听内容的第一片段中的图像中提取。基于包括在视听内容的该相同的第一片段中的音频样本来计算第一音频强度水平。如上所述，视听内容包括音频和视频组分。视频组分，也被称为视频流，包括多个单独的图像，可以使用视听装备呈现所述多个单独的图像以给予移动图像的印象。可以使用诸如MPEG的任何已知方法来压缩视频流，并且图像可以被交错，因此，词语“图像”应当被广义地解释，它并不表示每个图像都需要被单独地以其整体存储或呈现。音频组分，也被称为音频流，也可以被压缩。另外，音频流可以包括多个音频轨道，例如，用于提供环绕声或者用于分离与背景音乐、声音、评论等相关的音频。词语“音频样本”应当被广义地解释，它并不表示音频流的所有音频组分（例如，所有音频轨道）都需要被考虑。视听内容的第一片段是视频和音频流的一部分或（时间）样本。因此，第一片段包括视频流的一个或多个图像以及音频流的伴随音频。仅作为示例，片段可以包括被示出为例如一秒的第1/24（或者第1/50或第1/60或任何其他时间段，诸如各种视频格式中已知的那些时间段）的视频流的单个图像或帧其他和相同持续时间的伴随音频。可替代地，片段可以包括多个图像和伴随音频。然后，可以从单个图像或从这些多个图像中的一些或全部提取颜色。例如，可以通过确定多个图像的平均颜色值来执行提取。从图像中提取的颜色可以是图像中单个像素的颜色值，一组相邻像素的平均颜色值，或者可以使用又一种颜色提取方法。第一音频强度水平可以包括指示声音样本的（整体）响度或音量；或样本的抽象（诸如频率组分）的（整体）响度或音量。然而，不排除音频强度水平的其他指标。已知感知的响度与声音样本的密度有关；因此，密度是可以用于确定第一音频强度水平的音频样本的特性的另一示例。基于提取的第一颜色，确定第一目标光颜色。这些可以是相同的颜色。然而，照明设备可能不能够呈现完全相同的颜色，或某些颜色可以被避免以提供令人愉悦的光效果。因此，第一目标光颜色可以与提取的第一颜色不同。仅作为示例，可以将函数应用于第一颜色以找到与该第一颜色最形成对比的颜色，并且可以将该最形成对比的颜色确定为第一目标光颜色。基于计算的第一音频强度，确定第一目标光强度水平。这种关系可以是线性的或非线性的；后者允许例如将具有低亮度水平的光效果与除最大声音之外的所有声音相关联。另外，目标光强度水平可能受到连接的照明系统中的一个或多个照明设备的能力限制。因此，第一目标光强度水平可以被限制在某个最大（即，照明设备不能够在例如特定的颜色点处呈现更大强度的光）和/或最小水平（即，由于照明设备不支持如此深的暗淡水平，因此它不能够呈现更低强度的光）。根据确定的第一目标光颜色和确定的第一目标光强度水平，控制照明系统的至少一个照明设备发射第一光效果。可选地，确定的第一目标光颜色和确定的第一目标光强度水平可以用于确定，当存在多个照明设备时，哪一个照明设备用于呈现光效果。当以大于单个照明设备可以提供的强度的强度来呈现光效果时，可以在多个照明设备处呈现光效果。因此，该方法有利地提供了增强呈现的视听内容的照明体验。由于照明系统呈现的颜色是基于从视频流提取的颜色，因此视觉效果被增强；即，用户暴露于呈现的视频流的视觉效果以及呈现的光效果的视觉效果两者。另外，由于呈现的光效果的强度是基于正被呈现的音频内容的音频强度水平，因此提供了更加沉浸式的体验。因此，例如在相同的房间中，当其中用户暴露于视听内容的呈现时，连接的照明系统一起呈现光效果。可以向用户提供对所呈现的光效果的各种程度的控制。例如，用户可以设置将要呈现的光效果的最小、最大或平均强度。作为另一示例，用户可以基于音频或视频来控制将光效果控制到何种程度；因此，可以基于视频内容的光强度在较大程度上确定光强度，并且基于音频内容的音频强度水平在较小程度上确定光强度；或反之亦然。可以使用例如滑块来提供这种选择，该选择确定视频内容和/或音频内容对呈现的光效果的影响程度。在滑块的一端处，基于音频内容最大化控制光效果的程度（并且基于视频内容最小化控制光效果的程度），而在滑块的另一端处，基于视频内容最大化控制光效果的程度（并且基于音频内容最小化控制光效果的程度）。该滑块的默认设置可以是预定的（例如，音频和视频内容对所呈现的光效果具有相同程度的影响），或者可以基于呈现的音频和/或视频内容的类型而被动态地调整。作为示例，可以基于是否正在玩视频游戏、是否正在播放电影、是否正在播放音乐视频等，将滑块设定在预设位置处（并且因此，音频和视频内容中的每一个确定呈现的光效果的程度被预设）。甚至正在播放的视频游戏的类型（例如，第一人称射击游戏与赛车游戏）、正在播放的电影的类型（例如，儿童动画与动作电影）或正在播放的音乐视频中的音乐的类型（例如，爵士乐与古典音乐）可以用于确定具体预设位置。对于视听内容的第二片段的音频样本，第二颜本文档来自技高网...

【技术保护点】
1.一种基于视听内容控制包括一个或多个照明设备的连接的照明系统的方法，所述方法包括自动执行以下操作：/n分别从所述视听内容的第一片段和第二片段中包括的图像提取第一颜色和第二颜色，其中，所述第二片段是所述第一片段之后的视听内容的片段；/n分别计算在所述视听内容的第一片段和第二片段中包括的音频样本的第一音频强度水平和第二音频强度水平；/n分别基于所提取的第一颜色和第二颜色确定第一目标光颜色和第二目标光颜色；/n确定所述第一音频强度水平超过上限阈值音频强度水平和所述第二音频强度水平未超过上限阈值音频强度水平；/n分别基于所计算的第一音频强度水平和预定强度水平确定第一目标光强度水平和第二目标光强度水平；/n根据所确定的第一目标光颜色和所确定的第一目标光强度水平控制所述照明系统的至少一个照明设备发射第一光效果；以及/n根据所确定的第二目标光颜色和所确定的第二目标光强度水平控制所述照明系统的至少一个照明设备发射第二光效果；/n其中，所述预定强度水平基于包络函数，所述包络函数包括：/n衰减函数，定义随时间从所述第一目标光强度水平减小到最小光强度水平的光强度水平；或者/n攻击函数，定义随时间从所述第一目标光强度水平增加到最大光强度水平的光强度水平。/n...

【技术特征摘要】
【国外来华专利技术】20170901 EP 17189067.6;20171208 EP 17206240.81.一种基于视听内容控制包括一个或多个照明设备的连接的照明系统的方法，所述方法包括自动执行以下操作：
分别从所述视听内容的第一片段和第二片段中包括的图像提取第一颜色和第二颜色，其中，所述第二片段是所述第一片段之后的视听内容的片段；
分别计算在所述视听内容的第一片段和第二片段中包括的音频样本的第一音频强度水平和第二音频强度水平；
分别基于所提取的第一颜色和第二颜色确定第一目标光颜色和第二目标光颜色；
确定所述第一音频强度水平超过上限阈值音频强度水平和所述第二音频强度水平未超过上限阈值音频强度水平；
分别基于所计算的第一音频强度水平和预定强度水平确定第一目标光强度水平和第二目标光强度水平；
根据所确定的第一目标光颜色和所确定的第一目标光强度水平控制所述照明系统的至少一个照明设备发射第一光效果；以及
根据所确定的第二目标光颜色和所确定的第二目标光强度水平控制所述照明系统的至少一个照明设备发射第二光效果；
其中，所述预定强度水平基于包络函数，所述包络函数包括：
衰减函数，定义随时间从所述第一目标光强度水平减小到最小光强度水平的光强度水平；或者
攻击函数，定义随时间从所述第一目标光强度水平增加到最大光强度水平的光强度水平。


2.根据权利要求1所述的方法，所述方法还包括：
基于在所述第一片段之前的视听内容的至少一个片段中包括的音频样本的音频强度水平，分别确定所述最小和最大强度水平。


3.根据权利要求1所述的方法，其中，所述最小和最大光强度水平分别是用户可定义的。


4.根据权利要求1所述的方法，其中...

【专利技术属性】
技术研发人员：S里克罗夫特，JD梅森，AH波尔格曼，JDM范博文，
申请(专利权)人：昕诺飞控股有限公司，
类型：发明
国别省市：荷兰;NL