用于触觉效应的感知驱动编码的方法和方案技术

将用于各种触觉通道的触觉效应映射到身体模型的多个区域的编码器和编码方法。例如，触觉通道表示温度、振动或类似的由触觉执行器使用的这样的效应。每个通道包括表示时间戳、面部位置和标识符、以及空间和时间分辨率值的信号，以控制由该通道控制的特定效应的身体的各个部位的效应分辨率。触觉通道被复用在一起以形成可以控制对多个身体位置的各种效应的复合信号。

Methods and schemes for perceptual driven coding for tactile effects

The tactile effects of a variety of tactile channels are mapped to encoders and coding methods in a plurality of regions of the body model. For example, the tactile channel represents temperature, vibration, or similar effects that are used by the tactile actuator. Each channel includes signals representing time stamps, facial locations and identifiers, and spatial and temporal resolution values, so as to control the effect resolution of each part of the body controlled by the channel. The tactile channel is multiplexed together to form a composite signal that can control the various effects on multiple body positions.

【技术实现步骤摘要】
【国外来华专利技术】用于触觉效应的感知驱动编码的方法和方案
本原理通常涉及触觉和多媒体领域。
技术介绍
新技术发展使得创造出越来越多的沉浸式多媒体系统。现在，三维(3D)图像和空间化声音出现在终端用户的生活空间中。但是这些系统仍然局限于视觉和听觉这两种感官的刺激，而虚拟现实中的研究已经表明触觉感知似乎与沉浸式的感觉紧密相关。从这项研究工作中，已经出现了一种叫做触觉视听(HAV)的新的科学领域。由A.E.Saddik于2011年引入的HAV涉及触觉和视听内容的组合。由于这是一个最近的领域，所有的机制、工具和概念还没有被指定(见图1)。MPEG-V(运动图像专家组—媒体环境和控制)架构是用于产生、分发和呈现HAV内容的这个工作流的一个形式化。MPEG-V标准描述了“感官效应”，其包括触觉效应，还包括味觉和嗅觉效应。MPEG-V支持多种触觉效应，比如振动、刚体运动或力反馈。这些效应还可以刺激用户的整个身体，或者在由用户共享的空间中瞄准具体的点(请参见图2中的示例)。MPEG-V瞄准整个用户的身体的刺激，同时也瞄准用户移动的空间中具体点的刺激。以相同的方式，触觉设备，也被称为执行器，可以通过设置它们的能力而被定义呈现触觉效应的能力以及它们关于用户空间的位置的方面。根据MPEG-V，当用户在空间中移动时，只定义用户空间中的一个点来呈现触觉效应可能是个问题。在这种情况下，用户不会感觉到触觉效应。但是，对效应位置的描述不允许用户直接对用户身体的一部分进行定位。只给出由立方体定义的空间中的一个点，例如图2中的centerleft(中间偏左)：middle(中间)：front(前部)。这种表示不考虑人类的触觉感知。例如，已知如果两个振动刺激在皮肤上太近，则只会感觉到一个振动。从这样的触觉效应的描述中，无用的信息可以被存储或被发送给触觉呈现器。此外，单一的更新速率被指定。然而，被刺激的用户身体上的多个位置可能具有不同的时间敏感度。MPEG-V标准提出了对触觉效应的高级描述。然而，该标准没有考虑到人类的感知特性，因此可以用太低或全局的空间和时间粒度来封装冗余数据。在EP申请14305823.8中，引入了例如详细的3D身体模型(骨架)的使用，以将触觉效应与执行器输入相关联。在这里，身体模型被用来从一个效应中推断出执行器的输入，该效应可能通过物理模型的使用，发生自没有位于执行器位置的一个点。
技术实现思路
所描述的实施例提出了3D身体模型的更深入的使用，以提供用于紧凑且感知驱动编码以及用于潜在地发送触觉效应的方法和装置。根据一个总的方面，提供了一种方法。该方法包括对于特定触觉通道，将触觉效应映射到包括一组具有可变空间分辨率的顶点和面部的身体模型。该方法还包括将元数据嵌入到对应于与特定触觉通道有关的属性的面部，特定触觉通道对应于触觉效应和位置。该方法进一步包括级联与特定触觉通道有关的信息，信息包括时间戳和面部标识符，以及将用于多个触觉通道的信号复用为触觉信号。根据另一总的方面，提供了一种装置。该设备包括第一处理器，其对于特定触觉通道，将触觉效应映射到包括一组具有可变空间分辨率的顶点和面部的身体模型。该装置进一步包括第二处理器，用于将元数据嵌入到对应于与特定触觉通道有关的属性的面部，特定触觉通道对应于触觉效应和位置；以及第三处理器，用于级联与特定触觉通道有关的信息，信息包括时间戳和面部标识符。该装置还包括复用器，其对用于多个触觉通道的信号进行操作以形成触觉信号。在附图和下面的描述中阐述了一个或多个实现方式的细节。即使以一种特定的方式进行描述，应该清楚的是，可以以各种方式来配置或实施实现方式。例如，实现方式可以作为方法来执行，或者被实现为装置，比如，例如，被配置为执行一组操作的装置或者存储用于执行一组操作的指令的装置，或者被实现为信号。根据结合附图和权利要求考虑的以下详细描述，其他方面和特性将变得显而易见。附图说明根据以下示例性附图可以更好地理解本原理，其中：图1示出了根据本原理的用于触觉视听的工作流的一个实施例。图2示出了根据本原理的由3×3矩阵的执行器呈现的心脏附近的振动效应的一个实施例。图3示出了根据本原理的用于触觉信号的感知驱动编码方案的一个实施例。图4示出了根据本原理的编码工作流的一个实施例。图5示出了人体的灵敏度图。图6示出了触觉通道自适应网格的示例。图7示出了根据本原理的用于存储一组参考的触觉身体模型的代码的一个实施例。图8示出了由骨架表示的身体模型的一个实施例。图9示出了根据本原理的分层身体模型的一个实施例。图10示出了被典型地用于在3D模型上映射纹理的UV贴图的示例。图11示出了根据本原理的用于形成多通道触觉效应信号的方法的一个实施例。图12示出了根据本原理的用于形成多通道触觉效应信号的装置的一个实施例。具体实施例所描述的实施例的原理旨在从创作阶段期间提供的触觉效应的高级描述(例如图3所示的触觉效应)产生感知驱动编码的触觉信号。一个关键的方面是在多个潜在的3D身体模型上重新映射这些高级效应，该3D身体模型考虑了对不同的触觉通道(振动、温度、压力等)的平均人类的感知属性。可以为每个触觉通道定义一个身体模型。例如，可以为振动创建身体模型，为温度创建另一个身体模型，等等。每个身体模型的特征是一组顶点和面部，该面部具有取决于所考虑的通道上的用户空间灵敏度的、可变的空间分辨率或面部大小。每个面部还嵌入一些对应于与某些关键属性的某些元信息，该某些关键属性与具体瞄准的触觉通道和位置有关，比如所需的时间分辨率或最小和最大允许值。一旦完成了重新映射(在创作阶段给出的不同关键帧之间的潜在内插)，为每个模型/组件生成信号作为相对于相关联的3D模型的面部标识符、计算出的关于相关联的时间分辨率的时间戳、以及归一化的实际值(映射到0/1的最小/最大值)的级联。只有发生变化的活动面部可以被考虑。然后通过简单级联将每个触觉通道的不同信号复用到感知驱动编码的触觉信号中，其中通过专用标识符来标识每个模型/组件。作为最后一步，信号可以被压缩以被发送或存储，但是这里没有解决这个压缩步骤。由于其基于模型的构造，这种感知驱动编码的触觉信号本质上考虑了空间和时间的人类感知属性，并且可以是高度紧凑的且适合于发送。事实上，在流媒体环境中，不同身体模型可以是专用标准的一部分，该专用标准不一定需要被发送，并且只有模型和面部标识符以及时间戳和值被发送。考虑了刚刚描述的编码策略的详细实现。通过创作工具的使用(图4)给出了输入高级触觉，该创作工具可以结合触觉数据的自动捕捉以及手动编辑。在这个示例中，需要比如“在左前臂上的高温”和“在左臂上的振动”的高级触觉效应。编码过程的第一步是在潜在身体模型上的高级效应的映射，该潜在身体模型被定义为用于每个触觉通道的参考模型。如前所述，每个模型的特征是一组具有空间分辨率的面部/部分，该空间分辨率取决于所考虑的通道上的用户空间灵敏度(图6)。众所周知，大多数人的感触传感器都位于手上，而我们的灵敏度在手臂或躯干上则较不发达，例如(图5)。对于感触通道，因此，在手掌/手指区域比在手臂上建立具有更高分辨率的身体模型是合乎逻辑的。例如，对于另一个触觉通道，比如动觉感觉通道，该解决方案可能是不同的。模型的每个面部/部分还嵌入一些对应于与具体瞄准的触觉通道和位置本文档来自技高网...

【技术保护点】
一种方法，包括：对于特定触觉通道，将触觉效应映射到包括一组具有可变空间分辨率的顶点和面部的身体模型；将元数据嵌入到对应于与所述特定触觉通道有关的属性的所述面部，所述特定触觉通道对应于所述触觉效应和位置；级联与所述特定触觉通道有关的信息，所述信息包括时间戳和面部标识符；以及将用于多个触觉通道的信号复用为触觉信号。

【技术特征摘要】
【国外来华专利技术】2015.06.29 EP 15306035.51.一种方法，包括：对于特定触觉通道，将触觉效应映射到包括一组具有可变空间分辨率的顶点和面部的身体模型；将元数据嵌入到对应于与所述特定触觉通道有关的属性的所述面部，所述特定触觉通道对应于所述触觉效应和位置；级联与所述特定触觉通道有关的信息，所述信息包括时间戳和面部标识符；以及将用于多个触觉通道的信号复用为触觉信号。2.如权利要求1所述的方法，其中所述级联的信息还包括归一化的激活值。3.如权利要求1所述的方法，还包括压缩所述触觉信号。4.如权利要求1所述的方法，还包括发送所述触觉信号。5.如权利要求1所述的方法，其中映射包括：为触觉效应选择参考身体模型；将触觉效应投射到与触觉通道相关联的所述身体模型的面部上；根据所述身体模型的空间分辨率采集活动的面部；对与所述触觉效应有关的信息进行重新采样，以适应在所述元数据中提供的时间频率；以及缩放与所述触觉效应有关的所述信息，以适应由所述元数据提供的范围。6.一种装置，包括：第一处理器，其对于特定触觉通道，将触觉效应映射到包括一组具有可变空间分辨率的顶点和面部的身体模型；第二处理器，用于将元数据嵌入到对应于与所述特定触觉通道有关的属性的所述面部，所述特定触...

【专利技术属性】
技术研发人员：J弗勒雷奥，O杜马斯，B勒罗伊，F达尼奥，
申请(专利权)人：汤姆逊许可公司，
类型：发明
国别省市：法国,FR