触觉对象的表示格式制造技术

一种触觉渲染设备和对应的渲染方法允许渲染在包括表示沉浸式场景描述的信息的触觉信号中定义的触觉效果。该沉浸式场景包括表示该场景的至少一个元素的信息和表示触觉对象的信息，该信息包括触觉效果的类型、该触觉效果的至少一个参数以及该触觉效果在其上起作用的触觉体积或表面。该触觉效果的参数可以是触觉纹理贴图。提出了相应的语法。提出了相应的语法。提出了相应的语法。

【技术实现步骤摘要】
【国外来华专利技术】触觉对象的表示格式


[0001]本实施方案中的至少一个实施方案总体上涉及触觉，并且更具体地涉及基于glTF
TM
(图形语言传输格式)的沉浸式场景中的触觉对象的表示格式的定义。

技术介绍

[0002]通过基于反馈和交互的沉浸式系统向用户提出了完全沉浸式的用户体验。该交互可使用满足用户需求的传统控制方式。目前的视觉和听觉反馈提供了令人满意的现实沉浸水平。可以通过触觉效果来提供另外的反馈，这些触觉效果允许人类用户用他的感官感知虚拟环境，并且因此获得具有改进的真实感的完全沉浸的更好体验。然而，触觉仍然是改善沉浸式系统中的整体用户体验的可能进展的一个领域。
[0003]传统上，沉浸式系统可以包括表示虚拟环境的3D场景，其中虚拟对象位于3D场景内。为了改善用户与该虚拟环境的元素的交互，可以通过触觉致动器的激励来使用触觉反馈。此类交互基于“触觉对象”的概念，该“触觉对象”对应于待传输给用户的物理现象。在沉浸式场景的上下文中，触觉对象允许通过定义适当触觉致动器的激励来提供触觉效果，以模仿触觉渲染设备上的物理现象。不同类型的触觉致动器允许复原不同类型的触觉反馈。
[0004]触觉对象的一个示例是爆炸。可以通过振动和热量来渲染爆炸，从而组合用户的不同触觉效果以提高真实感。沉浸式场景典型地包括多个触觉对象，例如使用与全局效果相关的第一触觉对象和与局部效果相关的第二触觉对象。
[0005]本文所述的原理适用于使用触觉的任何沉浸式环境，例如，诸如增强现实、虚拟现实、混合现实或触觉增强视频(或全方位/360
°
视频)渲染，并且更一般地适用于任何基于触觉的用户体验。沉浸式环境的此类示例的场景因此被认为是沉浸式场景。
[0006]触觉是指触摸感并且包括两个维度：触觉和动觉。第一个维度与触感有关，诸如摩擦、粗糙度、硬度、温度，并且通过皮肤的机械感受器(默克尔神经、鲁菲尼氏神经末梢、迈斯纳小体、帕西尼氏小体)感觉到。第二个维度与由肌肉、肌腱和关节中的机械感受器提供的力/扭矩、位置、运动/速度的感觉有关。触觉也涉及自我运动的感知，因为它有助于本体感觉系统(即，对自己身体的感知)。因此，加速度、速度或任何身体模型的感知可以被同化为触觉效果。该频率范围约为0KHz至1KHz，取决于模态的类型。大多数能够渲染触觉信号的现有设备产生振动。此类触觉致动器的示例是线性共振致动器(LRA)、偏心旋转质量(ERM)、音圈线性马达。这些致动器可以集成到触觉渲染设备中，例如触觉套装以及智能手机或游戏控制器。
[0007]为了编码触觉信号，已经定义了若干格式，该格式与使用类似XML格式(例如MPEG
‑
V)的高级描述、使用类似JSON格式(诸如苹果(Apple)触觉音频模式(AHAP)或浸入科技(Immersion Corporation)的HAPT格式)的参数化表示、或者波形编码(IEEE 1918.1.1对触觉和动觉信号的持续标准化)相关。该HAPT格式最近已经被包括在MPEG ISOBMFF文件格式规范(ISO/IEC 14496第12部分)中。
[0008]此外，GL传输格式(glTF
TM
)是用于通过应用程序高效传输和加载3D场景和模型的
免授权规范。该格式定义了用于3D内容工具和服务的可扩展通用发布格式，该可扩展通用发布格式简化了创作工作流程并且支持内容在整个行业中的互操作使用。
[0009]除此之外，现代3D引擎能够将纹理映射到3D对象。这些纹理包含与各种外观相关的参数(诸如对象的颜色)有关的信息，还包含关于几何结构(诸如帮助渲染过程中的现代视觉渲染算法的法线贴图或凹凸贴图)的信息以及更复杂的参数(诸如漫射、发射、光泽度)，这些更复杂的参数也确定如何渲染对象。
[0010]下文描述的实施方案在设计时考虑了前述内容。

技术实现思路

[0011]实施方案是关于触觉渲染设备和对应的渲染方法，其允许渲染在包括表示沉浸式场景描述的信息的触觉信号中定义的触觉效果。提出了对应的语法，被定义为glTF
TM
格式的扩展。
[0012]至少一个实施方案的第一方面涉及一种用于渲染包括表示场景描述的信息的沉浸式场景的信号，该场景描述包括：表示场景的至少一个元素的至少一个信息；和表示触觉对象的信息，该信息包括触觉效果的类型、该触觉效果的至少一个参数以及该触觉效果在其上起作用的触觉体积或表面。
[0013]至少一个实施方案的第二方面涉及一种装置，该装置包括处理器，该处理器被配置成：获取表示场景描述的信息，该场景描述包括：表示场景的至少一个元素的至少一个信息；和表示触觉对象的信息，该信息包括触觉效果的类型、该触觉效果的至少一个参数以及该触觉效果在其上起作用的触觉体积或表面；检测用户的位置或用户的身体部位的位置与触觉体积之间的碰撞；以及准备用于渲染沉浸式场景的数据，其中基于该触觉效果的至少一个参数生成该数据。
[0014]至少一个实施方案的第三方面涉及一种方法，该方法包括：获取表示场景描述的信息，该场景描述包括：表示场景的至少一个元素的至少一个信息；和表示触觉对象的信息，该信息包括触觉效果的类型、该触觉效果的至少一个参数以及该触觉效果在其上起作用的触觉体积或表面；检测用户的位置或用户的身体部位的位置与触觉体积之间的碰撞；以及准备用于渲染沉浸式场景的数据，其中基于该触觉效果的至少一个参数生成该数据。
[0015]根据至少一个实施方案的第四方面，呈现了一种计算机程序，该计算机程序包括能够由处理器执行的程序代码指令，该计算机程序至少实现根据第三方面所述的方法的步骤。
[0016]根据至少一个实施方案的第五方面，呈现了一种计算机程序产品，该计算机程序产品存储在非暂态计算机可读介质上并且包括能够由处理器执行的程序代码指令，该计算机程序产品至少实现根据第三方面所述的方法的步骤。
[0017]在变型实施方案中，该触觉效果的至少一个参数是触觉纹理贴图。
附图说明
[0018]图1示出了在其中实现各种方面和实施方案的系统的示例的框图。
[0019]图2示出了根据至少一个实施方案的用于渲染触觉反馈描述文件的过程的示例性流程图。
[0020]图3示出了根据至少一个实施方案的包括触觉对象的沉浸式场景描述文件的数据结构的示例。
[0021]图4示出了具有触觉对象的3D场景的示例。
[0022]图5示出了根据至少一个实施方案的对应于图4的场景的基于glTF
TM
的数据结构的示例。
[0023]图6A示出了根据使用触觉纹理贴图的实施方案的3D对象的示例。
[0024]图6B示出了根据使用触觉纹理贴图的实施方案的温度触觉效果的示例。
[0025]图6C示出了根据使用触觉纹理贴图的实施方案的速率
‑
硬度触觉效果的示例。
[0026]图7A和图7B示出了根据至少一个实施方案的包括触觉纹理贴图的触觉对象的示例。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，所述方法包括：获取(201)表示以下内容的信息：场景描述(500)，所述场景描述包括：表示所述场景的至少一个元素的至少一个信息项，和表示触觉对象的信息，所述信息包括：触觉效果的类型(514,524)，所述触觉效果的至少一个参数(515,516,525)，和所述触觉效果将在其上被激活的触觉体积或表面(517,512,526,522)，检测所述用户的位置或所述用户的身体部位的位置与所述触觉体积或表面之间的碰撞(202)，以及准备用于渲染沉浸式场景的数据，其中基于所述触觉效果的所述至少一个参数来生成所述数据。2.根据权利要求1所述的方法，其中在包括振动、压力、温度和移动的集合中选择所述触觉效果的类型。3.根据权利要求1或2所述的方法，其中所述触觉效果的所述参数描述待应用到触觉致动器以渲染所述触觉效果的信号。4.根据权利要求1至3中任一项所述的方法，其中所述触觉效果的所述参数包括对包括待应用的触觉信号的文件的标识。5.根据权利要求1至4中任一项所述的方法，其中所述触觉体积是指所述场景的所述至少一个元素并且由所述场景的所述至少一个元素的几何形状的体积确定。6.根据权利要求1至4中任一项所述的方法，其中所述触觉体积是指所述场景的所述至少一个元素并且由所述场景的所述至少一个元素的几何形状的表面确定。7.根据权利要求1至4中任一项所述的方法，其中在包括2D平面、球体、椭球体、立方体、平行六面体和胶囊的集合中选择所述触觉体积。8.根据权利要求1至7中任一项所述的方法，其中在包括3D对象、2D或3D视频以及全方位视频的集合中选择所述场景的所述元素。9.根据权利要求1至8中任一项所述的方法，其中所述触觉效果的所述至少一个参数是纹理贴图。10.一种设备，所述设备包括处理器(101)，所述处理器被配置为：获取表示以下内容的信息(190)：场景描述(191)，所述场景描述包括：表示所述场景的至少一个元素的至少一个信息，和表示触觉对象(192)的信息，所述信息包括：触觉效果的类型，所述触觉效果的至少一个参数，和所述触觉效果在其上起作用的触觉体积或表面，检测所述用户的位置或所述用户的身体部位的位置与所述触觉体积或表面之间的碰撞，以及准备用于渲染沉浸式场景的数据，其中基于所述触觉效果的所述至少一个参数来生成
所述数据。11.根据权利要求10所述的设备，其中在包括振动、压力、温度、移动的集合中选择所述触觉效果的类型。12.根据权利要求10或11所述的设备，其中所述触觉效果的所述参数描述待应用到触觉致动器以渲染所述效果的信号。13.根据权利要求10至12中任一项所述的设备，其中所述触觉效果的所述参数包括对包括待应用的触觉信号的文件的标识。14.根据权利要求10至13中任一项所...

【专利技术属性】
技术研发人员：F，
申请(专利权)人：交互数字CE专利控股有限公司，
类型：发明
国别省市：