基于视频内容检测的动态力反馈映射方法技术

本发明专利技术公布了一种基于视频内容检测的动态力反馈映射方法，属于虚拟现实(VR)体验增强领域。本发明专利技术首先通过VR视频内容检测获得VR视频中运动物体的速度及质量信息，进而通过计算获得物体运动所产生力的大小和方向，然后将力以非均匀的方式映射到相应的力反馈设备上。用户在观看VR视频时，通过力反馈设备所传递的实时动态力，从而可体验视频中物体运到的感觉，增加用户在VR环境中的沉浸感。增加用户在VR环境中的沉浸感。增加用户在VR环境中的沉浸感。

【技术实现步骤摘要】
基于视频内容检测的动态力反馈映射方法


[0001]本专利技术涉及虚拟现实(VR)领域，涉及在VR环境中对受试者触觉的映射，具体为一种基于视频内容检测的动态力反馈映射方法。

技术介绍

[0002]近年来，虚拟现实(VR)及相关技术发展迅速，其应用涵盖数字娱乐、沉浸式教育、远程医疗、工程设计等诸多领域。在数字娱乐应用中，目前的VR视频主要是通过视觉(例如：用户自主控制观看视角)和听觉(例如：空间音频)为用户营造沉浸感。然而，相关研究发现，在VR体验中，触觉反馈和力反馈可显著提高用户体验的沉浸感和真实感。在此方面，相关研究工作和技术仍不成熟。要实现基于VR视频内容检测与同步的动态力反馈为用户营造更强的沉浸感，还面临如下挑战：首先，当前VR环境中力反馈是在虚拟环境中手动配置的，而不是检测视频内容中导致“力”的元素，如球的运动；其次，普通视频和VR视频的帧率普遍较低，并且VR视频包含多个视角的视觉信息，数据量较大，因此无法实时精确的估计物体运动。此外，目前也缺乏将视频中检测到的“力”，通过不同类型的设备，映射到用户触觉感官的机制。

技术实现思路

[0003]本专利技术提出一种基于VR视频(包括普通2D视频)的动态力反馈映射方法，通过动态力反馈映射，使用户在VR环境中的沉浸感更加强烈，体验更加真实。
[0004]本专利技术提供的技术方案如下：
[0005]一种基于视频内容检测的动态力反馈映射方法，具体包括如下步骤：
[0006]1)采集VR视频及视频对应的视频信号及事件信号，利用基于视频处理或事件处理的追踪算法对运动的物体进行追踪，获得物体的运动速度向量V(V
x
,V
y
,V
z
)；
[0007]2)利用物体的运动速度向量V和物体质量信息计算出视频中物体运动所产生力的大小和方向，通过一个力反馈向量F(F
x
,F
y
,F
z
)表示；
[0008]3)将动态力以非均匀的方式映射到力反馈设备上。
[0009]进一步，步骤1)具体为：
[0010]1‑
a)基于VR视频中心视图的追踪结果计算获得物体在X方向的运动速度V
x
和Y方向的运动速度V
y
；
[0011]1‑
b)VR视频不同视角之间存在一定的视差信息，假设VR视频共有N
×
N个子视图，取第k行中视差最大的子视图k1和kN组成子视图对，则通过下述公式计算物体在Z方向上的运动速度：
[0012][0013]其中f表示相机的焦距，d表示两个虚拟相机的光学中心之间的距离，x
k1
和x
kN
分别为两个子视图中同一特征点在同一时刻的x坐标,Δt为时间间隔，D
t
‑1表示物体在Z方向上
一时刻的位置；
[0014]1‑
c)利用卡尔曼滤波器对物体运动速度进行滤波，获得物体像素水平的速度向量V
p
(V
x
,V
y
,V
z
)，通过下述映射公式将V
p
转换为物体的真实速度向量V(V
x
,V
y
,V
z
)：
[0015][0016]其中W表示物体的实际宽度，W
p
表示视频中物体的像素宽度。
[0017]进一步，步骤2)中，通过计算机视觉或元数据获取物体质量信息。
[0018]进一步，步骤3)中所述力反馈数据设备为力反馈数据手套，具体映射步骤如下：
[0019]3‑
a)将力反馈向量F非均匀的分布到用户的手指上，定义用户每根手指上力分布的权重W
f
:
[0020][0021]其中r表示物体的半径，x表示横截面上的手指投影到物体中心的距离，θ是物体的速度向量与物体和手指接触面的法向量之间的夹角；
[0022]3‑
b)根据得到的用户每根手指力分布的权重,计算用户每根手指的动态力，具体计算公式为:
[0023][0024]式中F为力反馈向量，W
t
为第t根手指的权重，k＝10为用户手指的个数，F
t
是第t根手指的动态力；
[0025]3‑
c)将得到的每根手指上的动态力映射到力反馈数据手套的相应反馈通道上。
[0026]本专利技术的技术效果是：
[0027]本专利技术首先通过VR视频内容检测获得VR视频中运动物体的速度及质量信息，进而通过计算获得物体运动所产生力的大小和方向，然后将力以非均匀的方式映射到相应的力反馈设备上。用户在体验时，针对不同手指，力反馈设备会提供不同程度的动态力反馈，体验物体落到手中的错觉。同时由于将VR视频内容检测数据通过与视频同步的动态力反馈映射到力反馈设备，可以为观看VR视频的用户营造更强的沉浸感。
附图说明：
[0028]图1是本专利技术具体实例中基于视频内容检测动态力反馈映射方法的流程图；
[0029]图2为本专利技术具体实例中所采集的3个不同场景的VR视频示意图，其中上排图是采集的不同场景视频的帧图，下排图是与视频的帧相对应的事件信号；
[0030]图3为本专利技术具体实例中将力以动态力反馈的方式传递到力反馈设备SenseGlove手套的的示意图。
具体实施方式
[0031]下面结合附图，通过实施例进一步描述本专利技术，但不以任何方式限制本专利技术的范围。
[0032]本专利技术提供了一种基于VR视频(包括普通2D视频)的动态力反馈映射方法。通过本
专利技术可将VR视频中运动物体所产生的动态力映射到相应的力反馈设备，用户在观看VR视频时，通过力反馈设备所传递的实时动态力，从而可体验视频中物体运动的感觉，增加用户在VR环境中的沉浸感。
[0033]图1所示为VR视频动态力反馈估计与转化方法处理流程，具体包括：
[0034]1)为对视频中运动物体所产生的力进行估计，需要对物体进行追踪和速度估计。为达此目的，可使用现有基于2D视频、3D视频和VR视频处理的物体追踪和速度估计方法。该物体追踪和速度估计方法具有低功耗和高时间分辨率(temporal resolution)的优点。
[0035]首先，需采集VR视频和对应的事件信号。目前有两种方法可实现VR视频的“事件信号”获取，即可在VR视频采集时，同时使用“事件相机”同步采集VR视频的事件信号，或仅仅采集VR视频，通过后处理的方式模拟生成VR视频的事件信号。通过VR视频中多个视角的视觉信息，获得VR视频中物体运动的速度向量V，其中每一个子视图都可单独看作一个普通的2D视频。以图2所采集的3个不同抛球场景为例，具体处理步骤如下：
[0036]A)基于VR视频中心视图的追踪结果计算获得物体在X方向的运动速度V
x
和Y方向的运动速度V
y
...

【技术保护点】

【技术特征摘要】
1.一种基于视频内容检测的动态力反馈映射方法，其特征在于，具体包括如下步骤：1)采集VR视频及视频对应的视频信号及事件信号，利用基于视频处理或事件处理的追踪算法对运动的物体进行追踪，获得物体的运动速度向量V(V
x
，V
y
，V
z
)；2)利用物体的运动速度向量V和物体质量信息计算出视频中物体运动所产生力的大小和方向，通过一个力反馈向量F(F
x
，F
y
，F
z
)表示；3)将动态力以非均匀的方式映射到力反馈设备上。2.如权利要求1所述的基于视频内容检测的动态力反馈映射方法，其特征在于，步骤1)具体为：1
‑
a)基于VR视频中心视图的追踪结果计算获得物体在X方向的运动速度V
x
和Y方向的运动速度V
y
；1
‑
b)VR视频不同视角之间存在一定的视差信息，假设VR视频共有N
×
N个子视图，取第k行中视差最大的子视图k1和kN组成子视图对，则通过下述公式计算物体在Z方向上的运动速度：其中f表示相机的焦距，d表示两个虚拟相机的光学中心之间的距离，x
k1
和x
kN
分别为两个子视图中同一特征点在同一时刻的x坐标，Δt为时间间隔，D
t
‑1表示物体在Z方向上一时刻的位置；1
‑
c)利用卡尔曼滤波器对物体运动速度进行滤波，获得物体像素水平的速度向量V
p
(V
x
，V
y
，V
z
)，通过下述映射公式将V
p
转换为物体的真实速度向量V(V
x
，V
y
，V
z
)：其中W表示物体的实际宽度，W
p
表示视频中物体的像素宽度。3.如权利要求2所述的基于视频内容检测的动态力反馈映射方法，其特征在于，步骤1
‑
a)中，具体步骤如下：a)在t0时刻取视频的图像帧记作利用角点检测算法获取物体的特征点，以特征点为中心生成特征片，计算上特征片在x方向和y方向的亮度梯度其中u代表像素位置，基于视频图像帧的亮度增量图像由亮度梯度在一定时间间隔Δτ，以速度v
p
移动一段距离...

【专利技术属性】
技术研发人员：陈晓明，赵广鑫，
申请(专利权)人：北京工商大学，
类型：发明
国别省市：