基于视觉里程计的自动触觉生成制造技术

本公开涉及基于视觉里程计的自动触觉生成。公开了基于视觉里程计自动生成触觉的设备、系统、和方法的示例。在一个示例中，接收具有多个帧的视频并且创建来自该多个帧的第一帧和来自该多个帧的第二帧之间的光流估计。在该示例中，第二帧在第一帧之后。在该示例中，至少部分地基于光流估计检测静止物体在第一帧和第二帧之间的视在移动，并且至少部分地基于光流估计生成与静止物体的视在移动相对应的至少一个触觉效果。可以将所生成的一个或多个触觉效果输出到触觉文件或触觉输出设备或它们二者。

【技术实现步骤摘要】
基于视觉里程计的自动触觉生成
本申请一般地涉及触觉设备，更一般地涉及基于视觉里程计的自动触觉生成。
技术介绍
传统上，机械按钮向电子设备的用户提供物理触觉。但是，随着电子设备的大小的减小以及电子设备的便携性的增加，电子设备上的机械按钮的数目减少甚至一些电子设备不具有任何机械按钮。触觉输出设备可以被包括在这样的设备中，以向用户输出触觉效果。
技术实现思路
描述了基于视觉里程计(visualodometry)自动生成触觉的设备、系统、和方法的各种示例。公开的一种示例方法包括：接收具有多个帧的视频；确定第一帧和第二帧之间的光流估计，其中，第二帧在第一帧之后；至少部分地基于光流估计，检测静止物体在第一帧和第二帧之间的视在移动(apparentmovement)；至少部分地基于光流估计，生成与静止物体的视在移动相对应的触觉效果；以及通过触觉输出设备产生触觉效果。公开的一种示例非暂态计算机可读介质，包括被配置为将由处理器执行的一个或多个软件应用。在该示例中，一个或多个软件应用被配置为：接收具有多个帧的视频；确定第一帧和第二帧之间的光流估计，其中，第二帧在第一帧之后；至少部分地基于光流估计，检测静止物体在第一帧和第二帧之间的视在移动；至少部分地基于光流估计，生成与静止物体的视在移动相对应的触觉效果；以及通过触觉输出设备产生触觉效果。公开的一种被配置为产生触觉效果的示例设备包括镜头、显示器、触觉输出设备、以及处理器。在该示例中，处理器与镜头、显示器、以及触觉输出设备通信。在该示例中，处理器被配置为：从镜头接收具有多个帧的视频；确定第一帧和第二帧之间的光流估计，其中，第二帧在第一帧之后；至少部分地基于光流估计，检测静止物体在第一帧和第二帧之间的视在移动；至少部分地基于光流估计，生成被配置为使得触觉输出设备输出与静止物体的视在移动相对应的触觉效果的触觉信号；将第一帧和第二帧输出到显示器；以及将触觉信号输出到触觉输出设备，以使得触觉输出设备在第二帧被显示在显示器上时产生触觉效果。所提到的这些说明性示例不用于限制或限定本公开的范围，而用于提供帮助理解本公开的示例。在提供进一步描述的具体实施例部分详细描述说明性示例。通过审查本说明书可以进一步理解各种示例提供的优点。附图说明本专利或申请文件包括至少一幅彩色附图。本专利或专利申请公开的具有一幅或多幅彩色附图的副本将根据请求和必要费用的支付由专利局提供。结合到本说明书中并且组成本说明书的一部分的附图示出了一个或多个具体示例并且与示例的描述一起用来说明具体示例的原理和实施方式。图1A、1B、和1C示出了根据实施例的用于基于视觉里程计自动生成触觉的示例计算设备。图2示出了根据实施例的用于基于视觉里程计自动生成触觉的示例系统。图3示出了根据实施例的基于视觉里程计自动生成触觉的示例方法。图4示出了根据实施例的针对视频帧的示例光流估计。图5A示出了根据实施例的针对在描绘森林的视频中所检测的局部区域中的特征像素的示例光流估计。图5B示出了根据实施例的针对在描绘山脉的视频中所检测的局部区域中的特征像素的示例光流估计。图6A和6B示出了根据实施例的从一帧(图6A)到另一帧(图6B)的示例垂直镜头移位。图7A示出了根据实施例的针对在土路上骑行的山地车的视频所生成的示例触觉效果。图7B示出了根据实施例的针对在石头上骑行的山地车的视频所生成的示例触觉效果。图8示出了根据实施例的基于视觉里程计自动生成触觉的示例方法。具体实施方式这里，在基于视觉里程计自动生成触觉的设备、系统、和方法的背景下描述示例。在实施例中，这里使用的视觉里程计是指通过分析视频中的视频帧来确定静止物体在视频中的帧之间的视在移动从而检测出的镜头在记录视频时的移动，其中，静止图像在帧之间的视在移动指示镜头的移动。本领域普通技术人员将认识到，下面的描述只是说明性的，而不用于通过任何方式进行限制。现在将详细参考附图中示出的示例实施方式。贯穿附图和下面的描述使用相同的参考指示符来指代相同或相似的项目。为了简明，这里没有示出所描述的示例的所有常规特征。当然，将理解的是，在任意这样的实际实施方式的开发中，可以做出各种特定于实施方式的决定，以便实现开发者的具体目标，例如，符合应用和商业相关的约束，并且这些具体目标可以是基于实施方式和开发者而有所不同的。在一个说明性示例中，运动型镜头(actioncamera)允许用户记录视点(point-of-view)视频。在这个示例中，在用户使用运动型镜头来记录视点视频后，可以基于视觉里程计自动生成针对视点视频的触觉效果并将该触觉效果添加到视点视频。由于已经从第一人角度记录了视点视频，所以可以基于运动型镜头的移动来估计记录视点视频的人的运动。另外，可以生成与移动相对应的触觉效果并将该触觉效果存储在触觉文件中，从而使得与视点视频中的移动相对应的触觉效果在视点视频被播放时被输出。在该示例中，生成与视点视频中的静止物体在垂直方向的明显的突然移动相对应的触觉效果。因为物体被假定为是静止的，所以在该示例中，所记录的视点视频中的静止物体的明显的突然移动是由运动式镜头在记录视频时的移动导致的。在该示例中，基于在视点视频被记录时镜头的移动速度来生成触觉效果。例如，可以基于静止物体在视点视频的连续帧之间在垂直方向的视在移动的大小来生成触觉效果。静止物体在连续帧之间在垂直方向的视在移动的大小可以近似在视点视频被记录时镜头的移动速度。在该说明性示例中，将触觉效果存储在与视点视频相对应的触觉文件中。例如，可以将触觉效果的时间和大小参数存储在触觉文件中，从而使得在视点视频被播放时，与视点视频中的静止物体的明显的突然的垂直移动相对应的触觉效果被输出。作为一个示例，触觉文件可以存储触觉效果的时间和大小参数，从而使得在视点视频中的静止物体有明显的、大的、突然的垂直移动时输出大触觉效果。作为另一个示例，如果静止物体的明显的、突然的、垂直移动在阈值量以上，则触觉文件具有时间和大小参数，从而使得具有与垂直移动的大小相对应的大小的触觉效果在突然移动在视点视频中被播放时被输出。在该示例中，如果静止物体的明显的、突然的垂直移动在阈值量以下，则触觉文件不具有与该突然移动相对应的时间或大小参数，因此在突然移动在视点视频中被播放时触觉效果不被输出。给出了说明性示例来向读者介绍本文讨论的一般主题，并且本公开并不限于该示例。下面的部分描述了用于基于视觉里程计自动生成触觉的系统和方法的各种附加的非限制性示例和示例。图1A、1B、和1C示出了根据实施例的用于基于视觉里程计自动生成触觉的示例计算设备100。图1A示出了计算设备100的正面，图1B示出了计算设备100的背面，图1C示出了计算设备100的组件。计算设备100可以包括例如，数字镜头、运动型镜头、360度镜头、智能电话、平板手机、平板电脑、电子阅读器、膝上型电脑、桌面型电脑、便携式游戏设备、医疗设备、机顶盒(例如，DVD播放器、DVR、有线电视盒)、或游戏控制器。在其他示例中，计算设备100可以包括多功能控制器，例如，用在售货亭、汽车、报警系统、恒温器、或者其他类型的电子设备中的控制器。在一些示例中，计算设备100可以包括可穿戴计算设备，例如，腕表、手镯、项链、腰带、虚拟现实(VR)耳机、听筒、手套、或者本文档来自技高网...

【技术保护点】
1.一种产生触觉效果的方法，包括：接收具有多个帧的视频；确定第一帧和第二帧之间的光流估计，其中，所述第二帧在所述第一帧之后；至少部分地基于所述光流估计，检测静止物体在所述第一帧和所述第二帧之间的视在移动；至少部分地基于所述光流估计，生成与所述静止物体的所述视在移动相对应的触觉效果；以及通过触觉输出设备产生所述触觉效果。

【技术特征摘要】
2016.12.14 US 15/378,6861.一种产生触觉效果的方法，包括：接收具有多个帧的视频；确定第一帧和第二帧之间的光流估计，其中，所述第二帧在所述第一帧之后；至少部分地基于所述光流估计，检测静止物体在所述第一帧和所述第二帧之间的视在移动；至少部分地基于所述光流估计，生成与所述静止物体的所述视在移动相对应的触觉效果；以及通过触觉输出设备产生所述触觉效果。2.如权利要求1所述的方法，其中，所述视频包括视频文件、实时视频、或者视点视频中的至少一者。3.如权利要求1所述的方法，其中，所述第一帧和所述第二帧是所述多个帧中的连续帧。4.如权利要求1所述的方法，其中，在所述多个帧中所述第二帧与所述第一帧相距至少一帧，并且其中，所述第二帧邻近所述第一帧。5.如权利要求1所述的方法，其中，所述第二帧是至少部分地基于所述视频的帧率从所述多个帧中选择的。6.如权利要求1所述的方法，其中，确定所述光流估计包括：确定所述第一帧的局部区域中的多个特征像素；以及生成与所述第一帧的所述局部区域中的所述多个特征像素和所述第二帧的局部区域中的相应的多个特征像素相对应的运动向量，所述运动向量指示所述静止物体在所述第一帧和所述第二帧之间的所述视在移动。7.如权利要求6所述的方法，其中，检测所述静止物体的所述视在移动包括检测所述运动向量的相同方向或者基本相同方向。8.如权利要求6所述的方法，其中，所述局部区域中的所述多个特征像素是至少部分地基于所述静止物体的检测确定的，并且其中，所确定的局部区域围绕所述静止物体。9.如权利要求6所述的方法，其中，所述局部区域中的所述多个特征像素与在创建与所述多个帧中除所述第一帧以外的帧相对应的在先光流估计时确定的在先局部区域中的多个特征像素相对应。10.如权利要求6所述的方法，其中，所述光流估计包括仅与所述局部区域中的特征像素相对应的运动向量。11.如权利要求6所述的方法，其中，所述局部区域包括与所述第一帧和所述第二帧相对应的顶部中心视图。12.如权利要求6所述的方法，其中，所述局部区域的大小至...

【专利技术属性】
技术研发人员：伍黎雯，贾马尔·萨波恩，佩奇·雷恩斯，
申请(专利权)人：意美森公司，
类型：发明
国别省市：美国,US