在全向视频中的跟踪感兴趣对象制造技术

描述了在全向视频中的跟踪感兴趣对象。一种设备，包括：至少一个处理器和包含计算机程序代码的至少一个存储器，显示元件，以及用户输入元件。该设备：播放包括图像帧序列的全向视频；在所述显示元件上显示所播放的全向视频的图像帧的一部分；接收来自所述用户输入元件的用户输入，所述用户输入包括对所播放的全向视频的至少一个图像帧的所显示部分中的感兴趣对象的选择；基于所述用户输入在所播放的全向视频的至少一个图像帧中标识所述感兴趣对象；在所播放的全向视频的后续图像帧中跟踪所选择的感兴趣对象；以及调整所播放的全向视频的所述后续图像帧的所显示部分，以使得所跟踪的感兴趣对象保持在所显示部分中。的感兴趣对象保持在所显示部分中。的感兴趣对象保持在所显示部分中。

【技术实现步骤摘要】
在全向视频中的跟踪感兴趣对象
[0001]本专利技术专利申请是国际申请号为PCT/US2016/058333，国际申请日为2016年10月22日，进入中国国家阶段的申请号为201680063229.7，名称为“在全向视频中的跟踪感兴趣对象”的专利技术专利申请的分案申请。

技术介绍

[0002]覆盖水平窗格中或水平和垂直窗格中的360度图像的全向相机已被用于全景成像和视频记录。此类相机记录的图像和视频可由消费者电子设备回放，并且通常设备用户可以控制360度帧的哪个片段被显示。这可例如通过在回放期间手动选择视点来完成。

技术实现思路

[0003]下面呈现了本公开的简要概述，以便向读者提供基本理解。本概述不是本公开的穷尽概览，且其不标识本专利技术的关键/重要元素或者描述本说明书的范围。其唯一的目的是以简化形式呈现本文中所公开的概念精选，作为稍后呈现的更详细描述的序言。
[0004]呈现了一种设备、方法和系统。该设备和方法包括向用户提供在全向视频中选择和跟踪所选感兴趣对象的可能性的特征。在各实施例中，这一选择和跟踪可以在视频捕捉期间实时地执行，记录为元数据并与视频一起保存到存储器中，并且在一些实施例中，该选择和跟踪可在预记录视频上执行。
[0005]通过参考结合附图考虑的以下详细描述将更易于领会许多附带特征，因为这些附带特征变得更好理解。
附图说明
[0006]根据附图阅读以下详细描述将更好地理解本说明书，在附图中：
[0007]图1a是根据一实施例的设备的主要组件的示意图；
[0008]图1b是根据一实施例的设备的示意图；
[0009]图2是根据一实施例的方法的框图；
[0010]图3a是一实施例的图形说明；
[0011]图3b是图3a中所示的实施例的具有感兴趣对象的移动的图形说明，其中；
[0012]图4a是手持式触摸屏设备中实现的实施例的图形说明；
[0013]图4b是图4a中所示的实施例的具有导航的图形说明；以及
[0014]图5是根据一实施例的具有相机的设备的示意图。
[0015]在各附图上相同的附图标记对应于相同的元素。
具体实施方式
[0016]下面结合附图提供的详细描述旨在作为各实施例的描述，并不旨在表示可以构建或使用各实施例的唯一形式。本说明书详尽揭示各操作步骤的结构基础、功能和次序。然而，可以通过未在以下列举的不同的实施例来实现相同或等效功能和序列。
[0017]虽然本公开各实施例中的一些实施例在本文中可被描述和解说成实现在个人计算机或便携式设备中，但它们只是设备的示例而非限制。如本领域技术人员将明白的，本公开各实施例适于应用在包括处理器、存储器和显示器的各种不同类型的设备中。
[0018]图1示出了设备100的一实施例的框图。设备100可以是适配成回放全向视频的任何设备。例如，设备100可以是用于编辑全向视频的设备、个人计算机、或手持式电子设备。设备100包括至少一个处理器103和包含计算机程序代码的至少一个存储器104、耦合到处理器103的显示元件101、以及耦合到处理器103的用户输入元件102。存储器104能够储存机器可执行指令。存储器104可以存储其他指令和数据。此外，处理器103能够执行所储存的机器可执行指令。处理器103可按许多不同方式来具体化。在一实施例中，处理器103可被具体化为诸如协处理器、微处理器、控制器、数字信号处理器(DSP)、具有或不具有伴随DSP的处理电路系统之类的各种处理设备中的一个或多个，或者包括诸如举例而言，专用集成电路(ASIC)、现场可编程门阵列(FPGA)、微控制器单元(MCU)、硬件加速器、专用计算机芯片等集成电路的各种其他处理设备。在至少一个实施例中，处理器103利用计算机程序代码来导致设备100执行一个或多个动作。
[0019]存储器104可被实现为一个或多个易失性存储器设备、一个或多个非易失性存储器设备、或它们的组合。例如，存储器104可被具体化为磁存储设备(诸如硬盘驱动器、软盘、磁带等)、光磁存储设备(例如磁光盘)、CD
‑
ROM(压缩碟只读存储器)、CD
‑
R(可记录压缩碟)、CD
‑
R/W(可重写压缩碟)、DVD(数字多功能碟)、BD(碟)和半导体存储器(诸如掩模ROM、PROM(可编程ROM)、EPROM(可擦除PROM)、闪存ROM、RAM(随机存取存储器)等)。在一实施例中，存储器104可被实现为远程元件，例如云存储。
[0020]计算机程序代码和至少一个存储器104被使用至少一个处理器103配置使得该设备执行下文列出的动作序列。
[0021]包括图像帧序列的全向视频由设备100播放，这可以通过由处理器103使用计算机程序代码来完成。在一替换实施例中，设备100还包括耦合到适配成回放视频的处理器103的回放元件。
[0022]所播放的全向视频的图像帧的一部分被显示在显示元件101上。图像帧的一部分指的是广角全向视频内部的视点，其中用户可通过显示在显示元件101上的这一视点来观看该全向视频。显示元件110的示例可包括但不限于诸如发光二极管显示屏、薄膜晶体管(TFT)显示屏、液晶显示屏、有源矩阵有机发光二极管(AMOLED)显示屏等。图像帧的被显示的该部分的参数可取决于屏幕类型、分辨率以及所使用的回放设备100。
[0023]用户输入元件102向处理器103提供用户输入。用户输入至少包括对所播放的全向视频的至少一个图像帧的所显示部分中的感兴趣对象的选择。感兴趣对象可以是人、移动对象、特定形状或颜色的无生命对象、或任何其他可标识的对象。用户输入元件102可包括例如触摸屏、鼠标和键盘、控制器、姿势标识元件、语音命令元件、或配置成检测设备100的正观看视频并且集中于特定特定感兴趣对象的用户的注视的注视检测元件。对感兴趣对象的选择可包括但不限于点击、指向、轻击、双击、圈起、围起、注视或以其他方式向处理器103指示感兴趣对象。
[0024]所选择的感兴趣对象随后基于用户输入在所播放的全向视频的至少一个图像帧中标识。在一实施例中，感兴趣对象在构成所播放视频的足以开始跟踪的片段的多个后续
图像帧中被标识。处理器103随后被配置成在所播放全向视频的后续图像帧中跟踪所选择的感兴趣对象。该设备还可包括由处理器103控制的分割元件，其中该分割元件被配置成执行全向视频的图像帧的分割以在视频中标识并跟踪所选择的感兴趣对象。在一实施例中，存储器104存储一个或多个预定义对象或对象类型，并且处理器103被配置成基于所选感兴趣对象和所存储的对象或对象类型之间的比较来执行对象标识。对象类型可包括但不限于人、车辆、动物等等。对象可包括但不限于人的脸部特征、车的特定型号等等。只要特定对象类型需要由设备100跟踪，则这就可被使用，并且帮助隔离不想要的标识。
[0025]处理器103还被配置成调整所播放的全向视频的后续图像帧的所显示部分，以使得所跟踪的感兴趣对象保持在所显示的部分中。处本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种设备，包括：至少一个处理器和包含计算机程序代码的至少一个存储器；耦合到所述处理器的显示元件；以及耦合到所述处理器的用户输入元件；其中所述计算机程序代码和所述至少一个存储器被配置成与所述至少一个处理器一起使得所述设备：播放包括图像帧序列的全向视频；在所述显示元件上显示所播放的全向视频的图像帧的一部分；接收来自所述用户输入元件的用户输入，所述用户输入包括对所播放的全向视频的至少一个图像帧的所显示部分中的感兴趣对象的选择；基于所述用户输入在所播放的全向视频的至少一个图像帧中标识所述感兴趣对象；当所选择的感兴趣对象出现在所播放的全向视频的后续图像帧中时，在所播放的全向视频的所述后续图像帧中跟踪所选择的兴趣目标，所选择的感兴趣对象从所述后续图像帧中的一些中缺席，并且在所选择的感兴趣对象从所播放的全向视频的所述后续图像帧中缺席后，当所选择的感兴趣对象重新出现在所述后续图像帧中时，对所选择的感兴趣对象的跟踪恢复；以及调整所播放的全向视频的所述后续图像帧的所显示部分，以使得所跟踪的感兴趣对象保持在所显示部分中。2.如权利要求1所述的设备，其特征在于，所述计算机程序代码和所述至少一个存储器被配置成与所述至少一个处理器一起使得所述设备通过使所播放的全向视频的所述后续图像帧的所显示部分以所跟踪的感兴趣对象为中心来调整所播放的全向视频的所述后续图像帧的所显示部分。3.如权利要求1所述的设备，其特征在于，所述计算机程序代码和所述至少一个存储器被配置成与所述至少一个处理器一起使得所述设备检测所跟踪的感兴趣对象从预定数量的图像帧中缺席，并且停止跟踪所选择的感兴趣对象，其中所跟踪的感兴趣对象缺席是由于捕获所述全向视频的相机的移动导致所述感兴趣对象在所述相机的视野之外或所跟踪的感兴趣对象在障碍物后面的移动。4.如权利要求1所述的设备，其特征在于，所述计算机程序代码和所述至少一个存储器被配置成与所述至少一个处理器一起使得所述设备：接收来自所述用户输入元件的进一步用户输入，所述进一步用户输入包括对所播放的全向视频的至少一个图像帧的所显示部分中的新感兴趣对象的选择；停止跟踪先前选择的感兴趣对象；在所播放的全向视频的后续图像帧中跟踪所选择的新感兴趣对象；以及调整所播放的全向视频的所述后续图像帧的所显示部分，以使得所选择的新感兴趣对象保持在所显示部分中。5.如权利要求1所述的设备，其特征在于，所述计算机程序代码和所述至少一个存储器被配置成与所述至少一个处理器一起使得所述设备：接收来自所述用户输入元件的进一步用户输入，所述用户输入包括对所播放的全向视频的图像帧的所显示部分的导航；以及
基于接收到的导航来调整所播放的全向视频的图像帧的所显示部分。6.如权利要求5所述的设备，其特征在于，所述用户输入元件包括触摸传感器，并且所述计算机程序代码和所述至少一个存储器被配置成与所述至少一个处理器一起使得所述设备：基于包括对所述图像帧的所显示部分的导航的用户输入通过沿所述触摸传感器移动手指以移动所播放的全向视频的所述图像帧的所显示部分来移动所播放的全向视频的图像帧的所显示部分；以及基于包括将所述手指从所述触摸传感器移除以停止对所述图像帧的所显示部分的导航的用户输入，将所播放的全向视频的所述图像帧的所显示部分返回至所跟踪的感兴趣对象在所显示部分中所处的位置。7.如权利要求1所述的设备，其特征在于，包括配置成捕捉包括图像帧序列的全向视频的相机，所述相机在水平方向和垂直方向中的至少一者上具有至少180度的图像捕捉视野，其中所述计算机程序代码和所述至少一个存储器被配置成与所述至少一个处理器一起使得所述设备：接收由所述相机捕捉的全向视频；在接收到的全向视频上执行所述操作；以及将元数据记录在所述存储器中，所述元数据包括所播放的全向视频的图像帧的所显示部分的指示以及与所捕捉的全向视频相对应的时间数据。8.如权利要求7所述的设备，其特征在于，所述设备包括距离测量元件，所述距离测量元件耦合至所述处理器并被配置成测量所述相机与所选择的感兴趣对象之间的距离，其中所述元数据还包括所述距离测量。9.如权利要求7所述的设备，其特征在于，所述设备包括定向音频记录元件，其中所述计算机程序代码和所述...

【专利技术属性】
技术研发人员：E，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：