智能保持全景视频中兴趣目标时刻显示的方法及装置制造方法及图纸

本发明专利技术提供了一种智能保持全景视频中保持兴趣目标时刻显示的方法及装置。该方法包括：获取全景视频数据；基于智能算法对全景视频数据进行分析，分析包括：根据预设目标的特征以及至少一个预设参数确定所述全景视频中包含相同预定兴趣目标的场景样本，并索引该场景样本序列的播放视角，以使后续视频帧序列根据该播放视角进行跟踪；接收到追踪兴趣目标播放指令时，基于分析结果播放全景视频数据。本发明专利技术的上述方法及装置，能够在全景摄像机在采集图像时和兴趣目标有相对运动时，用户不需要通过滑动屏幕等操作即可使兴趣目标保持在播放视角内。

A Method and Device for Intelligently Maintaining the Time Display of Interest Targets in Panoramic Video

【技术实现步骤摘要】
智能保持全景视频中兴趣目标时刻显示的方法及装置
本专利技术涉及视频处理技术，尤其涉及一种智能保持全景视频中兴趣目标时刻显示的方法及装置。
技术介绍
通常智能终端在播放全景视频时，显示屏播放的只是全景视频中某个朝向的部分画面。事实上，全景视频是以观察者为中心，绕固定点旋转一周所观察到全方位360度的视野场景。在播放时，智能终端可以默认或根据用户手动选择来决定显示全景视频当前帧图像中的哪部分图像，该部分图像相当于用户作为观察者以一定观察视角观看全景视频时所看到的部分图像，此观察视角即为当前视频的播放视角。当用户在观看全景视频时希望持续观察视频中某个兴趣目标时，由于播放器显示屏只能显示全景视频的一小部分，即用户在屏幕上看见的当前画面只是全景视频当前帧图像的一部分，那么在全景摄像机和兴趣目标没有保持相对静止的前提下，用户不得不手动划动屏幕，以持续地将包含该兴趣目标的画面拖动到屏幕可观看区域进行观看。显然，这种方法非常不利于用户体验。
技术实现思路
在下文中给出了关于本专利技术的简要概述，以便提供关于本专利技术的某些方面的基本理解。应当理解，这个概述并不是关于本专利技术的穷举性概述。它并不意图确定本专利技术的关键或重要部分，也不意图限定本专利技术的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。鉴于此，本专利技术提供了一种智能保持全景视频中兴趣目标时刻显示的方法及装置，以至少解决现有技术在播放全景视频时不能保持兴趣目标时刻显示的问题。本专利技术提供了一种智能保持全景视频中兴趣目标时刻显示的方法，所述方法包括，所述方法包括：获取全景视频数据，所述全景视频数据包括多个全景视频序列；基于智能算法对全景视频数据进行分析：根据预设目标的特征以及至少一个预设参数确定所述全景视频中包含相同预定兴趣目标的场景样本，并索引该场景样本序列的播放视角，以使后续视频帧序列根据该播放视角进行跟踪；其中，所述分析包括：基于预定兴趣目标的特征以及至少一个预设参数从全景视频每一帧中提取N个包含n个预定兴趣目标的场景样本，N和n均为正整数，计算每个全景视频帧中N个场景样本与该全景视频帧的下一帧中N个场景样本的预定兴趣目标关联度，若该关联度高于预设阈值时，判定该全景视频帧与其下一个全景视频帧的场景样本包含相同的预定兴趣目标，通过非监督学习过程按照时间顺序对多个全景视频序列中包含相同预定兴趣目标的场景样本进行分组，得到多个组，并索引每组场景样本的播放视角；以及当接收到追踪兴趣目标播放指令时，基于分析结果对全景视频数据进行播放。进一步地，所述至少一个预设参数包括一个或多个种类的一个或多个预设参数。进一步地，所述至少一个预设参数的一个或多个种类包括以下至少一种：视场角；兴趣目标中心与投影中心的距离。进一步地，所述至少一个预设参数包括：第一视场角；第二视场角；第三视场角；兴趣目标中心与投影中心的距离为第一距离；兴趣目标中心与投影中心的距离为第二距离；以及兴趣目标中心与投影中心的距离为第三距离。进一步地，若用户超过预设时间未对播放装置操作，触发追踪兴趣目标播放指令，以在对应全景视频帧的一个或多个兴趣目标中选择最匹配的兴趣目标作为待追踪兴趣目标。进一步地，在对应全景视频帧的一个或多个兴趣目标中选择最匹配的兴趣目标作为待追踪兴趣目标的步骤中，根据用户触发追踪兴趣目标播放指令时对应的播放视角内的兴趣目标确定所述待追踪兴趣目标，以根据该待追踪兴趣目标对应的场景样本分组所对应的播放视角持续改变兴趣视角。进一步地，用户视角和兴趣视角采用如下形式之一：坐标、旋转角或空间向量。根据本专利技术的另一方面，还提供了一种智能保持全景视频中兴趣目标时刻显示的装置，所述装置包括：获取单元，适于获取全景视频数据，所述全景视频数据包括多个全景视频序列；分析单元，适于基于智能算法对全景视频数据进行分析：根据预设目标的特征以及至少一个预设参数确定所述全景视频中包含相同预定兴趣目标的场景样本，并索引该场景样本序列的播放视角，以使后续视频帧序列根据该播放视角进行跟踪；以及播放单元，适于当接收到追踪兴趣目标播放指令时，基于分析结果对全景视频数据进行播放；其中，所述分析单元包括提取模块、计算模块以及分组模块；所述提取模块适于基于预定兴趣目标的特征以及至少一个预设参数从全景视频每一帧中提取N个包含n个预定兴趣目标的场景样本，N和n均为正整数；所述计算模块适于计算每个全景视频帧中N个场景样本与该全景视频帧的下一帧中N个场景样本的预定兴趣目标关联度，若该关联度高于预设阈值时，判定该全景视频帧与其下一个全景视频帧的场景样本包含相同的预定兴趣目标；所述分组模块适于通过非监督学习过程按照时间顺序对多个全景视频序列中包含同一个(n个)预定兴趣目标的场景样本进行分组，得到多个组，并索引每组场景样本的播放视角。进一步地，所述至少一个预设参数包括一个或多个种类的一个或多个预设参数。进一步地，所述至少一个预设参数的一个或多个种类包括以下至少一种：视场角；兴趣目标中心与投影中心的距离。通过本专利技术的一种智能保持全景视频中兴趣目标时刻显示的方法及装置，当全景摄像机和兴趣目标有相对运动时，智能终端在播放全景视频时根据视频内容主动推荐用户可能感兴趣的目标，进而持续地在全景视频中固定时间区间内追踪该兴趣目标；用户可以不必频繁地手动调整播放视角而使兴趣目标可以始终保持在全景视频中，从而简化了用户操作，提高了用户观看全景视频的体验感。通过以下结合附图对本专利技术的最佳实施例的详细说明，本专利技术的这些以及其他优点将更加明显。附图说明本专利技术可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本专利技术的优选实施例和解释本专利技术的原理和优点。其中：图1是示出本专利技术的一种智能保持全景视频中兴趣目标时刻显示的方法的一种示例性处理的流程图；图2是示出图1中的步骤S120的一种可能处理的流程图；图3是示出本专利技术的一种智能保持全景视频中兴趣目标时刻显示的装置的一个示例的结构框图；图4是示出图3中的分析单元的一种可能结构的示意图。本领域技术人员应当理解，附图中的元件仅仅是为了简单和清楚起见而示出的，而且不一定是按比例绘制的。例如，附图中某些元件的尺寸可能相对于其他元件放大了，以便有助于提高对本专利技术实施例的理解。具体实施方式在下文中将结合附图对本专利技术的示范性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本
技术实现思路
的本领域技术人员来说，这种开发工作仅仅是例行的任务。在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本专利技术，在附图中仅仅示出了与根据本专利技术的方案密切相关的装置结构和/或处理步骤，而省略了与本专利技术关系不大的其他细节。在现有技术中，全景摄像机在采集图像时和兴趣目标有相对运动，则兴趣目标不能本文档来自技高网...

【技术保护点】
1.一种智能保持全景视频中兴趣目标时刻显示的方法，其特征在于，所述方法包括：获取全景视频数据，所述全景视频数据包括多个全景视频序列；基于智能算法对全景视频数据进行分析：根据预设目标的特征以及至少一个预设参数确定所述全景视频中包含相同预定兴趣目标的场景样本，并索引该场景样本序列的播放视角，以使后续视频帧序列根据该播放视角进行跟踪；其中，所述分析包括：基于预定兴趣目标的特征以及至少一个预设参数从全景视频每一帧中提取N个包含n个预定兴趣目标的场景样本，N和n均为正整数，计算每个全景视频帧中N个场景样本与该全景视频帧的下一帧中N个场景样本的预定兴趣目标关联度，若该关联度高于预设阈值时，判定该全景视频帧与其下一个全景视频帧的场景样本包含相同的预定兴趣目标，通过非监督学习过程按照时间顺序对多个全景视频序列中包含相同预定兴趣目标的场景样本进行分组，得到多个组，并索引每组场景样本的播放视角；以及当接收到追踪兴趣目标播放指令时，基于分析结果对全景视频数据进行播放。

【技术特征摘要】
1.一种智能保持全景视频中兴趣目标时刻显示的方法，其特征在于，所述方法包括：获取全景视频数据，所述全景视频数据包括多个全景视频序列；基于智能算法对全景视频数据进行分析：根据预设目标的特征以及至少一个预设参数确定所述全景视频中包含相同预定兴趣目标的场景样本，并索引该场景样本序列的播放视角，以使后续视频帧序列根据该播放视角进行跟踪；其中，所述分析包括：基于预定兴趣目标的特征以及至少一个预设参数从全景视频每一帧中提取N个包含n个预定兴趣目标的场景样本，N和n均为正整数，计算每个全景视频帧中N个场景样本与该全景视频帧的下一帧中N个场景样本的预定兴趣目标关联度，若该关联度高于预设阈值时，判定该全景视频帧与其下一个全景视频帧的场景样本包含相同的预定兴趣目标，通过非监督学习过程按照时间顺序对多个全景视频序列中包含相同预定兴趣目标的场景样本进行分组，得到多个组，并索引每组场景样本的播放视角；以及当接收到追踪兴趣目标播放指令时，基于分析结果对全景视频数据进行播放。2.根据权利要求1所述的方法，其特征在于，所述至少一个预设参数包括一个或多个种类的一个或多个预设参数。3.根据权利要求2所述的方法，其特征在于，所述至少一个预设参数的一个或多个种类包括以下至少一种：视场角；兴趣目标中心与投影中心的距离。4.根据权利要求3所述的方法，其特征在于，所述至少一个预设参数包括：第一视场角；第二视场角；第三视场角；兴趣目标中心与投影中心的距离为第一距离；兴趣目标中心与投影中心的距离为第二距离；以及兴趣目标中心与投影中心的距离为第三距离。5.根据权利要求1或2所述的方法，其特征在于，若用户超过预设时间未对播放装置操作，触发追踪兴趣目标播放指令，以在对应全景视频帧的一个或多个兴趣目标中选择最匹配的兴趣目标作为待追踪兴趣目标。6.根据权利要求5所述的方法，其特征在于，在对应全景视频帧的...

【专利技术属性】
技术研发人员：朱磊，杨晓光，
申请(专利权)人：青岛一舍科技有限公司，
类型：发明
国别省市：山东,37