全景视频的处理方法、装置及电子设备制造方法及图纸

本发明专利技术提供了一种全景视频的处理方法、装置及电子设备，属于视频处理技术领域。其中，全景视频的处理方法，包括：根据全景视频的图像数据获取所述全景视频对应的场景信息，所述场景信息至少包括场景类别、场景中每一区域的类别以及出席者和物体的分布信息；根据所述场景信息和场景中出席者的运动特征识别场景中的出席者行为；根据出席者行为与场景的相关性计算每一出席者行为的显著度。安装本发明专利技术技术方案的系统，在播放全景视频时，能够自动检测出全景视频中发生的显著行为，并据此切换视频播放的视角，使得用户能够以更加自然的方式观看全景视频并且不错过其中的关键内容。

Processing method, device and electronic equipment for panoramic video

The invention provides a panoramic video processing method, device and electronic device, belonging to the field of video processing technology. The processing method of panoramic video includes: obtaining the scene information corresponding to the panoramic video according to the image data of the panoramic video, the scene information at least including the scene category, the category of each region in the scene, and the distribution information of the attendees and objects, according to the scene information and the attendance of the participants in the scene. Dynamic feature identifies the participant behavior in the scene, and calculates the saliency of each participant behavior according to the correlation between the participant behavior and the scene. The system that installs the technical scheme of the invention can automatically detect the remarkable behavior in panoramic video when playing panoramic video, and switch the video playback view accordingly so that the user can watch the panoramic video in a more natural way and do not miss the key content.

【技术实现步骤摘要】
全景视频的处理方法、装置及电子设备
本专利技术涉及视频处理
，特别是指一种全景视频的处理方法、装置及电子设备。
技术介绍
近些年，随着虚拟现实(VR)技术的迅猛发展，用于播放虚拟内容的VR头盔受到了越来越广泛地关注，全景视频无疑是最适合于在VR头盔上播放的素材之一。目前，用户在佩戴VR头盔时大都需要通过转动头部等主动操作来切换全景视频的视角，这样的操作不仅没有带给用户良好的体验，而且还有可以能导致用户错过视频中的关键内容。
技术实现思路
本专利技术要解决的技术问题是提供一种全景视频的处理方法、装置及电子设备，能够自动检测全景视频中发生的显著行为，并据此切换视频播放的视角，使得用户能够以更加自然的方式观看全景视频并且不错过其中的关键内容。为解决上述技术问题，本专利技术的实施例提供技术方案如下：一方面，提供一种全景视频的处理方法，包括：根据全景视频的图像数据获取所述全景视频对应的场景信息，所述场景信息至少包括场景类别、场景中每一区域的类别以及出席者和物体的分布信息；根据所述场景信息和场景中出席者的运动特征识别场景中的出席者行为；根据出席者行为与场景的相关性计算每一出席者行为的显著度。进一步地，所述根据出席者行为与场景的相关性计算每一出席者行为的显著度之后，所述方法还包括：变换全景视频的视角，使得显著度最大的出席者行为对应于观看者正面的视角方向。进一步地，所述根据全景视频的图像数据获取所述全景视频对应的场景信息包括：根据所述图像数据确定场景中出席者和物体的分布信息，根据所述分布信息确定场景的类别；将场景划分成多个区域，根据每一区域内的运动累积信息、出席者和物体的分布信息对每一区域进行分类。进一步地，所述根据所述场景信息和场景中出席者的运动特征识别场景中的出席者行为包括：根据出席者所在区域的类别、场景中出席者和物体的分布信息对场景中的出席者进行分类；根据出席者的类别和出席者的运动特征识别场景中的出席者行为。进一步地，所述根据出席者行为与场景的相关性计算每一出席者行为的显著度包括：计算每一出席者行为与所述场景的相关性；筛选出与所述场景的相关性大于阈值的出席者行为；计算筛选出的每一出席者行为的显著度。本专利技术实施例还提供了一种全景视频的处理装置，包括：获取模块，用于根据全景视频的图像数据获取所述全景视频对应的场景信息，所述场景信息至少包括场景类别、场景中每一区域的类别以及出席者和物体的分布信息；识别模块，用于根据所述场景信息和场景中出席者的运动特征识别场景中的出席者行为；计算模块，用于根据出席者行为与场景的相关性计算每一出席者行为的显著度。进一步地，所述装置还包括：视角变换模块，用于变换全景视频的视角，使得显著度最大的出席者行为对应于观看者正面的视角方向。进一步地，所述获取模块包括：场景类别识别单元，用于根据所述图像数据确定场景中出席者和物体的分布信息，根据所述分布信息确定场景的类别；区域分类单元，用于将场景划分成多个区域，根据每一区域内的运动累积信息、出席者和物体的分布信息对每一区域进行分类。进一步地，所述识别模块包括：出席者分类单元，用于根据出席者所在区域的类别、场景中出席者和物体的分布信息对场景中的出席者进行分类；出席者行为识别单元，用于根据出席者的类别和出席者的运动特征识别场景中的出席者行为。进一步地，所述计算模块包括：第一计算单元，用于计算每一出席者行为与所述场景的相关性；筛选单元，用于筛选出与所述场景的相关性大于阈值的出席者行为；第二计算单元，用于计算筛选出的每一出席者行为的显著度。本专利技术实施例还提供了一种处理全景视频的电子设备，包括：处理器；和存储器，在所述存储器中存储有计算机程序指令，其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器执行以下步骤：根据全景视频的图像数据获取所述全景视频对应的场景信息，所述场景信息至少包括场景类别、场景中每一区域的类别以及出席者和物体的分布信息；根据所述场景信息和场景中出席者的运动特征识别场景中的出席者行为；根据出席者行为与场景的相关性计算每一出席者行为的显著度。本专利技术的实施例具有以下有益效果：上述方案中，对全景视频的图像数据进行分析，计算场景中出席者行为与场景的相关性，进而计算出席者行为的显著度，以便变换全景视频的视角，使得显著度最大的出席者行为对应于观看者正面的视角方向。安装本专利技术技术方案的系统，在播放全景视频时，能够自动检测出全景视频中发生的显著行为，并据此切换视频播放的视角，使得用户能够以更加自然的方式观看全景视频并且不错过其中的关键内容。附图说明图1为本专利技术实施例全景视频的处理方法的流程示意图；图2为本专利技术实施例根据全景视频的图像数据获取全景视频对应的场景信息的流程示意图；图3为本专利技术实施例根据场景信息和场景中出席者的运动特征识别场景中的出席者行为的流程示意图；图4为本专利技术实施例根据出席者行为与场景的相关性计算每一出席者行为的显著度的流程示意图；图5为本专利技术实施例全景视频的处理装置的结构示意图；图6为本专利技术实施例获取模块的结构示意图；图7为本专利技术实施例识别模块的结构示意图；图8为本专利技术实施例计算模块的结构示意图；图9为本专利技术实施例处理全景视频的电子设备的结构示意图；图10为本专利技术具体实施例全景视频的处理方法的流程示意图。具体实施方式为使本专利技术的实施例要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。本专利技术的实施例提供一种全景视频的处理方法、装置及电子设备，能够自动检测全景视频中发生的显著行为并切换到相应的视角，使得用户能够以更加自然的方式观看全景视频并且不错过其中的关键内容。实施例一本实施例提供一种全景视频的处理方法，如图1所示，本实施例包括：步骤101：根据全景视频的图像数据获取所述全景视频对应的场景信息，所述场景信息至少包括场景类别、场景中每一区域的类别以及出席者和物体的分布信息；步骤102：根据所述场景信息和场景中出席者的运动特征识别场景中的出席者行为；步骤103：根据出席者行为与场景的相关性计算每一出席者行为的显著度。本实施例中，对全景视频的图像数据进行分析，计算场景中出席者行为与场景的相关性，进而计算出席者行为的显著度，以便变换全景视频的视角，使得显著度最大的出席者行为对应于观看者正面的视角方向。安装本专利技术技术方案的系统，在播放全景视频时，能够自动检测出全景视频中发生的显著行为，并据此切换视频播放的视角，使得用户能够以更加自然的方式观看全景视频并且不错过其中的关键内容。进一步地，所述根据全景视频的图像数据获取所述全景视频对应的场景信息之前，所述方法还包括：接收输入的全景视频的图像数据。进一步地，所述根据出席者行为与场景的相关性计算每一出席者行为的显著度之后，所述方法还包括：变换全景视频的视角，使得显著度最大的出席者行为对应于观看者正面的视角方向。作为一个示例，如图2所示，所述根据全景视频的图像数据获取所述全景视频对应的场景信息包括：步骤201：根据所述图像数据确定场景中出席者和物体的分布信息，根据所述分布信息确定场景的类别；步骤202：将场景划分成多个区域，根据每一区域内的运动累积信息、出席者和物体的分布信息对每一区域进行分类。作为一个示例，如图3所示，所述根据所述场景信息和场景中出席者的运动特征识别场本文档来自技高网...

【技术保护点】
1.一种全景视频的处理方法，其特征在于，包括：根据全景视频的图像数据获取所述全景视频对应的场景信息，所述场景信息至少包括场景类别、场景中每一区域的类别以及出席者和物体的分布信息；根据所述场景信息和场景中出席者的运动特征识别场景中的出席者行为；根据出席者行为与场景的相关性计算每一出席者行为的显著度。

【技术特征摘要】
1.一种全景视频的处理方法，其特征在于，包括：根据全景视频的图像数据获取所述全景视频对应的场景信息，所述场景信息至少包括场景类别、场景中每一区域的类别以及出席者和物体的分布信息；根据所述场景信息和场景中出席者的运动特征识别场景中的出席者行为；根据出席者行为与场景的相关性计算每一出席者行为的显著度。2.根据权利要求1所述的全景视频的处理方法，其特征在于，所述根据出席者行为与场景的相关性计算每一出席者行为的显著度之后，所述方法还包括：变换全景视频的视角，使得显著度最大的出席者行为对应于观看者正面的视角方向。3.根据权利要求1所述的全景视频的处理方法，其特征在于，所述根据全景视频的图像数据获取所述全景视频对应的场景信息包括：根据所述图像数据确定场景中出席者和物体的分布信息，根据所述分布信息确定场景的类别；将场景划分成多个区域，根据每一区域内的运动累积信息、出席者和物体的分布信息对每一区域进行分类。4.根据权利要求1所述的全景视频的处理方法，其特征在于，所述根据所述场景信息和场景中出席者的运动特征识别场景中的出席者行为包括：根据出席者所在区域的类别、场景中出席者和物体的分布信息对场景中的出席者进行分类；根据出席者的类别和出席者的运动特征识别场景中的出席者行为。5.根据权利要求1所述的全景视频的处理方法，其特征在于，所述根据出席者行为与场景的相关性计算每一出席者行为的显著度包括：计算每一出席者行为与所述场景的相关性；筛选出与所述场景的相关性大于阈值的出席者行为；计算筛选出的每一出席者行为的显著度。6.一种全景视频的处理装置，其特征在于，包括：获取模块，用于根据全景视频的图像数据获取所述全景视频对应的场景信息，所述场景信息至少包括场景类别、场景中每一区域的类别以及出席者和物体的分布信息；识别模块，用于...

【专利技术属性】
技术研发人员：赵颖，
申请(专利权)人：株式会社理光，
类型：发明
国别省市：日本,JP