全景视频处理方法、装置、设备及存储介质制造方法及图纸

本发明专利技术适用计算机技术领域，提供了一种全景视频处理方法，该方法包括：获取全景视频，对该全景视频中的兴趣点进行跟踪，获得相应的跟踪信息，根据跟踪信息，确定兴趣点目标对应的画面播放视角，根据兴趣点目标对应的画面播放视角和该全景视频，生成兴趣点目标对应的跟踪视频，从而为用户提供已处理成各个兴趣点目标跟踪视频的全景视频，无需用户手动选择播放画面的视角，有效地提升了全景视频的播放效果和用户体验。

Panoramic video processing method, device, equipment and storage medium

【技术实现步骤摘要】
全景视频处理方法、装置、设备及存储介质
本专利技术属于计算机
，尤其涉及一种全景视频处理方法、装置、设备及存储介质。
技术介绍
全景视频是通过全景相机拍摄的、包含360度全方位画面内容的动态视频，它将静态的全景图片转化为动态的视频图像，用户能够任意观看在全景摄像机拍摄角度范围内的动态视频。在播放全景视频时，无法将360度画面内容一次性地完全显示在播放装置上。用户作为播放装置前的观察者，需要选择适合自己的观察视角，该观察视角即当前视频的画面播放视角。用户有以下几种方式进行画面播放视角的选择：方式一，在触摸屏上进行滑动操作选择画面播放视角，并在全景视频的时间轴上操作，以回到之前时刻选择其它画面播放视角；方式二，通过播放装置内置的陀螺仪传感器，配合用户的体感姿态，寻找对应的画面播放视角。可以看出，用户在播放全景视频时需要不断地调整画面播放视角，以观察到自己想要看的视频内容，十分不便。例如，当用户想持续观看某个特定目标对象时，需要不断调整视频的画面播放视角，以防该目标对象消失在当前播放画面上，当该目标对象的位置不断变化时，连续调整画面播放视角还可能导致用户产生眩晕感。又如，当用户对多个目标对象感兴趣时，需要重复多次观看全景视频以寻找这些目标对象，十分耗费用户时间。
技术实现思路
本专利技术实施例在于提供一种全景视频处理方法、装置、设备及存储介质，旨在解决由于现有技术无法提供一种有效的全景视频处理方法，导致全景视频播放效果不佳、用户体验不佳的问题。一方面，本专利技术实施例提供了一种全景视频处理方法，所述方法包括下述步骤：获取全景视频；对所述全景视频中的兴趣点目标进行跟踪，获得相应的跟踪信息；根据所述跟踪信息，确定所述兴趣点目标对应的画面播放视角；根据所述兴趣点目标对应的画面播放视角和所述全景视频，生成所述兴趣点目标对应的跟踪视频。另一方面，本专利技术实施例提供了一种全景视频处理装置，所述装置包括：全景视频获取单元，用于获取全景视频；兴趣点跟踪单元，用于对所述全景视频中的兴趣点目标进行跟踪，获得相应的跟踪信息；播放视角确定单元，用于根据所述跟踪信息，确定所述兴趣点目标对应的画面播放视角；以及兴趣点视频生成单元，用于根据所述兴趣点目标对应的画面播放视角和所述全景视频，生成所述兴趣点目标对应的跟踪视频。另一方面，本专利技术实施例还提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述全景视频处理方法所述的步骤。另一方面，本专利技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述全景视频处理方法所述的步骤。本专利技术实施例对全景视频中的兴趣点目标进行跟踪，根据这些兴趣点目标的跟踪信息，确定兴趣点目标对应的画面播放视角，根据兴趣点目标对应的画面播放视角和全景视频，生成兴趣点目标对应的跟踪视频，从而用户可以通过观看不同兴趣点目标分别对应的跟踪视频，以全面了解全景视频中各个兴趣点目标的视频内容，而无需用户手动往复调整全景视频的画面播放视角，有效提高了全景视频的播放效果和用户体验。附图说明图1是本专利技术实施例一提供的全景视频处理方法的实现流程图；图2是本专利技术实施例二提供的全景视频处理方法的实现流程图；图3是本专利技术实施例三提供的全景视频处理方法的实现流程图；图4是本专利技术实施例四提供的全景视频处理装置的结构示意图；图5是本专利技术实施例五提供的全景视频处理装置的结构示意图；图6是本专利技术实施例五提供的全景视频处理装置的优选结构示意图；图7是本专利技术实施例六提供的全景视频处理装置的结构示意图；图8是本专利技术实施例六提供的全景视频处理装置的结构示意图；以及图9是本专利技术实施例七提供的计算机设备的结构示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。以下结合具体实施例对本专利技术的具体实现进行详细描述：实施例一：图1示出了本专利技术实施例一提供的全景视频处理方法的实现流程，为了便于说明，仅示出了与本专利技术实施例相关的部分，详述如下：在步骤S101中，获取全景视频。本专利技术实施例适用于视频处理系统或平台，以对全景视频进行处理。在本专利技术实施例中，在制作全景视频时，通常使用一组摄像机在拍摄点周围同时拍摄360度的画面，再经后期的图像拼接缝合，得到全景视频。因此，可直接获取已经后期图像拼接缝合好的全景视频，也可以获取未经后期图像拼接缝合的各个摄像机拍摄的动态视频。若获取的是未经后期图像拼接缝合的各个摄像机拍摄的动态视频，则可以先进行图像拼接缝合，或者在对全景视频中的兴趣点目标进行追踪的后续步骤中，每次取各个摄像头在同一时刻拍摄的视频图像同时进行目标跟踪。在步骤S102中，对全景视频中的兴趣点目标进行跟踪，获得相应的跟踪信息。在本专利技术实施例中，预先设置好不同类型的兴趣点目标，例如兴趣点目标可以是人、车辆、动物、机器人等等，同时预先训练不同兴趣点目标的识别与跟踪模型，以识别出全景视频中每帧视频图像中不同的兴趣点目标，并对识别出的兴趣点目标进行跟踪，得到这些兴趣点目标的跟踪信息，兴趣点目标的识别与跟踪模型的训练过程可采用现有的目标识别与跟踪算法，在此不进行限制。其中，兴趣点目标的跟踪信息包括兴趣点目标在每帧视频图像中的图像位置。在步骤S103中，根据跟踪信息，确定兴趣点目标对应的画面播放视角。在本专利技术实施例中，在获得跟踪信息后，可以掌握兴趣点目标在全景视频中每帧视频图像中的图像位置，当然，如果兴趣点目标离开全景摄像头所监控的场景，兴趣点目标离开的时间段内所拍摄的视频图像中将不会出现兴趣点目标。根据兴趣点目标在全景视频中其出现或其被跟踪的相应视频图像中的图像位置，可以确定兴趣点目标对应的画面播放视角，即兴趣点目标所出现的每帧视频图像的画面播放视角，从而确保播放视频时兴趣点目标始终出现在播放画面上。在步骤S104中，根据兴趣点目标对应的画面播放视角和全景视频，生成兴趣点目标对应的跟踪视频。在本专利技术实施例中，在确定兴趣点目标对应的画面播放视角，即兴趣点目标所出现的每帧视频图像的画面播放视角时，从全景视频中获取该兴趣点目标出现的每帧视频图像，并设置这些视频图像的画面播放视角，将这些视频图像按照拍摄时间顺序整合成该兴趣点目标对应的跟踪视频。当全景视频中识别出多个不同的兴趣点目标时，则可以生成每个兴趣点目标分别对应的跟踪视频。优选地，每个被跟踪的兴趣点目标分别对应的跟踪视频的数量至少为1个，从而通过一个或多个跟踪视频来单独展示单个兴趣点目标的动态视频内容。进一步优选地，获取兴趣点目标在全景视频的首次出现时本文档来自技高网...

【技术保护点】
1.一种全景视频处理方法，其特征在于，所述方法包括下述步骤：/n获取全景视频；/n对所述全景视频中的兴趣点目标进行跟踪，获得相应的跟踪信息；/n根据所述跟踪信息，确定所述兴趣点目标对应的画面播放视角；/n根据所述兴趣点目标对应的画面播放视角和所述全景视频，生成所述兴趣点目标对应的跟踪视频。/n

【技术特征摘要】
1.一种全景视频处理方法，其特征在于，所述方法包括下述步骤：
获取全景视频；
对所述全景视频中的兴趣点目标进行跟踪，获得相应的跟踪信息；
根据所述跟踪信息，确定所述兴趣点目标对应的画面播放视角；
根据所述兴趣点目标对应的画面播放视角和所述全景视频，生成所述兴趣点目标对应的跟踪视频。


2.如权利要求1所述的全景视频处理方法，其特征在于，对所述全景视频中的兴趣点目标进行跟踪的步骤，包括：
依次对所述全景视频中每帧视频图像进行目标识别并对识别出的兴趣点目标进行跟踪，同时将被跟踪的所述兴趣点目标添加至预设的兴趣点目标集合。


3.如权利要求2所述的全景视频处理方法，其特征在于，依次对所述全景视频中每帧视频图像进行目标识别并对识别出的兴趣点目标进行跟踪的步骤，包括：
按照预设筛选条件对识别出的所述兴趣点目标进行筛选，所述预设筛选条件包括所述兴趣点目标的形状大小、所述兴趣点目标与摄像头之间的距离和所述兴趣点目标在所述全景视频中出现的帧数之一或任意组合。


4.如权利要求2所述的全景视频处理方法，其特征在于，依次对所述全景视频中每帧视频图像进行目标识别并对识别出的兴趣点目标进行跟踪的步骤，包括：
按照所述兴趣点目标的被跟踪时长，对所述兴趣点目标进行筛选。


5.如权利要求1所述的全景视频处理方法，其特征在于，确定所述兴趣点目标对应的画面播放视角的步骤，包括：
从所述跟踪信息中，获取所述兴趣点目标在所述全景视频相应的视频图像...

【专利技术属性】
技术研发人员：李皓宇，姜文杰，陈聪，张伟俊，
申请(专利权)人：影石创新科技股份有限公司，
类型：发明
国别省市：广东;44