一种视频流的处理方法、装置、服务器及存储介质制造方法及图纸

本公开提出了一种视频流的处理方法、装置、服务器及存储介质，其中，所述方法包括：获取第一图像采集装置拍摄的包含真实屏幕的场景图像，并生成第一视角下所述真实屏幕对应的虚拟屏幕；将待播视频流的视频画面映射至所述第一视角下的虚拟屏幕上，生成所述第一视角下的第一视频流；将所述第一视角下的虚拟屏幕转换为第二视角下的虚拟屏幕；将所述待播视频流的视频画面映射至所述第二视角下的虚拟屏幕上，生成所述第二视角下的第二视频流；将所述第一视频流和所述第二视频流反馈给虚拟现实设备。本公开一个或者多个实施方式提供的技术方案，能够为用户提供多视角的视频观看方式。能够为用户提供多视角的视频观看方式。能够为用户提供多视角的视频观看方式。

【技术实现步骤摘要】
一种视频流的处理方法、装置、服务器及存储介质


[0001]本公开涉及图像处理
，具体涉及一种视频流的处理方法、装置、服务器及存储介质。

技术介绍

[0002]目前，虚拟现实(Virtual Reality)技术由于能够提供全景视频和较好的沉浸感，被广泛地应用于线上演唱会、线上赛事以及虚拟现实漫游等多个领域。通过与虚拟现实设备(例如VR眼镜)相配合，能够为用户提供身临其境的观看体验。
[0003]通过在线下场景部署全景摄像机，然后将全景摄像机拍摄的视频画面整合为全景视频流，便可以向用户的虚拟现实设备发送全景视频流。这样，借助于虚拟现实设备，用户在线上就能够观看到线下场景。
[0004]然而，现有的这种全景视频流的处理方式，往往只能给用户提供单一视角的观看方式，这样会给视频观看带来较大的局限性。

技术实现思路

[0005]有鉴于此，本公开一个或者多个实施方式提供了一种视频流的处理方法、装置、服务器及存储介质，能够为用户提供多视角的视频观看方式。
[0006]本公开一方面提供了一种视频流的处理方法，所述方法包括：获取第一图像采集装置拍摄的包含真实屏幕的场景图像，并生成第一视角下所述真实屏幕对应的虚拟屏幕；将待播视频流的视频画面映射至所述第一视角下的虚拟屏幕上，并根据所述第一视角下的虚拟屏幕上的第一映射画面，生成所述第一视角下的第一视频流；根据所述第一图像采集装置和第二图像采集装置之间的相对位置，将所述第一视角下的虚拟屏幕转换为第二视角下的虚拟屏幕；将所述待播视频流的视频画面映射至所述第二视角下的虚拟屏幕上，并根据所述第二视角下的虚拟屏幕上的第二映射画面，生成所述第二视角下的第二视频流；将所述第一视频流和所述第二视频流反馈给虚拟现实设备，以使得所述虚拟现实设备播放不同视角下的所述第一视频流或者所述第二视频流。
[0007]本公开另一方面还提供了一种视频流的处理装置，所述装置包括：第一视角处理单元，用于获取第一图像采集装置拍摄的包含真实屏幕的场景图像，并生成第一视角下所述真实屏幕对应的虚拟屏幕；第一映射单元，用于将待播视频流的视频画面映射至所述第一视角下的虚拟屏幕上，并根据所述第一视角下的虚拟屏幕上的第一映射画面，生成所述第一视角下的第一视频流；视角转换单元，用于根据所述第一图像采集装置和第二图像采集装置之间的相对位置，将所述第一视角下的虚拟屏幕转换为第二视角下的虚拟屏幕；第二映射单元，用于将所述待播视频流的视频画面映射至所述第二视角下的虚拟屏幕上，并根据所述第二视角下的虚拟屏幕上的第二映射画面，生成所述第二视角下的第二视频流；视频流反馈单元，用于将所述第一视频流和所述第二视频流反馈给虚拟现实设备，以使得所述虚拟现实设备播放不同视角下的所述第一视频流或者所述第二视频流。
[0008]本公开另一方面还提供了一种服务器，所述服务器包括存储器和处理器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现上述的视频流的处理方法。
[0009]本公开另一方面还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器执行时，实现上述的视频流的处理方法。
[0010]本公开一个或者多个实施方式提供的技术方案，可以先通过第一图像采集装置拍摄包含真实屏幕的场景图像。考虑到真实屏幕的尺寸可能较小，为了提高用户的观看体验，可以在第一视角下生成该真实屏幕对应的虚拟屏幕。通过将待播视频流的视频画面映射至虚拟屏幕上，便可以形成第一视角下的第一视频流。该第一视频流后续可以反馈给用户的虚拟现实设备，从而使得用户能够观看到第一视角下的第一视频流。为了提供多视角的视频观看方式，还可以在线下场景中部署第二图像采集装置，然后根据第一图像采集装置与第二图像采集装置之间的相对位置，可以将第一视角下的虚拟屏幕转换为第二视角下的虚拟屏幕。然后，通过将待播视频流的视频画面映射至第二视角下的虚拟屏幕中，便可以得到第二视角下的第二视频流，该第二视频流同样可以反馈给用户的虚拟现实设备。这样，通过为用户提供不同视角的视频流，可以让用户自主地选择合适的观看视角，从而提高了用户的视频观看体验。
附图说明
[0011]通过参考附图会更加清楚的理解本公开各实施例的特征和优点，附图是示意性的而不应理解为对本公开进行任何限制，在附图中：
[0012]图1示出了本公开一个线下场景结合虚拟屏幕的示意图；
[0013]图2示出了本公开一个实施方式中的视频流的处理方法步骤示意图；
[0014]图3示出了本公开一个实施方式中生成虚拟屏幕的示意图；
[0015]图4示出了本公开一个实施方式中虚拟屏幕的旋转示意图；
[0016]图5(a)示出了本公开一个具体应用场景中鱼眼图像的示意图；
[0017]图5(b)示出了本公开一个具体应用场景中矫正图像的示意图；
[0018]图6示出了本公开一个实施方式中视频流的处理装置的功能模块示意图；
[0019]图7示出了本公开一个实施方式中的服务器的结构示意图。
具体实施方式
[0020]为使本公开实施方式的目的、技术方案和优点更加清楚，下面将结合本公开实施方式中的附图，对本公开实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本公开一部分实施方式，而不是全部的实施方式。基于本专利技术中的实施方式，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本公开保护的范围。
[0021]请参阅图1，在线下场景中，通常会部署真实屏幕，根据线下场景的规模，真实屏幕的数量可以是一个或者多个，在本公开中以一个真实屏幕为例进行方案阐述。待播视频流可以通过真实屏幕进行播放，在线下场景中的观众可以在座位上观看真实屏幕中的视频画面。目前，为了使得一部分无法到达线下场景的观众也能体验到亲临现场的氛围，可以通过
VR技术，对线下场景进行拍摄，并最终制作成视频流，该视频流可以反馈给用户的虚拟现实设备。这样，用户通过观看虚拟现实设备播放的视频流，便可以产生亲临现场的感觉。
[0022]目前，在线下场景中，通常会在视野比较开阔的位置处部署一个全景相机。例如，在图1中，全景相机可以位于线下场景的中央(中间的圆形)。该全景相机可以拍摄360度线下场景的画面，并将拍摄的画面制作成全景视频流。用户通过虚拟现实设备观看全景视频流时，就相当于是通过该全景相机的视角观看整个线下场景。然而，用户在观看全景视频流时，有时候会产生变更视角的需求。例如，在图1中，用户可能想从中央的全景相机的视角切换至左上方的视角，但基于现有的方案而言，这种视角的切换是无法实现的。同时，在产生视角切换的需求时，还需要解决的一个问题是：从中央的全景相机的视角观看线下场景时，真实屏幕是在正前方，用户此时会具备较好的观看体验。但如果从中央的全景相机的视角切换至左上方的视角，会导致无法正对真实屏幕，这样就会导致观看体验变差。
[0023]鉴于此，本公开一个实施方式提供了一种视频流的处理方法，该方法本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频流的处理方法，其特征在于，所述方法包括：获取第一图像采集装置拍摄的包含真实屏幕的场景图像，并生成第一视角下所述真实屏幕对应的虚拟屏幕；将待播视频流的视频画面映射至所述第一视角下的虚拟屏幕上，并根据所述第一视角下的虚拟屏幕上的第一映射画面，生成所述第一视角下的第一视频流；根据所述第一图像采集装置和第二图像采集装置之间的相对位置，将所述第一视角下的虚拟屏幕转换为第二视角下的虚拟屏幕；将所述待播视频流的视频画面映射至所述第二视角下的虚拟屏幕上，并根据所述第二视角下的虚拟屏幕上的第二映射画面，生成所述第二视角下的第二视频流；将所述第一视频流和所述第二视频流反馈给虚拟现实设备，以使得所述虚拟现实设备播放不同视角下的所述第一视频流或者所述第二视频流。2.根据权利要求1所述的方法，其特征在于，生成第一视角下所述真实屏幕对应的虚拟屏幕包括：在所述场景图像中识别所述真实屏幕的至少一个真实角点，并生成所述真实角点各自对应的虚拟角点；将多个所述虚拟角点形成的区域作为第一视角下的虚拟屏幕。3.根据权利要求2所述的方法，其特征在于，在所述场景图像中识别所述真实屏幕的多个真实角点包括：获取所述第一图像采集装置的标定系数，并通过所述标定系数将所述场景图像转换为矫正图像；在所述矫正图像中裁剪出包含所述真实屏幕的区域图像，并在所述区域图像中识别所述真实屏幕的多个真实角点。4.根据权利要求1所述的方法，其特征在于，将待播视频流的视频画面映射至所述第一视角下的虚拟屏幕上包括：在所述视频画面和所述第一视角下的虚拟屏幕之间确定多组映射点，并基于所述多组映射点的位置信息，生成映射矩阵；通过所述映射矩阵，将所述待播视频流的视频画面中的各个像素点映射至所述第一视角下的虚拟屏幕上。5.根据权利要求1或4所述的方法，其特征在于，根据所述第一视角下的虚拟屏幕上的第一映射画面，生成所述第一视角下的第一视频流包括：根据所述第一图像采集装置的标定系数，将各个所述第一映射画面逆投影为对应的全景图像，并将各个所述全景图像构成的视频流作为所述第一视角下的第一视频流。6.根据权利要求1所述的方法，其特征在于，将所述第一视角下的虚拟屏幕转换为第二视角下的虚拟屏幕包括：根据所述第一图像采集装置的外参，将所述第一视角下的虚拟屏幕映射至世界坐标系下；根据所述第二图像采集装置的外参，将所述世界坐标系下的虚拟屏幕映射至所述第二图像采集装置的相机坐标系下，以形成所述第二视角下的虚拟屏幕。7.根据权利要求1所述的方法，其特征在于，在生成所述第一视角下的第一视频流之
后，所述方法还包括：将所述第一视频流的视频画面与所述第一图像采集装置拍摄的场景图像进行融合，生成第一融合视频流，并将所述第一融合视频流...

【专利技术属性】
技术研发人员：田明哲，张东波，焦少慧，
申请(专利权)人：抖音视界有限公司，
类型：发明
国别省市：