一种赛事宽视角直播设备和相关联的直播系统和方法技术方案

本申请公开了赛事直播系统，其包括宽视角直播设备，所述宽视角直播设备包括宽视角图像采集单元，用于获取宽视角图像；其运行计算机指令序列以获得所述宽视角图像采集单元的内参数矩阵和畸变系数矩阵；采集样本宽视角图像帧；以及根据所述样本宽视角图像帧和所述内参数和畸变系数推导出该宽视角直播设备的宽视角图像帧和其全景展开图像帧的像素坐标映射关系矩阵；采集多个直播宽视角图像帧；用所述采集的多个直播宽视角图像帧创建宽视角视频流；将所述直播宽视角视频流和所述像素坐标映射关系矩阵传送至至少一个流媒体服务器。

A broadcast system and method for direct seeding and associated broadcast of wide viewing angle

【技术实现步骤摘要】
一种赛事宽视角直播设备和相关联的直播系统和方法
本申请涉及直播设备和方法，具体而言涉及赛事直播设备、系统和方法。
技术介绍
赛事直播通常指实时地将赛事现场的图像、声音通过有线电视网络、广播网络、或者互联网等传输给例如，电视、收音机、电脑、移动终端的过程。随着互联网技术的发展，基于互联网的直播技术得到了长足发展，例如，流媒体技术的出现，其可分段地将媒体数据可压缩后经过网络发送数据，在网络上即时传输影音以供观赏者使用特定的播放软件播放观赏，观赏者已经可以使用播放软件基本实时地欣赏某一视频采集设备的拍摄角度的直播画面。转播诸如拉力赛等竞技类赛车赛事时通常需要比较宽的视角以体现宏大的场面，而长时间的播放宽视角的视频会使观赏者产生厌倦情绪，从而失去对直播的兴趣。传统的直播技术通常采用按时间顺序的画面切换的方式实现不同角度的直播，例如在第一时间播放第一局部的特写片段、而在第二时间段播放全景片段等。虽然也有画中画技术，但该技术在数字传输模式中会占用额外资源，因此在数字电视系统中已很少应用。因此，需要一种能实现赛事宽视角直播的装置、系统和相关方法。
技术实现思路
本申请的一些实施例提供了赛事直播系统，其包括宽视角直播设备，所述宽视角直播设备包括宽视角图像采集单元，用于获取宽视角图像；存储器，用于存储计算机指令序列；处理器，执行所述计算机指令序列以：获得所述宽视角图像采集单元的内参数矩阵和畸变系数矩阵；采集样本宽视角图像帧；以及根据所述样本宽视角图像帧和所述内参数和畸变系数推导出该宽视角直播设备的宽视角图像帧和其全景展开图像帧的像素坐标映射关系矩阵；采集多个直播宽视角图像帧；用所述采集的多个直播宽视角图像帧创建宽视角视频流；将所述直播宽视角视频流和所述像素坐标映射关系矩阵传送至至少一个流媒体服务器。本申请的一些实施例提供了赛事直播系统，其包括宽视角直播设备，所述宽视角直播设备包括宽视角图像采集单元，用于获取宽视角图像帧；至少一个声音采集单元，用于获取所述竞技类赛车直播设备的声场信号；存储器，用于存储计算机指令序列；处理器，执行所述计算机指令序列以：获得所述宽视角图像采集单元的内参数矩阵和畸变系数矩阵；采集样本宽视角图像帧；对所述样本宽视角图像帧进行前置处理；以及根据所述样本宽视角图像帧和所述内参数和畸变系数推导出该宽视角直播设备的宽视角图像帧和其全景展开图像帧的像素坐标映射关系矩阵；获取多个直播宽视角图像帧；将所述声场信号数字化成音频数据；将所述音频数据与所述多个宽视角图像帧封装成宽视角音视频流；以及将所述像素坐标映射关系矩阵传送至所述流媒体服务器；将所述宽视角音视频流以及所述传送至所述流媒体服务器。本申请的一些实施例提供了赛事直播系统，其包括播放设备，其包括处理器和存储器；所述存储器存储有计算机指令序列，当所述计算机指令序列运行时，所述播放设备：从至少一个流媒体服务器接收针对至少一个宽视角图像采集设备的像素坐标映射关系矩阵以及由该宽视角图像采集设备获取宽视角视频流或音视频流；对所述宽视角视频流或音视频流进行解码得到多个宽视角图像帧；建立半球面模型；使用所述像素坐标映射矩阵变换对应的半球面纹理坐标；将所述多个宽视角图像帧的每一帧纹理贴图在所述半球面模型上以呈现校正后的图像帧。本申请的一些实施例提供了一种赛事直播系统，其包括至少一个宽视角直播设备，所述至少一个宽视角直播设备中的每一个包括宽视角图像采集单元，用于获取宽视角图像帧；存储器，用于存储第一计算机指令序列；处理器，执行所述第一计算机指令序列以：获得所述宽视角图像采集单元的内参数矩阵和畸变系数矩阵；采集样本宽视角图像帧；对所述样本宽视角图像帧进行前置处理；以及根据所述样本宽视角图像帧和所述内参数和畸变系数推导出该宽视角直播设备的宽视角图像帧和其全景展开图像帧的像素坐标映射关系矩阵；获取基于多个直播宽视角图像帧形成直播宽视角视频流；流媒体服务器，包括处理器和存储器，所述存储器存储有第二计算机指令序列，当所述第二计算机指令序列运行时，所述流媒体服务器：从所述至少一个宽视角直播设备接收所述直播宽视角视频流和所述像素坐标映射关系矩阵；对将所述像素坐标映射关系矩阵和所述宽视角视频流进行缓存和调度。本申请的一些实施例提供了一种赛事直播系统，其包括至少一个宽视角直播设备，所述至少一个宽视角直播设备中的每一个包括宽视角图像采集单元，用于获取宽视角图像帧；存储器，用于存储第一计算机指令序列；处理器，执行所述第一计算机指令序列以：获得所述宽视角图像采集单元的内参数矩阵和畸变系数矩阵；获取基于多个直播宽视角图像帧形成宽视角视频流；将所述以及内参数矩阵和畸变系数矩阵传送至流媒体服务器；以及将所述宽视角视频流传送至所述流媒服务器；流媒体服务器，其与至少一个宽视角直播设备通信，包括处理器和存储器，所述存储器存储有第二计算机指令序列，当所述第二计算机指令序列运行时，所述流媒体服务器：根据从所述至少一个宽视角直播设备中接收的所述样本宽视角图像帧以及宽视角直播设备的宽视角图像采集单元的内参数矩阵和畸变系数矩阵推导出所述宽视角直播设备的宽视角图像帧和其全景展开图像帧的像素坐标映射关系矩阵；在本地保存所述宽视角直播设备像素坐标映射关系矩阵；接收来自所述宽视角直播设备的宽视角视频流或音视频流；对所述宽视角视频流进行缓存；以及对所述宽视角视频流以及所述像素坐标映射关系矩阵进行调度。本申请提供的诸多宽视角直播系统和直播方法特别适用于诸如赛事直播等场景，为例如越野赛事直播等提供了合适的解决方案，特别是提供了赛事宽视角直播设备可实现对流媒体直播平台的应用。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显：图1为依据本申请的实施例的场景示意图；图2为依据本申请的实施例的一种宽视角直播设备的结构原理示意图；图3A为依据本申请的实施例的宽视角直播设备的处理流程图；图3B为依据本申请的实施例的宽视角直播设备的另一种处理流程图；图4为依据本申请的实施例的宽视角直播系统的原理图；图5为依据本申请的一种实施例的用户设备的播放界面的示意图；图6为依据本申请的实施例的用户设备的处理流程图；图7为像素坐标映射关系矩阵的生成的功能的示意图；以及图8为像素坐标映射关系矩阵更新功能的原理图。具体实施方式在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。在上下文中所称“服务器”是指可以通过运行预定程序或指令来执行数值计算和/或逻辑计算等预定处理过程的智能电子设备，其可以包括处理器与存储器，由处理器执行在存储器中预存的程序指令来执行预定处理过程，或是由ASIC、FPGA、DSP等硬件执行预定处理过程，或是由上述二者组合来实现。其中，所述用户设备包括但不限于智能手机、PDA、PC、笔记本电脑等；所述网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(C本文档来自技高网...

【技术保护点】
一种赛事直播系统，其特征在于：包括宽视角直播设备，所述宽视角直播设备包括宽视角图像采集单元，用于获取宽视角图像；存储器，用于存储计算机指令序列；处理器，执行所述计算机指令序列以：获得所述宽视角图像采集单元的内参数矩阵和畸变系数矩阵；采集样本宽视角图像帧；以及根据所述样本宽视角图像帧和所述内参数和畸变系数推导出该宽视角直播设备的宽视角图像帧和其全景展开图像帧的像素坐标映射关系矩阵；采集多个直播宽视角图像帧；用所述采集的多个直播宽视角图像帧创建宽视角视频流；将所述直播宽视角视频流和所述像素坐标映射关系矩阵传送至至少一个流媒体服务器。

【技术特征摘要】
1.一种赛事直播系统，其特征在于：包括宽视角直播设备，所述宽视角直播设备包括宽视角图像采集单元，用于获取宽视角图像；存储器，用于存储计算机指令序列；处理器，执行所述计算机指令序列以：获得所述宽视角图像采集单元的内参数矩阵和畸变系数矩阵；采集样本宽视角图像帧；以及根据所述样本宽视角图像帧和所述内参数和畸变系数推导出该宽视角直播设备的宽视角图像帧和其全景展开图像帧的像素坐标映射关系矩阵；采集多个直播宽视角图像帧；用所述采集的多个直播宽视角图像帧创建宽视角视频流；将所述直播宽视角视频流和所述像素坐标映射关系矩阵传送至至少一个流媒体服务器。2.一种赛事直播系统，其特征在于：包括宽视角直播设备，所述宽视角直播设备包括宽视角图像采集单元，用于获取宽视角图像帧；至少一个声音采集单元，用于获取所述竞技类赛车直播设备的声场信号；存储器，用于存储计算机指令序列；处理器，执行所述计算机指令序列以：获得所述宽视角图像采集单元的内参数矩阵和畸变系数矩阵；采集样本宽视角图像帧；对所述样本宽视角图像帧进行前置处理；以及根据所述样本宽视角图像帧和所述内参数和畸变系数推导出该宽视角直播设备的宽视角图像帧和其全景展开图像帧的像素坐标映射关系矩阵；获取多个直播宽视角图像帧；将所述声场信号数字化成音频数据；将所述音频数据与所述多个宽视角图像帧封装成宽视角音视频流；以及将所述像素坐标映射关系矩阵传送至所述流媒体服务器；将所述宽视角音视频流以及所述传送至所述流媒体服务器。3.一种赛事直播系统，其特征在于：包括播放设备，其包括处理器和存储器；所述存储器存储有计算机指令序列，当所述计算机指令序列运行时，所述播放设备：从至少一个流媒体服务器接收针对至少一个宽视角图像采集设备的像素坐标映射关系矩阵以及由该宽视角图像采集设备获取宽视角视频流或音视频流；对所述宽视角视频流或音视频流进行解码得到多个宽视角图像帧；建立半球面模型；使用所述像素坐标映射矩阵变换对应的半球面纹理坐标；将所述多个宽视角图像帧的每一帧纹理贴图在所述半球面模型上以呈现校正后的图像帧。4...

【专利技术属性】
技术研发人员：支小牧，刘善红，王旭，倪建聪，段硕，李宝玉，陈龙，陈光辉，
申请(专利权)人：越野一族北京传媒科技有限公司，
类型：发明
国别省市：北京,11