游戏直播方法及游戏直播系统技术方案

本发明专利技术公开了一种VR游戏的直播方法及游戏直播系统。其包括：可以让游戏观众拥有和玩家相同的全景视角，并且可以根据自己的需要自由掌握自己的视角，从而体验到和player相同的沉浸感；而且不需要游戏厂商提供支持，也不会给玩家带来额外的开销，就可以让游戏观众拥有和玩家同样的全景视角。本系统会做大量的预处理工作，以保证VR游戏直播过程实时。直播过程中，系统会通过分层选择的方式判断玩家所在的位置，在提高判断准确性的基础上缩短了计算时间。系统还通过全局调整相机参数方法和基于特征点群的位置调整算法计算玩家当前的视角，并准确的拼合到对应的全景图中。

Game live broadcast method and game live broadcast system

The invention discloses a live broadcast method of VR game and a game direct broadcast system. It includes: the game allows the audience with the same panorama and game player, and can according to their own needs freedom to control their own perspective, in order to experience the same player immersion; and does not require the game manufacturers to provide support, will not bring extra overhead for the game player, you can let the audience have the same game and game player panoramic view. The system will do a lot of preprocessing work to ensure real-time VR game live process. In the process of live broadcast, the system will judge the location of the player by layer selection, and shorten the computing time on the basis of improving the accuracy of judgment. The system also adjusts the camera parameter method and the position adjustment algorithm based on the feature point group to calculate the player's current perspective, and then accurately combines them into the corresponding panorama.

【技术实现步骤摘要】
游戏直播方法及游戏直播系统
本专利技术涉及视频直播
，具体地，涉及一种游戏直播方法和游戏直播系统。
技术介绍
游戏直播可以让观众实时看到游戏者的游戏情况，游戏者可以通过游戏直播来分享游戏的内容和操作。传统的屏幕对屏幕的方式完全可以应对各种情况的游戏直播。然而，现在虚拟现实VR((VirtualReality；虚拟现实)游戏越来越多，由于游戏视角可以随着头部转动以及双眼时差技术，VR游戏会给游戏玩家一种身临其境的感觉。现在的VR游戏设备只能采集出游戏玩家当前的视角下的图像进行直播，虽然有双目视差，即观察者可以看到立体画面，但是，观察者只能看到游戏玩家当前的视角，无法根据自己头部的转动变换视角，因而观察者无法体验到和游戏玩家相同的身临其境的感觉。为了解决VR游戏直播的问题，如果游戏厂商提供支持，原理上可以开放观察者接口，也就是说让游戏引擎不只渲染玩家当前的视角，而是同时渲染以玩家为中心的360度的视角。但是这就会给玩家的游戏设备带来过大的负担，会直接影响到玩家本身的游戏体验。为了解决VR游戏直播的问题，还可以设计出专门的SDK(SoftwareDevelopmentKit；软件开发工具包)，游戏开发者只要使用这些SDK进行开发，就可以提供观察者接口。然而，这些方法不但不能让VR游戏的观察者体验到和玩家相同的体验，有些还为游戏开发者和玩家带来了额外的负担。可见，相关技术中在进行VR游戏直播时，存在以下问题：一是需要游戏厂商提供接口支持，二是会给玩家的设备带来额外的开销。
技术实现思路
本专利技术的目的是提供一种游戏直播方法和游戏直播系统。为了实现上述目的，根据本专利技术的第一方面，提供一种游戏直播方法，包括：根据本专利技术的第一方面，提供一种游戏直播方法，应用于直播系统中，所述方法包括：获得游戏玩家在虚拟现实VR游戏中的当前视角图像；根据所述当前视角图像确定所述游戏玩家在所述游戏中的当前位置；获取预先存储的所述当前位置对应的全景图像数据；将所述当前视角图像和所述全景图像数据进行拼接，获得拼接后的全景图像；并向至少一个终端发送所述拼接后的全景图像。可选的，所述方法还包括：建立所述游戏的全景图像数据库；其中，所述全景图数据库包括全景图像的角点数据、具有缝隙的蒙版数据、根据蒙版数据进行变形得到的图像数据；建立所述游戏的特征点数据库；其中，所述特征点数据库包括组成全景图像的每个图像的特征点数据；建立所述游戏的相机参数数据库；其中，所述相机参数数据库包括组成全景图像的每个图像的相机参数。可选的，建立所述游戏的特征点数据库，包括：对于所述游戏中的每个位置的全景图集合，计算所述全景图集合中的每张图像的特征点，获得所述每个位置的特征点集合；其中，所述全景图集合中包括组成所述每个位置的全景图像的多张图像；根据所述每个位置的特征点集合，按照聚类的划分方式，以游戏中的位置作为索引建立所述特征点数据库；其中，每个聚类内的单个节点对应相应区域内的位置的节点特征库。可选的，计算所述全景图集合中的每张图像的特征点，获得所述每个位置的特征点集合，包括：对于所述游戏中的每个位置的全景图集合，计算所述全景图集合中的每张图像的特征点；基于所述全景图集合中每张图像的特征点，组成原始特征点集合；对所述原始特征点集合中的特征点进行排序，并通过计算特征点向量之间范数的方法，去重去除所述原始特征点集合中重复的特征点，获得所述特征点集合。可选的，根据所述当前视角图像确定所述游戏玩家在所述游戏中的当前位置，包括：获取预先建立的所述游戏的特征点数据库；将所述当前视角图像的特征点与所述特征点数据库进行特征点匹配，从所述特征点数据库中确定出与所述当前视角图像匹配的第一图像和第二图像；将所述当前视角图像与所述第一图像和所述第二图像分别进行直方图匹配，从所述第一图像和所述第二图像中确定出与所述当前视角图像匹配的匹配图像；确定所述匹配图像对应的位置为所述当前位置。可选的，所述聚类的划分方式为四叉树的划分方式；以及，将所述当前视角图像的特征点与所述特征点数据库进行特征点匹配，从所述特征点数据库中确定出与所述当前视角图像匹配的第一图像和第二图像，包括：在所述四叉树的非叶节点时，将所述当前视角图像的特征点与四叉树的非叶节点对应的节点特征点库进行逐级匹配；在所述四叉树的叶节点时，根据单点最小距离，合适匹配点的个数和合适匹配点平均距离，从所述叶节点对应的节点特征点库中确定出所述第一图像和所述第二图像。可选的，根据所述当前视角图像确定所述游戏玩家在所述游戏中的当前位置，包括：获取所述游戏玩家在第一时刻在所述游戏中的第一位置；所述第一时刻为获取所述当前视角图像之前的时刻；确定所述第一位置的多个相邻位置；根据所述第一位置的特征点集合和所述多个相邻位置中的多个特征点集合，组成连续匹配特征点集合；将所述当前视角图像的特征点与所述连续匹配特征点集合进行匹配，从所述连续匹配特征点集合中确定出与所述当前视角图像匹配的第一图像和第二图像；将所述当前视角图像与所述第一图像和所述第二图像分别进行直方图匹配，从所述第一图像和所述第二图像中确定出与所述当前视角图像匹配的匹配图像；确定所述匹配图像对应的位置为所述当前位置。可选的，将所述当前视角图像与所述第一图像和所述第二图像分别进行直方图匹配，从所述第一图像和所述第二图像中确定出与所述当前视角图像匹配的匹配图像，包括：将所述当前视角图像划分为多张图像；将所述多张图像中的每张图像分别与所述第一图像和所述第二图像进行模板匹配，并确定模板距离最小的图像为所述匹配图像。可选的，将所述当前视角图像和所述全景图像数据进行拼接，获得拼接后的全景图像，包括：计算所述当前视角图像的当前相机参数，所述当前相机参数包括第一相机内参矩阵和第一相机旋转矩阵；根据所述当前相机参数，对所述当前视角图像进行变形，获得变形后的当前视角图像；根据所述全景图数据，生成当前全景图；计算所述当前视角图像在所述当前全景图中的位置坐标；根据所述位置坐标，对所述变形后的当前视角图像和所述当前全景图进行拼接，获得所述拼接后的全景图像。可选的，计算所述当前视角图像的当前相机参数，包括：获取预先建立的所述相机参数数据库，所述相机参数数据库中包括所述匹配图像的第二相机内参矩阵和第二相机旋转矩阵；根据Kf*Rf＝H01.INV*Ki*Ri，计算获得所述第一相机旋转矩阵；其中，所述Kf为第一相机内参矩阵，Rf为第一相机旋转矩阵，Ki为第二相机内参矩阵，Ri为第二相机旋转矩阵；根据E2d＝∑特征点∑fici*cf||xf～(xi^；Kf,Rf,Ki,Ri)Δ(Kf,Rf,Ki,Ri)–xi^||2，计算获得所述当前相机参数，其中，E2d为当前相机参数，f为当前视角图像上的特征点的标识，i为第一参考图像上的特征点的标识，ci为第一参考图像的置信度，cf为当前视角图像的置信度，xf为当前视角图像上的一个特征点的二维坐标，xi为第一参考图像上的对应特征点的二维坐标。可选的，计算所述当前视角图像在所述当前全景图中的位置坐标，包括：对所述第一参考图像和所述第二参考图像进行特征点匹配，获得所述当前视角图像上的目标特征点与所述第一参考图像和所述第二参考图像上的对应特征点之间的描述矩阵的范数，并确定特征点描述矩阵的范数最小的多个对应本文档来自技高网...

【技术保护点】
一种游戏直播方法，其特征在于，应用于直播系统中，所述方法包括：获得游戏玩家在虚拟现实VR游戏中的当前视角图像；根据所述当前视角图像确定所述游戏玩家在所述游戏中的当前位置；获取预先存储的所述当前位置对应的全景图像数据；将所述当前视角图像和所述全景图像数据进行拼接，获得拼接后的全景图像；并向至少一个终端发送所述拼接后的全景图像。

【技术特征摘要】
1.一种游戏直播方法，其特征在于，应用于直播系统中，所述方法包括：获得游戏玩家在虚拟现实VR游戏中的当前视角图像；根据所述当前视角图像确定所述游戏玩家在所述游戏中的当前位置；获取预先存储的所述当前位置对应的全景图像数据；将所述当前视角图像和所述全景图像数据进行拼接，获得拼接后的全景图像；并向至少一个终端发送所述拼接后的全景图像。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：建立所述游戏的全景图像数据库；其中，所述全景图数据库包括全景图像的角点数据、具有缝隙的蒙版数据、根据蒙版数据进行变形得到的图像数据；建立所述游戏的特征点数据库；其中，所述特征点数据库包括组成全景图像的每个图像的特征点数据；建立所述游戏的相机参数数据库；其中，所述相机参数数据库包括组成全景图像的每个图像的相机参数。3.根据权利要求2所述的方法，其特征在于，建立所述游戏的特征点数据库，包括：对于所述游戏中的每个位置的全景图集合，计算所述全景图集合中的每张图像的特征点，获得所述每个位置的特征点集合；其中，所述全景图集合中包括组成所述每个位置的全景图像的多张图像；根据所述每个位置的特征点集合，按照聚类的划分方式，以游戏中的位置作为索引建立所述特征点数据库；其中，每个聚类内的单个节点对应相应区域内的位置的节点特征库。4.根据权利要求3所述的方法，其特征在于，计算所述全景图集合中的每张图像的特征点，获得所述每个位置的特征点集合，包括：对于所述游戏中的每个位置的全景图集合，计算所述全景图集合中的每张图像的特征点；基于所述全景图集合中每张图像的特征点，组成原始特征点集合；对所述原始特征点集合中的特征点进行排序，并通过计算特征点向量之间范数的方法，去重去除所述原始特征点集合中重复的特征点，获得所述特征点集合。5.根据权利要求3所述的方法，其特征在于，根据所述当前视角图像确定所述游戏玩家在所述游戏中的当前位置，包括：获取预先建立的所述游戏的特征点数据库；将所述当前视角图像的特征点与所述特征点数据库进行特征点匹配，从所述特征点数据库中确定出与所述当前视角图像匹配的第一图像和第二图像；将所述当前视角图像与所述第一图像和所述第二图像分别进行直方图匹配，从所述第一图像和所述第二图像中确定出与所述当前视角图像匹配的匹配图像；确定所述匹配图像对应的位置为所述当前位置。6.根据权利要求5所述的方法，其特征在于，所述聚类的划分方式为四叉树的划分方式；以及，将所述当前视角图像的特征点与所述特征点数据库进行特征点匹配，从所述特征点数据库中确定出与所述当前视角图像匹配的第一图像和第二图像，包括：在所述四叉树的非叶节点时，将所述当前视角图像的特征点与四叉树的非叶节点对应的节点特征点库进行逐级匹配；在所述四叉树的叶节点时，根据单点最小距离，合适匹配点的个数和合适匹配点平均距离，从所述叶节点对应的节点特征点库中确定出所述第一图像和所述第二图像。7.根据权利要求3所述的方法，其特征在于，根据所述当前视角图像确定所述游戏玩家在所述游戏中的当前位置，包括：获取所述游戏玩家在第一时刻在所述游戏中的第一位置；所述第一时刻为获取所述当前视角图像之前的时刻；确定所述第一位置的多个相邻位置；根据所述第一位置的特征点集合和所述多个相邻位置中的多个特征点集合，组成连续匹配特征点集合；将所述当前视角图像的特征点与所述连续匹配特征点集合进行匹配，从所述连续匹配特征点集合中确定出与所述当前视角图像匹配的第一图像和第二图像；将所述当前视角图像与所述第一图像和所述第二图像分别进行直方图匹配，从所述第一图像和所述第二图像中确定出与所述当前视角图像匹配的匹配图像；确定所述匹配图像对应的位置为所述当前位置。8.根据权利要求5或7所述的方法，其特征在于，将所述当前视角图像与所述第一图像和所述第二图像分别进行直方图匹配，从所述第一图像和所述第二图像中确定出与所述当前视角图像匹配的匹配图像，包括：将所述当前视角图像划分为多张图像；将所述多张图像中的每张图像分别与所述第一图像和所述第二图像进行模板匹配，并确定模板距离最小的图像为所述匹配图像。9.根据权利要求8所述的方法，其特征在于，将所述当前视角图像和所述全景图像数据进行拼接，获得拼接后的全景图像，包括：计算所述当前视角图像的当前相机参数，所述当前相机参数包括第一相机内参矩阵和第一相机旋转矩阵；根据所述当前相机参数，对所述当前视角图像进行变形，获得变形后的当前视角图像；根据所述全景图数据，生成当前全景图；计算所述当前视角图像在所述当前全景图中的位置坐标；根据所述位置坐标，对所述变形后的当前视角图像和所述当前全景图进行拼接，获得所述拼接后的全景图像。10.根据权利要求9所述的方法，其特征在于，计算所述当前视角图像的当前相机参数，包括：获取预先建立的所述相机参数数据库，所述相机参数数据库中包括所述匹配图像的第二相机内参矩阵和第二相机旋转矩阵；根据Kf*Rf＝H01.INV*Ki*Ri，计算获得所述第一相机旋转矩阵；其中，所述Kf为第一相机内参矩阵，Rf为第一相机旋转矩阵，Ki为第二相机内参矩阵，Ri为第二相机旋转矩阵；根据E2d＝∑特征点∑fici*cf||xf～(xi^；Kf,Rf,Ki,Ri)Δ(Kf,Rf,Ki,Ri)–xi^||2，计算获得所述当前相机参数，其中，E2d为当前相机参数，f为当前视角图像上的特征点的标识，i为第一参考图像上的特征点的标识，ci为第一参考图像的置信度，cf为当前视角图像的置信度，xf为当前视角图像上的一个特征点的二维坐标，xi为第一参考图像上的对应特征点的二维坐标。11.根据权利要求10所述的方法，其特征在于，计算所述当前视角图像在所述当前全景图中的位置坐标，包括：对所述第一参考图像和所述第二参考图像进行特征点匹配，获得所述当前视角图像上的目标特征点与所述第一参考图像和所述第二参考图像上的对应特征点之间的描述矩阵的范数，并确定特征点描述矩阵的范数最小的多个对应特征点；从所述当前视角图像上确定出以所述目标特征点为圆心，半径为第一预设半径的区域内的所有特征点，获得第一特征点群；从所述第一参考图像和第二参考图像上确定出以多个对应特征点中的每个对应特征点为圆心，半径为第二预设半径的区域内的所有特征点，获得多个第二特征点群，其中，所述第二预设半径大于所述第一预设半径；将所述第一特征点群与所述多个第二特征点群进...

【专利技术属性】
技术研发人员：韩宇星，张煜，郭碧川，
申请(专利权)人：深圳市铂岩科技有限公司，
类型：发明
国别省市：广东,44