游戏场景描述方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种游戏场景描述方法、装置、设备及存储介质。其中，方法包括：获取游戏直播视频流中的至少一个视频帧；截取所述至少一个视频帧中的游戏地图区域图像；将所述游戏地图区域图像输入至第一目标检测模型，得到所述游戏地图区域图像上游戏元素的显示区域；将所述游戏元素的显示区域的图像输入至分类模型，得到所述游戏元素的状态；采用所述游戏元素的显示区域和状态，形成所述至少一个视频帧展示的游戏场景的描述信息。本实施例可以准确描述游戏直播视频流中的游戏场景。

Game scene description method, device, device and storage medium

The invention discloses a game scene description method, device, device and storage medium. The method includes acquiring at least one video frame in the live video stream of the game, intercepting the image of the game map area in the at least one video frame, inputting the image of the game map area into the first target detection model, obtaining the display area of the game element in the image of the game map area, and intercepting the game map area image. The image of the display area of the game element is input into the classification model to obtain the state of the game element, and the description information of the game scene displayed by at least one video frame is formed by using the display area and state of the game element. This embodiment can accurately describe the scene of game in live broadcast video stream.

【技术实现步骤摘要】
游戏场景描述方法、装置、设备及存储介质
本专利技术实施例涉及计算机视觉技术，尤其涉及一种游戏场景描述方法、装置、设备及存储介质。
技术介绍
随着游戏直播行业的发展和游戏主播数量的日益增多，主播客户端将大量的游戏直播视频流发送至服务器并由服务器下发至用户客户端，以供用户观看。目前，游戏直播视频流携带的信息十分有限，例如，游戏直播视频流对应的直播间号、主播名、主播添加签名等。这些信息无法准确描述游戏直播视频流内部的游戏场景，也就无法针对特定游戏场景的游戏直播视频流进行推送或者区分，进而无法满足用户的个性化需求，不利于提高游戏直播行业的内容分发效率。
技术实现思路
本专利技术提供一种游戏场景描述方法、装置、设备及存储介质，以准确描述游戏直播视频流内部的游戏场景。第一方面，本专利技术实施例提供了一种游戏场景描述方法，包括：获取游戏直播视频流中的至少一个视频帧；截取所述至少一个视频帧中的游戏地图区域图像；将所述游戏地图区域图像输入至第一目标检测模型，得到所述游戏地图区域图像上游戏元素的显示区域；将所述游戏元素的显示区域的图像输入至分类模型，得到所述游戏元素的状态；采用所述游戏元素的显示区域和状态，形成所述至少一个视频帧展示的游戏场景的描述信息。第二方面，本专利技术实施例还提供了一种游戏场景描述装置，该装置包括：获取模块，用于获取游戏直播视频流中的至少一个视频帧；截取模块，用于截取所述至少一个视频帧中的游戏地图区域图像；显示区域识别模块，用于将所述游戏地图区域图像输入至第一目标检测模型，得到所述游戏地图区域图像上游戏元素的显示区域；状态识别模块，用于将所述游戏元素的显示区域的图像输入至分类模型，得到所述游戏元素的状态；形成模块，用于采用所述游戏元素的显示区域和状态，形成所述至少一个视频帧展示的游戏场景的描述信息。第三方面，本专利技术实施例还提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现任一实施例所述的游戏场景描述方法。第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一实施例所述的游戏场景描述方法。本专利技术通过获取游戏直播视频流中的至少一个视频帧，并截取所述至少一个视频帧中的游戏地图区域图像，从游戏直播视频流中获取到能够反映游戏态势的游戏地图；通过第一目标检测模型和分类模型，得到所述游戏地图区域图像上游戏元素的显示区域和状态，将基于深度学习的图像识别算法应用在游戏地图的理解上，提取出游戏元素的显示区域和状态；然后，采用所述游戏元素的显示区域和状态，形成所述至少一个视频帧展示的游戏场景的描述信息，从而以游戏地图为识别对象，结合图像识别算法，得到该游戏直播视频流的内部具体的游戏场景，便于后续对特定游戏场景的游戏直播视频流进行推送或者分类，满足用户的个性化需求，有利于提高游戏直播行业的内容分发效率。附图说明图1是本专利技术实施例一提供的一种游戏场景描述方法的流程图；图2是本专利技术实施例二提供的一种游戏场景描述方法的流程图；图3是本专利技术实施例三提供的一种游戏场景描述方法的流程图；图4是本专利技术实施例四提供的一种游戏场景描述装置的结构示意图；图5是本专利技术实施例五提供的一种电子设备的结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。实施例一图1是本专利技术实施例一提供的一种游戏场景描述方法的流程图，本实施例可适用于描述游戏直播视频流内部的游戏场景的情况，该方法可以由游戏场景描述装置来执行，该装置可由硬件和/或软件组成，并一般可集成在服务器、主播客户端或者用户客户端中，该方法具体包括如下步骤：S110、获取游戏直播视频流中的至少一个视频帧。游戏场景描述装置实时接收主播直播间对应的游戏直播视频流。其中，游戏直播视频流指视频内容为游戏的视频流，例如王者荣耀游戏的视频流、英雄联盟游戏的视频流。为了保证视频帧的实时性，进而保证后续识别的内容的准确性与及时性，从当前接收到的游戏直播视频流中的任意位置截取至少一个视频帧。S120、截取至少一个视频帧中的游戏地图区域图像。视频帧显示有游戏显示界面，该游戏显示界面是游戏应用的主界面，游戏显示界面上显示有游戏地图。为了方便描述和区分，游戏地图的显示区域的图像称为游戏地图区域图像。可选地，截取至少一个视频帧中的游戏地图区域图像至少包括以下两种实施方式：第一种实施方式：为了方便玩家游戏，游戏地图一般会显示在游戏显示界面的预设的显示区域，游戏地图的显示区域可以用(横坐标值，纵坐标值，宽度，高度)表示，而游戏地图的显示区域会因游戏种类的不同而不同。基于此，根据游戏种类，确定游戏地图的显示区域；截取至少一个视频帧中游戏地图的显示区域的图像。值得说明的是，第一种实施方式将游戏显示界面上游戏图像的显示区域作为视频帧上游戏图像的显示区域，当视频帧满屏显示游戏显示界面时，该方式可以得到较精确的结果。第二种实施方式：基于目标检测模型，识别游戏地图的显示区域。该目标检测模型包括但不限于Yolo、ResNet、MobileNetV1、MobileNetV2等卷积网络+SSD、FasterRCNN等。该目标检测模型提取视频帧的特征，并与预存的游戏地图的特征进行匹配，得到游戏地图的显示区域；截取至少一个视频帧中游戏地图的显示区域的图像。值得说明的是，当视频帧满屏显示或者不满屏显示游戏显示界面时，第二种实施方式均能得到较精确的结果。S130、将游戏地图区域图像输入至第一目标检测模型，得到游戏地图区域图像上游戏元素的显示区域。S140、将游戏元素的显示区域的图像输入至分类模型，得到游戏元素的状态。游戏地图上的游戏元素包括但不限于游戏角色、防御塔、野兽等。游戏元素的状态包括但不限于游戏角色的名称、生存状态、所属队伍、类型等。例如，游戏角色的名称、游戏角色所属队伍、游戏角色的生存状态，防御塔的名称、防御塔生存状态、防御塔所属队伍，野兽名称、野兽生存状态。游戏元素的显示区域和状态能够反映当前游戏态势。为了方便描述和区分，用于检测游戏元素的显示区域的模型称为第一目标检测模型，上述用于检测游戏地图的显示区域的模型称为第二目标检测模型。可选地，第二目标检测模型包括但不限于Yolo、ResNet、MobileNetV1、MobileNetV2等卷积网络+SSD、FasterRCNN等。分类模型包括但不限于Cifar10轻量的分类网络、ResNet，MobileNet，Inception等。S150、采用游戏元素的显示区域和状态，形成至少一个视频帧展示的游戏场景的描述信息。第一目标检测模型输出的游戏元素的显示区域是数字格式，例如游戏元素的显示区域用(横坐标值，纵坐标值，宽度，高度)表示，又例如，游戏元素的宽度和高度是预设的，则游戏元素的显示区域直接用(横坐标值，纵坐标值)表示。分类模型输出的状态是字符格式，例如游戏角色的名称、编号，防御塔的类型、生存状态等。可选地，描述信息的格式可以是图表、文字、数字或字符，该描述信息的内容包括但不限于本文档来自技高网...

【技术保护点】
1.一种游戏场景描述方法，其特征在于，包括：获取游戏直播视频流中的至少一个视频帧；截取所述至少一个视频帧中的游戏地图区域图像；将所述游戏地图区域图像输入至第一目标检测模型，得到所述游戏地图区域图像上游戏元素的显示区域；将所述游戏元素的显示区域的图像输入至分类模型，得到所述游戏元素的状态；采用所述游戏元素的显示区域和状态，形成所述至少一个视频帧展示的游戏场景的描述信息。

【技术特征摘要】
1.一种游戏场景描述方法，其特征在于，包括：获取游戏直播视频流中的至少一个视频帧；截取所述至少一个视频帧中的游戏地图区域图像；将所述游戏地图区域图像输入至第一目标检测模型，得到所述游戏地图区域图像上游戏元素的显示区域；将所述游戏元素的显示区域的图像输入至分类模型，得到所述游戏元素的状态；采用所述游戏元素的显示区域和状态，形成所述至少一个视频帧展示的游戏场景的描述信息。2.根据权利要求1所述的方法，其特征在于，所述截取所述至少一个视频帧中的游戏地图区域图像，包括：将所述至少一个视频帧输入至第二目标检测模型，得到所述至少一个视频帧中的游戏地图检测区域；通过对所述游戏地图检测区域中的线路特征和先验特征进行特征匹配，校正所述游戏地图检测区域，以得到游戏地图校正区域；如果所述游戏地图校正区域相对于所述游戏地图检测区域的偏离距离超过偏离阈值，截取所述至少一个视频帧中的游戏地图检测区域的图像。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：如果所述游戏地图校正区域相对于所述游戏地图检测区域的偏离距离未超过所述偏离阈值，截取所述至少一个视频帧中的游戏地图校正区域的图像。4.根据权利要求2所述的方法，其特征在于，在将所述至少一个视频帧输入至第二目标检测模型之前，还包括：获取多个样本视频帧，所述样本视频帧与所述至少一个视频帧对应的游戏种类相同；将所述多个样本视频帧和所述多个样本视频帧上游戏地图的显示区域构成训练样本集，训练所述第二目标检测模型。5.根据权利要求1所述的方法，其特征在于，所述在将所述游戏地图区域图像输入至第一目标检测模型，得到所述游戏地图区域图像上游戏元素的显示区域之前，还包括：获取多个游戏地图样本图像，所述游戏地图样本图像与所述游戏地图区域图像对应的游戏种类相同；将所述多个游戏地图样本图像和所述多个游戏地图样本图像上游戏元素的显示区域构成训练样本集，训练所述第一目标检测模型。6.根据权利要求1所述的方法，其特征在于，所述第一目标检测模型包括特征图生成子模型、网格分割子模型和定位子模型；相应地，所述将所述游戏地图区域图像输入至所述第一...

【专利技术属性】
技术研发人员：吴晓东，刘炉，
申请(专利权)人：广州虎牙信息科技有限公司，
类型：发明
国别省市：广东,44