一种游戏视频精彩画面录制方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种游戏视频精彩画面录制方法、装置、设备及存储介质，涉及视频处理技术领域。所述方法是在获取于游戏过程中实时产生的音视频流数据后，基于所述音视频流数据中的当前音频帧，通过快速傅立叶变换、频点幅值编码和绘图处理，得到包含有频谱特征信息的当前待识别图像，然后将该图像输入基于CNN和精彩音频帧来完成预训练的精彩帧分类模型，得到当前分类结果，最后在该分类结果中的精彩置信度大于等于预设阈值时，对与所述当前音频帧同期的至少一个视频帧进行录制保存，得到游戏视频精彩画面片段，如此通过用一个音频帧来代替多个视频帧间接进行精彩时刻画面识别，可以实现大幅度简化过程、提升识别效率和降低所需计算资源的目的。资源的目的。资源的目的。

【技术实现步骤摘要】
一种游戏视频精彩画面录制方法、装置、设备及存储介质


[0001]本专利技术属于视频处理
，具体涉及一种游戏视频精彩画面录制方法、装置、设备及存储介质。

技术介绍

[0002]随着计算机技术的快速发展，玩家对于游戏体验有了各种各样的需求，其中，较为突出的是：玩家想要回顾观看自己在游戏中存在的精彩时刻画面，例如，连续多次击败对手(如：二连击破、三连决胜或五连绝世等)等画面，也就意味着游戏运行平台需要在游戏过程中自动识别精彩时刻画面并进行录制保存，以便在游戏结束后推送给玩家进行回顾。
[0003]现有的精彩时刻画面识别方案主要是基于视频画面图像来识别是否为精彩时刻画面，即需要预先获取一张游戏视频目标精彩画面，然后实时地将游戏视频当前帧作为待识别图像，使用感知哈希算法分别获取目标精彩画面和待识别图像的哈希值，最后在目标精彩画面的哈希值与待识别图像的哈希值之间的距离小于预设阈值的情况下，将该待识别图像作为精彩时刻画面。但是随着游戏视频帧率的提升(例如达到120帧每秒，甚至更高)，前述精彩时刻画面识别方案将存在过程繁琐和需要消耗大量计算资源的问题，因此如何提供一种可化繁为简的精彩时刻画面识别新方案，以便减少所需计算资源，是本领域技术人员亟需研究的课题。

技术实现思路

[0004]本专利技术的目的是提供一种游戏视频精彩画面录制方法、装置、计算机设备及计算机可读存储介质，用以解决现有精彩时刻画面识别方案所存过程繁琐和需要消耗大量计算资源的问题。
[0005]为了实现上述目的，本专利技术采用以下技术方案：
[0006]第一方面，提供了一种游戏视频精彩画面录制方法，包括：
[0007]获取在游戏过程中实时产生的音视频流数据；
[0008]对所述音视频流数据中的当前音频帧进行快速傅立叶变换处理，得到当前频谱；
[0009]将在所述当前频谱中的且与K个频点一一对应的K个幅值分别编码为红绿蓝RGB三通道颜色值，得到包含有K个RGB值的当前待识别数据，其中，K表示不小于64的自然数，所述K个频点在人体听觉频域区间内等间距分布；
[0010]根据所述当前待识别数据的K个RGB值，绘制得到像素矩阵为k*k的当前待识别图像，其中，k为不小于K的平方根的自然数；
[0011]将所述当前待识别图像输入基于卷积神经网络CNN和精彩音频帧来完成预训练的精彩帧分类模型，得到当前分类结果，其中，所述精彩音频帧是指与游戏视频目标精彩画面同期的音频帧，并用于为所述精彩帧分类模型提供进行精彩帧分类训练的正样本；
[0012]当所述当前分类结果中的精彩置信度大于等于预设置信度阈值时，对所述音视频流数据中的且与所述当前音频帧同期的至少一个视频帧进行录制保存，得到游戏视频精彩
画面片段，其中，所述精彩置信度是指在所述当前分类结果中将所述当前音频帧分类为精彩帧的置信度。
[0013]基于上述
技术实现思路
，提供了一种基于同期音频帧间接识别游戏精彩时刻画面的新方案，即在获取于游戏过程中实时产生的音视频流数据后，基于所述音视频流数据中的当前音频帧，通过快速傅立叶变换、频点幅值编码和绘图处理，得到包含有频谱特征信息的当前待识别图像，然后将该图像输入基于卷积神经网络CNN和精彩音频帧来完成预训练的精彩帧分类模型，得到当前分类结果，最后在该分类结果中的精彩置信度大于等于预设置信度阈值时，对所述音视频流数据中的且与所述当前音频帧同期的至少一个视频帧进行录制保存，得到游戏视频精彩画面片段，如此通过用一个音频帧来代替多个视频帧间接进行精彩时刻画面识别，可以实现大幅度简化过程、提升识别效率和降低所需计算资源的目的，便于实际应用和推广。
[0014]在一个可能的设计中，将与K个频点一一对应的K个幅值分别编码为红绿蓝RGB三通道颜色值，包括：
[0015]通过变换数值单位的方式，将所述K个幅值变换为在同一数值单位下且分别在区间[0,16777215]内的待转数值；
[0016]将所述待转数值从十进制数字转换为二进制数字；
[0017]从左至右对所述二进制数字进行补0，得到24位二进制数字；
[0018]将所述24位二进制数字中的前8位二进制数字转换为十进制数字，得到所述红绿蓝RGB三通道颜色值中的红色通道颜色值；
[0019]将所述24位二进制数字中的中8位二进制数字转换为十进制数字，得到所述红绿蓝RGB三通道颜色值中的绿色通道颜色值；
[0020]将所述24位二进制数字中的后8位二进制数字转换为十进制数字，得到所述红绿蓝RGB三通道颜色值中的蓝色通道颜色值。
[0021]在一个可能的设计中，所述CNN采用Resnet50网络结构、Mobile
‑
net网络结构或VGG16网络结构。
[0022]在一个可能的设计中，当所述当前分类结果中的精彩置信度大于等于预设置信度阈值时，对所述音视频流数据中的且与所述当前音频帧同期的至少一个视频帧进行录制保存，得到游戏视频精彩画面片段，包括：
[0023]当所述当前分类结果中的精彩置信度大于等于预设置信度阈值时，判断位于在前最近精彩帧与所述当前音频帧之间的音频帧数是否等于零，其中，所述精彩置信度是指在所述当前分类结果中将所述当前音频帧分类为精彩帧的置信度，所述在前最近精彩帧是指在所述音视频流数据中位于所述当前音频帧之前的且对应精彩置信度大于等于所述预设置信度阈值的音频帧；
[0024]若判定所述音频帧数等于零，则对所述音视频流数据中的且与所述当前音频帧同期的至少一个视频帧进行录制保存，得到游戏视频精彩画面片段，否则进一步判断所述音频帧数是否大于等于预设帧数阈值；
[0025]若判定所述音频帧数大于等于所述预设帧数阈值，则对所述音视频流数据中的且与所述当前音频帧同期的至少一个视频帧进行录制保存，得到游戏视频精彩画面片段，否则对所述音视频流数据中的且与中间音频帧和所述当前音频帧同期的至少一个视频帧进
行录制保存，得到游戏视频精彩画面片段，其中，所述中间音频帧是指在所述音视频流数据中位于所述在前最近精彩帧与所述当前音频帧之间的至少一个音频帧。
[0026]在一个可能的设计中，在得到游戏视频精彩画面片段之后，所述方法还包括：
[0027]判断在前最近的游戏视频精彩画面片段与最新得到的游戏视频精彩画面片段在时序上是否连续；
[0028]若判定在时序上连续，则将两个游戏视频精彩画面片段合并为一个游戏视频精彩画面片段，否则进一步判断所述在前最近的游戏视频精彩画面片段的时长是否小于等于预设时长阈值；
[0029]若判定所述时长小于等于所述预设时长阈值，则删除保存的所述在前最近的游戏视频精彩画面片段。
[0030]在一个可能的设计中，所述方法还包括：
[0031]在游戏结束时汇总在游戏过程中录制的所有游戏视频精彩画面片段，得到至少一个游戏视频精彩画面片段；
[0032]针对所述至少一个游戏视频精彩画面片段中的各个游戏视频精彩画面片段，按照如下公式本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种游戏视频精彩画面录制方法，其特征在于，包括：获取在游戏过程中实时产生的音视频流数据；对所述音视频流数据中的当前音频帧进行快速傅立叶变换处理，得到当前频谱；将在所述当前频谱中的且与K个频点一一对应的K个幅值分别编码为红绿蓝RGB三通道颜色值，得到包含有K个RGB值的当前待识别数据，其中，K表示不小于64的自然数，所述K个频点在人体听觉频域区间内等间距分布；根据所述当前待识别数据的K个RGB值，绘制得到像素矩阵为k*k的当前待识别图像，其中，k为不小于K的平方根的自然数；将所述当前待识别图像输入基于卷积神经网络CNN和精彩音频帧来完成预训练的精彩帧分类模型，得到当前分类结果，其中，所述精彩音频帧是指与游戏视频目标精彩画面同期的音频帧，并用于为所述精彩帧分类模型提供进行精彩帧分类训练的正样本；当所述当前分类结果中的精彩置信度大于等于预设置信度阈值时，对所述音视频流数据中的且与所述当前音频帧同期的至少一个视频帧进行录制保存，得到游戏视频精彩画面片段，其中，所述精彩置信度是指在所述当前分类结果中将所述当前音频帧分类为精彩帧的置信度。2.根据权利要求1所述的游戏视频精彩画面录制方法，其特征在于，将与K个频点一一对应的K个幅值分别编码为红绿蓝RGB三通道颜色值，包括：通过变换数值单位的方式，将所述K个幅值变换为在同一数值单位下且分别在区间[0,16777215]内的待转数值；将所述待转数值从十进制数字转换为二进制数字；从左至右对所述二进制数字进行补0，得到24位二进制数字；将所述24位二进制数字中的前8位二进制数字转换为十进制数字，得到所述红绿蓝RGB三通道颜色值中的红色通道颜色值；将所述24位二进制数字中的中8位二进制数字转换为十进制数字，得到所述红绿蓝RGB三通道颜色值中的绿色通道颜色值；将所述24位二进制数字中的后8位二进制数字转换为十进制数字，得到所述红绿蓝RGB三通道颜色值中的蓝色通道颜色值。3.根据权利要求1所述的游戏视频精彩画面录制方法，其特征在于，所述CNN采用Resnet50网络结构、Mobile
‑
net网络结构或VGG16网络结构。4.根据权利要求1所述的游戏视频精彩画面录制方法，其特征在于，当所述当前分类结果中的精彩置信度大于等于预设置信度阈值时，对所述音视频流数据中的且与所述当前音频帧同期的至少一个视频帧进行录制保存，得到游戏视频精彩画面片段，包括：当所述当前分类结果中的精彩置信度大于等于预设置信度阈值时，判断位于在前最近精彩帧与所述当前音频帧之间的音频帧数是否等于零，其中，所述精彩置信度是指在所述当前分类结果中将所述当前音频帧分类为精彩帧的置信度，所述在前最近精彩帧是指在所述音视频流数据中位于所述当前音频帧之前的且对应精彩置信度大于等于所述预设置信度阈值的音频帧；若判定所述音频帧数等于零，则对所述音视频流数据中的且与所述当前音频帧同期的至少一个视频帧进行录制保存，得到游戏视频精彩画面片段，否则进一步判断所述音频帧
数是否大于等于预设帧数阈值；若判定所述音频帧数大于等于所述预设帧数阈值，则对所述音视频流数据中的且与所述当前音频帧同期的至少一个视频帧进行录制保存，得到游戏视频精彩画面片段，否则对所述音视频流数据中的且与中间音频帧和所述当前音频帧同期的至少一个视频帧进行录制保存，得到游戏视频精彩画面片段，其中，所述中间音频帧是指在所述音视频流数据中位于所述在前最近精彩帧与所述当前音频帧之间的至少一个音频帧。5.根据权利要求1所述的游戏视频精彩画面录制方法，其特征在于，在得到游戏视频精彩画面片段之后，所述方法还包括：判断在前最近的游戏视频精彩画面片段与最新得到的游戏视频精彩画面片段在时序上是否连续；若判定在时序上连续，则将两个游戏视频精彩画面片段合并为一个游戏视频精彩画面片段，否则进一步判断所述在前最近...

【专利技术属性】
技术研发人员：刘超，张南，程诚，
申请(专利权)人：深圳市名动天下网络科技有限公司，
类型：发明
国别省市：