使用机器学习从视频帧中识别控制器动作制造技术

使用机器学习模型

【技术实现步骤摘要】
【国外来华专利技术】使用机器学习从视频帧中识别控制器动作


[0001]本申请涉及必须植根于计算机技术并且产生具体技术改进的技术上创新的非常规解决方案
。

技术介绍

[0002]如本文所理解的，之前玩的计算机游戏的视频可以在计算机网络上共享以指导观看者如何在游戏中取得成功，例如通过在游戏中通关
。
如本文进一步理解，此类游戏视频可能不包括关于在玩游戏期间的哪些时候按下哪些控制器按钮的信息，因为记录游戏视频的时候可能并未捕获玩游戏时的控制器动作
。

技术实现思路

[0003]还如本文所理解的，关于在什么时候按下哪些控制器按钮的此类信息对于学习玩计算机游戏的玩家可能是有价值的，使玩游戏对于许多类型的玩家
(
从新手到速通达人
)
来说更有趣
。
本文中提供了机器学习技术来在没有额外控制器数据的情况下通过分析一系列视频帧来生成控制器动作信息
。
[0004]因此，一种装置包括至少一个计算机存储器，所述至少一个计算机存储器不是瞬时信号并且继而包括可由至少一个处理器执行以进行以下操作的指令：接收包括视频帧序列的所记录的计算机模拟
。
所述指令可执行以在机器学习
(ML)
模型中处理所述视频帧序列，并且从所述
ML
模型接收与生成所记录的计算机模拟相关联的计算机模拟控制器
(CSC)
操作的识别
。
另外，所述指令可执行以将所记录的计算机模拟与从所述
ML
模型接收到的
CSC
操作中的至少一项的至少一个指示一起呈现在至少一个音频视频
(AV)
显示器上
。
[0005]在示例实施方案中，所述
ML
模型包括至少一个循环神经网络
(RNN)
，诸如至少一个长短期记忆
(LSTM)
网络
。
还可以使用卷积神经网络
(CNN)。
[0006]所述装置可包括所述处理器，并且所述处理器可在
AV
显示器中体现，或在计算机模拟的源
(
诸如计算机模拟控制台和
/
或通过广域计算机网络与
AV
显示器通信的服务器
)
中体现
。
[0007]在另一个方面中，一种设备包括至少一个显示器，所述至少一个显示器被配置为呈现在至少一个计算机模拟控制器的控制下生成的至少一个所记录的计算机模拟的视频
。
然而，所记录的计算机模拟不包括关于在生成所述至少一个所记录的计算机模拟的视频期间所述计算机模拟控制器的操作的信息
。
所述设备因此包括至少一个处理器，所述至少一个处理器用指令进行配置以从视频中识别关于在生成所述至少一个所记录的计算机模拟的视频期间所述计算机模拟控制器的操作的信息
。
所述指令可执行以向所述至少一个显示器提供关于在生成所述至少一个所记录的计算机模拟的视频期间所述计算机模拟控制器的操作的信息，以便在呈现所述至少一个所记录的计算机模拟的视频的同时一起呈现所述信息
。
[0008]在示例实现方式中，所述指令可以是可执行的，以使用至少一个机器学习
(ML)
模
型从所述视频中识别关于在生成所述至少一个所记录的计算机模拟的视频期间所述计算机模拟控制器的操作的信息
。
[0009]在另一个方面中，一种方法包括向至少一个机器学习
(ML)
模型输入至少训练集
。
所述训练集包括来自多个所记录的计算机模拟的视频帧的序列以及与所述视频帧序列相关联的关于在生成所述视频帧序列期间执行的计算机模拟控制器
(CSC)
操作的信息
。
所述方法接着包括向所述
ML
模型输入至少第一所记录的计算机模拟，所述第一所记录的计算机模拟不包括关于在生成所述第一所记录的计算机模拟期间执行的
CSC
操作的信息
。
所述方法包括将所述第一所记录的计算机模拟与从所述
ML
模型接收到的关于在生成所述第一所记录的计算机模拟期间执行的
CSC
操作的可听和
/
或可视信息一起呈现
。
[0010]本申请的关于其结构和操作两者的细节可参考附图得到最好的理解，在附图中相同的附图标记指代相同的部分，并且在附图中：
附图说明
[0011]图1是包括根据本专利技术原理的示例的示例系统的框图；
[0012]图2示出了根据本专利技术原理的示例游戏控制器，其中可以从所记录的计算机模拟
(
诸如计算机游戏
)
视频中学习所述示例游戏控制器的示例键操作；
[0013]图3示出了根据本专利技术原理的用于观看所记录的计算机模拟
(
诸如计算机游戏
)
的示例；
[0014]图4以示例流程图格式示出了用于训练机器学习
(ML)
模型以从所记录的计算机模拟视频中得到关于执行哪些控制器操作以及在什么时候执行这些操作的信息的示例逻辑；
[0015]图5示意性地示出了伴随有关于控制器操作的信息的视频帧序列，所述信息可用于训练
ML
模型；
[0016]图6示意性地示出了并未伴随有关于控制器操作的信息的视频帧序列，以及可能取决于控制器操作而出现的替代视频路径，指示控制器操作的识别；
[0017]图7以示例流程图格式示出了用于从来自所记录的计算机模拟中的所记录的视频帧的序列中识别控制器操作的示例逻辑；以及
[0018]图8示出了根据本专利技术原理的来自
ML
模型的示例输出呈现
。
具体实施方式
[0019]本专利技术原理可采用机器学习模型，包括深度学习模型
。
机器学习模型使用以多种方式训练的各种算法，所述方式包括监督学习
、
无监督学习
、
半监督学习
、
强化学习
、
特征学习
、
自主学习和其他形式的学习
。
此类算法的示例
(
其可通过计算机电路实现
)
包括一个或多个神经网络，诸如卷积神经网络
(CNN)、
可能适合于从一系列图像中学习信息的循环神经网络
(RNN)
，以及一类被称为长短期记忆
(LSTM)
网络的
RNN。
支持向量机
(SVM)
和贝叶斯网络也可以被视为机器学习模型的示例
。
[0020]如本文所理解，执行机器学习涉及访问模型和接着用训练数据训练模型以使模型能够处理其他数据来做出预测
。
神经网络可包括输入层<本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.
一种装置，所述装置包括：至少一个计算机存储器，所述至少一个计算机存储器不是瞬时信号并且包括可由至少一个处理器执行以进行以下操作的指令：接收包括视频帧序列的所记录的计算机模拟；在机器学习
(ML)
模型中处理所述视频帧序列；从所述
ML
模型接收与生成所述所记录的计算机模拟相关联的至少一些计算机模拟控制器
(CSC)
操作的识别；以及将所述所记录的计算机模拟与从所述
ML
模型接收到的所述
CSC
操作中的至少一项的至少一个指示一起呈现在至少一个音频视频
(AV)
显示器上
。2.
如权利要求1所述的装置，其中所述
ML
模型包括至少一个循环神经网络
(RNN)。3.
如权利要求2所述的装置，其中所述
RNN
包括至少一个长短期记忆
(LSTM)
网络
。4.
如权利要求1所述的装置，其中所述
ML
模型包括至少一个卷积神经网络
(CNN)。5.
如权利要求1所述的装置，所述装置包括所述至少一个处理器，其中所述至少一个处理器在所述
AV
显示器中体现
。6.
如权利要求1所述的装置，所述装置包括所述至少一个处理器，其中所述至少一个处理器在所述计算机模拟的源中体现
。7.
如权利要求6所述的装置，其中所述源包括至少一个计算机模拟控制台
。8.
如权利要求6所述的装置，其中所述源包括通过广域计算机网络与所述
AV
显示器通信的至少一个服务器
。9.
一种设备，所述设备包括：至少一个显示器，所述至少一个显示器被配置为至少呈现至少一个所记录的计算机模拟的视频，所述至少一个所记录的计算机模拟是在至少一个计算机模拟控制器的控制下生成并且不包括关于在生成所述至少一个所记录的计算机模拟的所述视频期间所述计算机模拟控制器的操作的信息；以及至少一个处理器，所述至少一个处理器用指令进行配置以：从所述视频中识别关于在生成所述至少一个所记录的计算机模拟的所述视频期间所述计算机模拟控制器的操作的信息；并且向所述至少一个显示器提供关于在生成所述至少一个所记录的计算机模拟的所述视频期间所述计算机模拟控制器的操作的所述信息，以便在呈现所述至少一个所记录的计算机模拟的所述视频的同时一起呈现所述信息
。10.
如权利要求9所述的设备，其中所述处理器在所述显示器体现
。11.
如权利要求9所述的设备，其中所述处理器在计算机模拟控制台中体现
。12.
如权利要求9所述的设备，其中所述处理器在通过广域网络与所述显示器通信的服务器中体现...

【专利技术属性】
技术研发人员：R，
申请(专利权)人：索尼互动娱乐股份有限公司，
类型：发明
国别省市：