确定屏到屏延时的方法、系统、装置、设备和存储介质制造方法及图纸

本发明专利技术公开了一种确定屏到屏延时的方法、系统、装置、设备和存储介质。该方法包括：在用户侧展示的视频数据中识别云端设备响应操作指令时生成的响应视频图像，根据响应视频图像的播放时刻以及操作指令的生成时刻，确定屏到屏延时。在本发明专利技术实施例中，针对一个操作指令而言，操作指令的生成时刻可以作为用户设备的指令传输延时的起始时刻，响应视频图像的播放时刻可以作为用户设备的图像展示延时的结束时刻，进而根据该开始时刻和该结束时刻，就可以简单、方便地确定屏到屏延时，弥补了缺少确定屏到屏延时方式的技术空白，有利于后续改进屏到屏延时，提升云程序的使用体验。

【技术实现步骤摘要】
确定屏到屏延时的方法、系统、装置、设备和存储介质
本专利技术涉及云通信
，特别是涉及一种确定屏到屏延时的方法、系统、装置、设备和存储介质。
技术介绍
云端应用服务是在云端部署硬件资源，使用云端的硬件资源运行用户所需的应用程序，在用户设备展示该应用程序的显示窗口图像，并且在云端响应来自用户设备的操作指令并进行图像渲染，因此云端应用服务对用户设备的性能要求较低。例如：在云游戏应用场景中，游戏程序部署在云端设备上，云端设备运行游戏程序，响应于接收到来自于用户设备的操作指令进行图像渲染，将渲染后形成的视频流传送给用户设备，用户设备无需安装、运行游戏程序，仅需向云端设备发送操作指令并显示视频流即可。目前，在使用云端应用服务的过程中，屏到屏延时是影响用户体验的一项重要的指标。屏到屏延时为多种类型的延时的和。该多种类型的延时包括：用户设备到云端设备的指令传输延时，云端设备中程序的逻辑运算延时，云端设备中系统的图像渲染延时，云端设备编码图像数据的延时，云端设备到用户设备的图像传输延时，用户设备解码图像数据的延时，用户设备的图像展示延时。屏到屏延时本文档来自技高网...

【技术保护点】
1.一种确定屏到屏延时的方法，其特征在于，第一设备用于展示来自于云端设备的云端视频数据；所述第一设备展示的所述云端视频数据处于第二设备的拍摄视野之中；所述第二设备用于拍摄所述第一设备展示的云端视频图像，得到拍摄视频数据；所述方法包括：/n在所述第一设备展示所述云端视频数据的过程中，控制所述第一设备生成预设的操作指令，以便使所述第一设备向所述云端设备发送所述操作指令；/n获取所述拍摄视频数据，并在所述拍摄视频数据中，识别目标视频图像；其中，所述目标视频图像对应于所述第一设备展示的所述云端视频数据中的响应视频图像，所述响应视频图像是所述云端设备响应所述操作指令时生成的云端视频图像；/n根据所述响应...

【技术特征摘要】
1.一种确定屏到屏延时的方法，其特征在于，第一设备用于展示来自于云端设备的云端视频数据；所述第一设备展示的所述云端视频数据处于第二设备的拍摄视野之中；所述第二设备用于拍摄所述第一设备展示的云端视频图像，得到拍摄视频数据；所述方法包括：
在所述第一设备展示所述云端视频数据的过程中，控制所述第一设备生成预设的操作指令，以便使所述第一设备向所述云端设备发送所述操作指令；
获取所述拍摄视频数据，并在所述拍摄视频数据中，识别目标视频图像；其中，所述目标视频图像对应于所述第一设备展示的所述云端视频数据中的响应视频图像，所述响应视频图像是所述云端设备响应所述操作指令时生成的云端视频图像；
根据所述响应视频图像对应的播放时刻，以及所述操作指令的生成时刻，确定屏到屏延时；其中，所述响应视频图像对应的播放时刻是根据所述目标视频图像对应的拍摄时刻确定的。


2.根据权利要求1所述的方法，其特征在于，所述拍摄视频数据的帧间隔小于或者等于所述云端视频数据的帧间隔；
所述在所述拍摄视频数据中，识别目标视频图像，包括：
顺序获取所述拍摄视频数据中的每帧拍摄视频图像；
确定与预设的样本响应视频图像相匹配的首帧拍摄视频图像，作为目标视频图像；其中，所述样本响应视频图像为事先根据所述操作指令生成的视频图像。


3.根据权利要求2所述的方法，其特征在于，所述样本响应视频图像为第一预设区域的视频图像；其中，所述第一预设区域为所述云端设备响应所述操作指令时的图像处理区域；
所述确定与预设的样本响应视频图像相匹配的首帧拍摄视频图像，作为目标视频图像，包括：
顺序在每帧所述拍摄视频图像中截取所述第一预设区域中的视频图像，得到每帧所述拍摄视图图像对应的局部响应图像；
确定与所述样本响应视频图像相匹配的首张局部响应图像，并将所述首张局部响应图像对应的拍摄视频图像作为所述目标视频图像。


4.根据权利要求1所述的方法，其特征在于，
在所述控制所述第一设备生成预设的操作指令时，还包括：
控制所述第一设备标记所述操作指令的生成时刻展示的云端视频图像；
所述根据所述响应视频图像对应的播放时刻以及所述操作指令的生成时刻，确定屏到屏延时，包括：
在所述拍摄视频数据中，识别起始视频图像；其中，所述起始视频图像对应所述云端视频数据中被标记的所述云端视频图像；
根据所述起始视频图像对应的拍摄时刻，确定被标记的所述云端视频图像对应的播放时刻；
根据所述目标视频图像对应的拍摄时刻，确定所述响应视频图像对应的播放时刻；
根据被标记的所述云端视频图像对应的播放时刻以及所述响应视频图像对应的播放时刻，确定所述屏到屏延时。


5.根据权利要求1-4中任一项所述的方法，其特征在于，在所述确定屏到屏延时之后，还包括：
获取所述云端视频数据对应的应用程序类型；
将所述屏到屏延时与所述应用程序类型对应的预警延时范围进行比较；
在所述屏到屏延时处于所述预警延时范围内时，执行预设的预警操作。


6.一种确定屏到屏延时的方法，其特征在于，包括：
展示来自于云端设备的云端视频数据；
在展示所述云端视频数据的过程中，对显示窗口执行事件监听；
在监听到预设的操作事件之后，生成所述操作事件对应的操作指令，并向所述云端设备发送所述操作指令；
在继续展示的所述云端视频数据中，识别响应视频图像；其中，所述响应视频图像是所述云端设备响应所述操作指令时生成的云端视频图像；
根据所述响应视频图像对应的播放时刻，以及所述操作指令的生成时刻，确定屏到屏延时。


7.根据权利要求6所述的方法，其特征在于，
在所述生成所述操作事件对应的操作指令时，还包括：
记录所述操作指令的生成时刻展示的云端视频图像的信息；其中，所述云端视频图像的信息包括：所述云端视频图像对应的播放时刻；
所述根据所述响应视频图像对应的播放时刻以及所述操作指令的生成时刻，确定屏到屏延时，包括：
根据第一时刻和第二时刻，确定所述屏到屏延时；其中，所述第一时刻为所述响应视频图像对应的播放时刻，所述第二时刻为被记录的所述云端视频图像对应的播放时刻。


8.根据权利要求6所述的方法，其特征在于，所述在继续展示的所述云端视频数据中，识别响应视频图像，包括：
顺序获取所述云端视频数据中的每帧云端视频图像；
确定与预设的样本响应视频图像相匹配的云端视频图像，作为响应视频图像；其中，所述样本响应视频图像为事先根据所述操作指令生成的视频图像。


9.根据权利要求8所述的方法，其特征在于，所述样本响应视频图像为第一预设区域的视频图像；其中，所述第一预设区域为所述云端设备响应所述操作指令...

【专利技术属性】
技术研发人员：禹俊磊，郑蕾，
申请(专利权)人：北京爱奇艺科技有限公司，
类型：发明
国别省市：北京;11