图像处理方法、装置、电子设备以及存储介质制造方法及图纸

本申请公开了一种图像处理方法、装置、电子设备以及存储介质，包括：接收服务器发送的填充帧信息以及待处理图像序列的图像帧集合，将图像帧集合存放至缓存队列中，并确定当前位于缓存队列首位的图像帧为目标图像帧，基于填充帧信息在目标图像帧与目标图像帧的下一帧图像帧之间插入填充帧，以使得缓存队列中除目标图像帧之外，其余的帧为填充帧；当检测到目标图像帧解码完成时，将目标图像帧更新为目标图像帧的下一帧图像帧，并执行基于填充帧信息在目标图像帧与目标图像帧的下一帧图像帧之间插入填充帧的步骤，直至缓存队列中的所有图像帧均解码完毕，对解码后的图像帧进行处理，并展示处理结果，该方案可以降低对图像序列进行解码所带来的时延。

【技术实现步骤摘要】
图像处理方法、装置、电子设备以及存储介质
本专利技术涉及计算机
，具体涉及一种图像处理方法、装置、电子设备以及存储介质。
技术介绍
越来越多的用户开始通过手机、平板电脑及个人电脑等终端在线收看视频，并且，随着移动终端及网络技术的发展，游戏也可以以视频播放的方式向用户展示相应的内容，以云游戏为例，在云游戏的场景下，游戏并不在玩家游戏终端，而是在云端服务器中运行，并由云端服务器将游戏场景渲染为视频音频流，通过网络传输给玩家的终端。玩家的终端无需拥有强大的图形运算与数据处理能力，仅需拥有基本的流媒体播放能力与获取玩家输入指令并发送给云端服务器的能力即可。然而，受限于玩家的终端的解码能力，在目前的解码方案中，视频硬件解码帧缓存会极大地影响整体延迟，导致最终播放的视频可能会存在卡顿的现象。
技术实现思路
本申请提供一种图像处理方法、装置、电子设备以及存储介质，可以降低对图像序列进行解码所带来的时延，提高图像处理的流畅度。本申请提供了一种图像处理方法，包括：接收服务器发送的填充帧信息以及待处理图像序列的图像帧集合，所述填充帧信息由所述服务器根据所述图像帧集合生成的；将所述图像帧集合存放至缓存队列中，并确定当前位于缓存队列首位的图像帧为目标图像帧；基于填充帧信息在所述目标图像帧与所述目标图像帧的下一帧图像帧之间插入填充帧，以使得所述缓存队列中除所述目标图像帧之外，其余的帧为所述填充帧；当检测到所述目标图像帧解码完成时，将所述目标图像帧更新为所述目标图像帧的下一帧图像帧，并执行基于填充帧信息在所述目标图像帧与所述目标图像帧的下一帧图像帧之间插入填充帧的步骤，直至所述缓存队列中的所有图像帧均解码完毕；对解码后的图像帧进行处理，并展示处理结果。相应的，本申请还提供了一种图像处理装置，包括：接收模块，用于接收服务器发送的填充帧信息以及待处理图像序列的图像帧集合，所述填充帧信息由所述服务器根据所述图像帧集合生成的；确定模块，用于将所述图像帧集合存放至缓存队列中，并确定当前位于缓存队列首位的图像帧为目标图像帧；插入模块，用于基于填充帧信息在所述目标图像帧与所述目标图像帧的下一帧图像帧之间插入填充帧，以使得所述缓存队列中除所述目标图像帧之外，其余的帧为所述填充帧；检测模块，用于当检测到所述目标图像帧解码完成时，将所述目标图像帧更新为所述目标图像帧的下一帧图像帧，并执行基于填充帧信息在所述目标图像帧与所述目标图像帧的下一帧图像帧之间插入填充帧的步骤，直至所述缓存队列中的所有图像帧均解码完毕；处理模块，用于对解码后的图像帧进行处理，并展示处理结果。可选的，在本申请的一些实施例中，所述插入模块包括：第一提取单元，用于从所述填充帧信息中提取由所述服务器根据所述图像帧集合生成的填充帧帧集合；选择单元，用于在所述填充帧帧集合中选择与所述目标图像帧对应的填充帧，得到目标填充帧；插入单元，用于在所述目标图像帧与所述目标图像帧的下一帧图像帧之间插入预设数量的目标填充帧。可选的，在本申请的一些实施例中，所述插入单元具体用于：检测所述缓存队列对应的最大缓存数量；根据所述目标图像帧以及最大缓存数量，生成填充数量；在所述目标图像帧与所述目标图像帧的下一帧图像帧之间插入与填充数量对应数量的目标填充帧。可选的，在本申请的一些实施例中，还包括赋值模块，所述赋值模块包括：第二提取单元，用于提取所述目标图像帧的帧序号；赋值单元，用于基于帧序号以及在所述缓存队列中填充帧的位置，对所述缓存队列中填充帧的帧序号进行赋值。可选的，在本申请的一些实施例中，所述赋值单元具体用于：从所述填充帧信息中提取在所述缓存队列中填充帧对应的偏移量；基于帧序号、在所述缓存队列中填充帧的位置以及在所述缓存队列中填充帧对应的偏移量，对所述缓存队列中填充帧的帧序号进行赋值。可选的，在本申请的一些实施例中，所述检测模块具体用于：当检测到所述目标图像帧解码完成时，将所述目标图像帧更新为所述目标图像帧的下一帧图像帧，得到当前处理对象；检测所述当前处理对象的类型；当检测结果指示所述当前处理对象为关键帧时，则以所述当前处理对象的帧序号为基准，基于填充帧信息在所述目标图像帧与所述目标图像帧的下一帧图像帧之间插入填充帧；当检测到所述目标图像帧的帧类型不为关键帧时，则根据所述当前处理对象的上一帧对应的帧序号，调整所述当前处理对象的帧序号，并基于填充帧信息在所述目标图像帧与所述目标图像帧的下一帧图像帧之间插入填充帧；执行将所述目标图像帧更新为所述目标图像帧的下一帧图像帧，得到当前处理对象的步骤，直至所述缓存队列中的所有图像帧均解码完毕。可选的，在本申请的一些实施例中，所述确定模块具体用于：获取当前渲染的所述待处理图像序列的关键帧，得到目标关键帧；在所述图像帧集合确定所述目标关键帧的下一帧图像帧为目标图像帧；将所述目标图像帧存放至缓存队列的首位。本申请在接收服务器发送的填充帧信息以及待处理图像序列的图像帧集合后，所述填充帧信息由所述服务器根据所述图像帧集合生成的，将所述图像帧集合存放至缓存队列中，并确定当前位于缓存队列首位的图像帧为目标图像帧，接着，基于填充帧信息在所述目标图像帧与所述目标图像帧的下一帧图像帧之间插入填充帧，以使得所述缓存队列中除所述目标图像帧之外，其余的帧为所述填充帧，当检测到所述目标图像帧解码完成时，将所述目标图像帧更新为所述目标图像帧的下一帧图像帧，并执行基于填充帧信息在所述目标图像帧与所述目标图像帧的下一帧图像帧之间插入填充帧的步骤，直至所述缓存队列中的所有图像帧均解码完毕，最后，对解码后的图像帧进行处理，并展示处理结果。因此，该方案可以降低对视频进行解码所带来的时延，提高图像处理的流畅度。附图说明为了更清楚地说明本申请中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1a是本申请提供的图像处理方法的场景示意图；图1b是本申请提供的图像处理方法的流程示意图；图2a是本申请提供的图像处理方法的另一流程示意图；图2b是本申请提供的图像处理系统的示意图；图2c是本申请提供的图像处理方法中生成填充帧的流程示意图；图2d是本申请提供的图像处理方法对图像帧集合进行处理的流程示意图；图3a是本申请提供的图像处理装置的结构示意图；图3b是本申请提供的图像处理装置的另一结构示意图；图4是本申请提供的电子设备的结构示意图；图5是本申请提供的分布式系统100应用于区块链系统的一个可选的结构示意图；图6是本申请提供的区块结构(BlockStructure)一个可选的示意图。...

【技术保护点】
1.一种图像处理方法，其特征在于，包括：/n接收服务器发送的填充帧信息以及待处理图像序列的图像帧集合，所述填充帧信息由所述服务器根据所述图像帧集合生成的；/n将所述图像帧集合存放至缓存队列中，并确定当前位于所述缓存队列首位的图像帧为目标图像帧；/n在所述目标图像帧与所述目标图像帧的下一帧图像帧之间插入填充帧，以使得所述缓存队列中除所述目标图像帧之外，其余的帧为所述填充帧；/n当检测到所述目标图像帧解码完成时，将所述目标图像帧更新为所述目标图像帧的下一帧图像帧，并执行在所述目标图像帧与所述目标图像帧的下一帧图像帧之间插入填充帧的步骤，直至所述缓存队列中的所有图像帧均解码完毕；/n对解码后的图像帧进行处理，并展示处理结果。/n

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：
接收服务器发送的填充帧信息以及待处理图像序列的图像帧集合，所述填充帧信息由所述服务器根据所述图像帧集合生成的；
将所述图像帧集合存放至缓存队列中，并确定当前位于所述缓存队列首位的图像帧为目标图像帧；
在所述目标图像帧与所述目标图像帧的下一帧图像帧之间插入填充帧，以使得所述缓存队列中除所述目标图像帧之外，其余的帧为所述填充帧；
当检测到所述目标图像帧解码完成时，将所述目标图像帧更新为所述目标图像帧的下一帧图像帧，并执行在所述目标图像帧与所述目标图像帧的下一帧图像帧之间插入填充帧的步骤，直至所述缓存队列中的所有图像帧均解码完毕；
对解码后的图像帧进行处理，并展示处理结果。


2.根据权利要求1所述的方法，其特征在于，所述基于填充帧信息在所述目标图像帧与所述目标图像帧的下一帧图像帧之间插入填充帧，包括：
从所述填充帧信息中提取由所述服务器根据所述图像帧集合生成的填充帧帧集合；
在所述填充帧帧集合中选择与所述目标图像帧对应的填充帧，得到目标填充帧；
在所述目标图像帧与所述目标图像帧的下一帧图像帧之间插入预设数量的目标填充帧。


3.根据权利要求2所述的方法，其特征在于，所述在所述目标图像帧与所述目标图像帧的下一帧图像帧之间插入预设数量的目标填充帧，包括：
检测所述缓存队列对应的最大缓存数量；
根据所述目标图像帧以及最大缓存数量，生成填充数量；
在所述目标图像帧与所述目标图像帧的下一帧图像帧之间插入与填充数量对应数量的目标填充帧。


4.根据权利要求3所述的方法，其特征在于，所述在所述目标图像帧与所述目标图像帧的下一帧图像帧之间插入与填充数量对应数量的目标填充帧之后，还包括：
提取所述目标图像帧的帧序号；
基于帧序号以及在所述缓存队列中填充帧的位置，对所述缓存队列中填充帧的帧序号进行赋值。


5.根据权利要求4所述的方法，其特征在于，所述基于帧序号以及在所述缓存队列中填充帧的位置，对所述缓存队列中填充帧的帧序号进行赋值，包括：
从所述填充帧信息中提取在所述缓存队列中填充帧对应的偏移量；
基于帧序号、在所述缓存队列中填充帧的位置以及在所述缓存队列中填充帧对应的偏移量，对所述缓存队列中填充帧的帧序号进行赋值。


6.根据权利要求1至5任一项所述的方法，其特征在于，所述当检测到所述目标图像帧解码完成时，将所述目标图像帧更新为所述目标图像帧的下一帧图像帧，并执行基于填充帧信息在所述目...

【专利技术属性】
技术研发人员：李潇，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44