直播卡顿处理方法、装置、电子设备及可读存储介质制造方法及图纸

本申请公开了一种直播卡顿处理方法、装置、电子设备及可读存储介质，属于视频处理技术领域。本申请实施例中的直播卡顿处理方法包括：当检测到直播画面卡顿时，获取目标视频帧，所述目标视频帧为直播视频的在卡顿前的视频帧，所述目标视频帧中包括人脸；对所述目标视频帧进行人脸识别，并基于识别结果，生成目标视频；将所述目标视频推送给主播客户端进行播放。由此，可以减小直播卡顿给用户带来的影响，提升用户的观看体验。提升用户的观看体验。提升用户的观看体验。

【技术实现步骤摘要】
直播卡顿处理方法、装置、电子设备及可读存储介质


[0001]本申请属于视频处理
，具体涉及一种直播卡顿处理方法、装置、电子设备及可读存储介质。

技术介绍

[0002]目前，当直播视频卡顿后，通常会黑屏，或者利用广告或静止图片替换直播视频。这种情况下，如果卡顿时间较长，将会使得观看者感觉无聊，从而造成观看体验较差。

技术实现思路

[0003]本申请实施例的目的是提供一种直播卡顿处理方法、装置、电子设备及可读存储介质，以解决目前直播视频卡顿后造成的观看体验较差的问题。
[0004]为了解决上述技术问题，本申请是这样实现的：
[0005]第一方面，提供了一种直播卡顿处理方法，应用于服务器，包括：
[0006]当检测到直播画面卡顿时，获取目标视频帧，所述目标视频帧为直播视频的在卡顿前的视频帧，所述目标视频帧中包括人脸；
[0007]对所述目标视频帧进行人脸识别，并基于识别结果，生成目标视频；
[0008]将所述目标视频推送给主播客户端进行播放。
[0009]第二方面，提供了一种直播卡顿处理方法，应用于主播客户端，包括：
[0010]从服务器接收目标视频，其中，所述目标视频是根据对目标视频帧进行人脸识别所得到的识别结果生成，所述目标视频帧为直播视频的在直播画面卡顿前的视频帧，所述目标视频帧中包括人脸；
[0011]播放所述目标视频。
[0012]第三方面，提供了一种直播卡顿处理装置，应用于服务器，包括：
[0013]获取模块，用于当检测到直播画面卡顿时，获取目标视频帧，所述目标视频帧为直播视频的在卡顿前的视频帧，所述目标视频帧中包括人脸；
[0014]生成模块，用于对所述目标视频帧进行人脸识别，并基于识别结果，生成目标视频；
[0015]推送模块，用于将所述目标视频推送给主播客户端进行播放。
[0016]第四方面，提供了一种直播卡顿处理装置，应用于主播客户端，包括：
[0017]接收模块，用于从服务器接收目标视频，其中，所述目标视频是根据对目标视频帧进行人脸识别所得到的识别结果生成，所述目标视频帧为直播视频的在卡顿前的视频帧，所述目标视频帧中包括人脸；
[0018]播放模块，用于播放所述目标视频。
[0019]第五方面，提供了一种电子设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤，或者如第二方面所述的方法的步骤。
[0020]第六方面，提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤，或者如第二方面所述的方法的步骤。
[0021]在本申请实施例中，当检测到直播画面卡顿时，可以获取目标视频帧，该目标视频帧为直播视频的在卡顿前的视频帧，该目标视频帧中包括人脸，并对目标视频帧进行人脸识别，基于识别结果，生成目标视频，将该目标视频推送给主播客户端进行播放。由此，可以在直播视频卡顿后，播放与当前主播相关的目标视频，即利用合成的真人视频替换卡顿的直播视频，从而减小直播卡顿给用户带来的影响，提升用户的观看体验。
附图说明
[0022]图1是本申请实施例提供的一种直播卡顿处理方法的流程图；
[0023]图2A是本申请实施例中提示人脸位置的示意图；
[0024]图2B是本申请实施例中提示音频内容的示意图；
[0025]图3是本申请实施例提供的另一种直播卡顿处理方法的流程图；
[0026]图4是本申请实施例提供的一种直播卡顿处理装置的结构示意图；
[0027]图5是本申请实施例提供的一种直播卡顿处理装置的结构示意图；
[0028]图6是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
[0029]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0030]本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
[0031]下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的直播卡顿处理方法、装置、电子设备及可读存储介质进行详细地说明。
[0032]请参见图1，图1是本申请实施例提供的一种直播卡顿处理方法的流程图，该方法应用于服务器，该服务器比如为直播后端系统等。如图1所示，该方法包括如下步骤：
[0033]步骤11：当检测到直播画面卡顿时，获取目标视频帧。
[0034]本实施例中，目标视频帧为直播视频的在卡顿前的视频帧，目标视频帧中包括人脸。即目标视频帧为直播视频的在卡顿前的包含人脸的视频帧。
[0035]一些实施例中，目标视频帧为直播视频中距卡顿开始时间点最近的、卡顿前的包含人脸的视频帧。比如在获取目标视频帧时，可以先截取卡顿前1秒的视频帧，形成图片，并通过预先训练的人工智能(Artificial Intelligence，AI)模型对形成的图片进行人脸识别，如果识别到人脸，则将截取的视频帧作为目标视频帧，而如果没有识别到人脸，则再截
取卡顿前2秒的视频帧，形成图片，并通过预先训练的AI模型对形成的图片进行人脸识别，以此类推直到找到包含人脸的视频帧，并将该包含人脸的视频帧作为目标视频帧。上述AI模型可以采用现有方法预先训练得到，对此不作限定。
[0036]步骤12：对目标视频帧进行人脸识别，并基于识别结果，生成目标视频。
[0037]本实施例中，在对目标视频帧进行人脸识别时，可以先将目标视频帧转换为静态图片，然后利用预先训练的模型对该静态图片进行人脸识别，以得到人脸的眼睛、鼻子和嘴巴等的特征值。之后，可以通过人像扣头技术等，结合识别得到的人脸的眼睛、鼻子和嘴巴等的特征值，生成目标视频，该目标视频比如为AI合成视频。相比于静态图片，在目标视频中，人眼可根据一个实时变化的眨眼系数A自然眨眼，眼球可根据一个实时变化的转动系数B自然转动，头部可根据一个实时变化的晃动系数C小幅度晃动，嘴巴可根据一个实时变化的张闭系数D自然张开关闭，像说话一样，等等，类似于真人视频。上述的眨眼系数A、转动系数B、晃动系数C和张闭系数D可以采用现有技术得到，只要能实现图片的人眼自然眨眼，眼球自然转动，头部微微晃动，嘴巴自然张开关闭，像说话一样即可，对此不作限定。
[0038]步骤13：将目标视频推送给主播客户端进行播放。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种直播卡顿处理方法，应用于服务器，其特征在于，包括：当检测到直播画面卡顿时，获取目标视频帧，所述目标视频帧为直播视频的在卡顿前的视频帧，所述目标视频帧中包括人脸；对所述目标视频帧进行人脸识别，并基于识别结果，生成目标视频；将所述目标视频推送给主播客户端进行播放。2.根据权利要求1所述的方法，其特征在于，当检测到直播画面卡顿时，所述方法还包括：确定所述直播视频的卡顿时间；其中，所述基于识别结果，生成目标视频，包括：根据所述识别结果以及所述卡顿时间，生成所述目标视频，所述目标视频的时长等于所述卡顿时间。3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：将所述目标视频中的人脸位置信息发送给所述主播客户端，由所述主播客户端基于所述人脸位置信息显示第一提示信息，所述第一提示信息用于提示所述目标视频中人脸的位置。4.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：向所述主播客户端发送第二提示信息，由所述主播客户端显示所述第二提示信息，所述第二提示信息用于提示当前直播画面正在卡顿，和/或提示主播进行声音直播。5.根据权利要求1所述的方法，其特征在于，当检测到直播画面和直播声音都卡顿时，所述基于识别结果，生成目标视频，包括：获取主播的音频；基于所述识别结果以及所述主播的音频，生成所述目标视频。6.根据权利要求5所述的方法，其特征在于，所述获取主播的音频，包括以下任一项：当所述直播视频的卡顿时间小于或等于第一阈值时，根据预设模型，生成所述主播的由语气助词组成的音频；当所述直播视频的卡顿时间大于所述第一阈值时，根据所述直播视频中的直播内容，确定直播场景，并根据所述直播场景以及预设模型，生成所述主播的与所述直播内容匹配的音频；获取预存储的主播音频。7.根据权利要求6所述的方法，其特征在于，当获取的主播的音频为预存储的主播音频时，所述目标视频满足以下任一项：当所述直播视频的卡顿时间小于或等于所述预存储的主播音频的时长时，所述目标视频的时长等于所述预存储的主播音频的时长；当所述直播视频的卡顿时间大于所述预存储的主播音频的时长时，所述目标视频的时长等于所述卡顿时间。8.根据权利要求5至7任一项所述的方法，其...

【专利技术属性】
技术研发人员：李瑞东，李琳，吴耀华，陈晓辉，李为，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：