本申请公开一种直播封面图像提取方法及其装置、设备、介质，所述方法包括：从直播视频流中获取多个人脸区域图像；同步确定每个人脸区域图像对应多个评价维度的多个评价分值，将多个评价分值汇总为相应人脸区域图像的综合评分；根据所述综合评分筛选出人脸区域图像用于确定所述直播视频流的封面图像。通过多个评价维度来综合衡量人脸区域图像的优劣，更为全面系统，能够有效确定出优质的人脸区域图像，据此制作出的封面图像，更具代表性，更能承载直播视频流的主播用户的形象信息，以此构造的直播封面，可以获得更大的用户流量，起到有效推广的作用，从而活跃网络直播平台的交互。从而活跃网络直播平台的交互。从而活跃网络直播平台的交互。
【技术实现步骤摘要】
直播封面图像提取方法及其装置、设备、介质
[0001]本申请涉及网络直播
，尤其涉及一种直播封面图像提取方法及其相应的装置、电子设备以及计算机可读存储介质。
技术介绍
[0002]网络直播场景中，主播用户向直播间推送视频流，实现才艺展示、信息分享、知识教育等应用目的，使主播用户通过这些活动参与社会劳动获取收益，促进整体社会效益。
[0003]为直播间生成推广入口，使用户通过推广入口观看直播间的直播视频流，吸引用户进入直播间，既为用户提供便利，又能促进网络直播活动的发展，能够全面提升社会效益。
[0004]直播间的推广入口通常以直播封面的形式进行展示，直播封面的主体是封面图像，优质的封面图像，能够吸引更多用户的关注，促进相应直播间的用户流量的提升。
[0005]传统技术制作的封面图像，通常未考虑封面图像的综合质量，只是根据某种条件从直播间的直播视频流中截取相关图像帧，直接将图像帧作为所述直播视频流的封面图像，导致封面图像质量参差不齐，难以发挥直播间信息载体的作用，自然也难以起到为直播间吸引用户流量的作用。
[0006]由此可见，为直播封面制作封面图像的技术仍有提升的空间，需要探索其他可行的方式，以便为直播间的直播封面获取优质的封面图像。
技术实现思路
[0007]本申请的首要目的在于解决上述问题至少之一而提供一种直播封面图像提取方法及其相应的装置、电子设备以及计算机可读存储介质。
[0008]为满足本申请的各个目的，本申请采用如下技术方案：
[0009]适应本申请的目的之一而提出的一种直播封面图像提取方法，包括如下步骤：
[0010]从直播视频流中获取多个人脸区域图像；
[0011]同步确定每个人脸区域图像对应多个评价维度的多个评价分值，将多个评价分值汇总为相应人脸区域图像的综合评分；
[0012]根据所述综合评分筛选出人脸区域图像用于确定所述直播视频流的封面图像。
[0013]可选的，从直播视频流中获取多个人脸区域图像，包括：
[0014]基于所述直播视频流的图像帧进行人脸检测，确定其中携带人脸内容的多个目标图像帧以及其中人脸区域相对应的选择框；
[0015]根据所述选择框从相应的目标图像帧中提取出其中的区域图像；
[0016]对所述多个区域图像的人脸特征向量进行聚类，从聚类得到的多个簇类中确定最大簇类，将最大簇类中的区域图像作为人脸区域图像。
[0017]可选的，根据所述选择框从相应的目标图像帧中提取出其中的区域图像，包括：
[0018]根据所述选择框从相应的目标图像帧中提取出相应的区域图像，对所述区域图像
实施超分辨增强处理；
[0019]对经过超分辨率增强处理的所述区域图像中的人脸内容进行姿态矫正处理。
[0020]可选的，同步确定每个人脸区域图像对应多个评价维度的多个评价分值，将多个评价分值汇总为相应人脸区域图像的综合评分，包括：
[0021]将每个人脸区域图像输入人像评分模型的图像编码器中提取出其图像特征信息；
[0022]将所述图像特征信息同步通过所述人像评分模型中对应多个评价维度设置的多个分类器，确定出每个评价维度相对应的评价分值；
[0023]将每个人脸区域图像相对应的所述多个评价分值融合为相应人脸区域图像的综合评分。
[0024]可选的，从直播视频流中获取多个人脸区域图像之前，包括：
[0025]调用训练数据集中的训练样本输入所述人像评分模型，预测出其映射到所述多个评价维度相对应的分类器的分类结果，其中部分训练样本为人脸区域图像；
[0026]采用与所述训练样本相映射的对应多个评价维度提供的多个监督标签，对应计算各个分类结果的分类损失值；所述多个评价维度，包括如下任意数量的多个维度：表征训练样本中的人脸图像是否属于真人的第一维度、表征训练样本中的人脸图像是否为大头照的第二维度、表征训练样本中的人脸图像是否为优质图像的第三维度、表征训练样本中的人脸图像是否完整的第四维度、表征训练样本中的人脸图像是否被覆盖的第五维度、表征训练样本中的人脸图像是否属于人脸正面的第六维度、表征训练样本中的人脸图像是否包含微笑表情的第七维度；
[0027]将各个所述分类损失值融合为总损失值，根据所述总损失值对所述人像评分模型实施梯度更新，直至将所述人像评分模型迭代训练至收敛状态为止。
[0028]可选的，根据所述综合评分筛选出人脸区域图像用于确定所述直播视频流的封面图像，包括：
[0029]筛选出所述综合评分高于预设阈值的多个人脸区域图像作为目标人脸图像；
[0030]对应直播封面的尺寸规格，从所述目标人脸图像的来源图像帧中裁剪出包含所述目标人脸图像的截图；
[0031]将各个截图推送至所述直播视频流所属的主播用户的终端设备；
[0032]获取所述主播用户指定的截图，将其设置为所述直播视频流的封面图像。
[0033]可选的，根据所述综合评分筛选出人脸区域图像用于确定所述直播视频流的封面图像，包括：
[0034]筛选出所述综合评分最高的人脸区域图像作为目标人脸图像；
[0035]将所述目标人脸图像进行预设倍数的超分辨率增强，获得增强人脸图像；
[0036]将所述目标人脸图像的来源图像帧进行所述预设倍数的超分辨率增强，获得增强来源图像帧；
[0037]根据位置对应关系将所述增强人脸图像覆盖合成至所述增强来源图像帧，获得优质图像帧；
[0038]对应直播封面的尺寸规格，从所述优质图像帧中裁剪出包含所述目标人脸图像的截图设置为所述直播视频流的封面图像。
[0039]适应本申请的目的之一而提供的一种直播封面图像提取装置，包括：
[0040]人脸图像获取模块，设置为从直播视频流中获取多个人脸区域图像；
[0041]多维同步评分模块，设置为同步确定每个人脸区域图像对应多个评价维度的多个评价分值，将多个评价分值汇总为相应人脸区域图像的综合评分；
[0042]直播封面筛选模块，设置为根据所述综合评分筛选出人脸区域图像用于确定所述直播视频流的封面图像。
[0043]适应本申请的目的之一而提供的一种电子设备，包括中央处理器和存储器，所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行本申请所述的直播封面图像提取方法的步骤。
[0044]适应本申请的另一目的而提供的一种计算机可读存储介质，其以计算机可读指令的形式存储有依据所述的直播封面图像提取方法所实现的计算机程序，该计算机程序被计算机调用运行时，执行该方法所包括的步骤。
[0045]适应本申请的另一目的而提供的一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现本申请任意一种实施例中所述方法的步骤。
[0046]相对于现有技术，本申请先从直播视频流中提取多个人脸区域图像，然后通过同步确定各个人脸区域图像在多个评价维度相对应的本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种直播封面图像提取方法，其特征在于，包括如下步骤：从直播视频流中获取多个人脸区域图像；同步确定每个人脸区域图像对应多个评价维度的多个评价分值，将多个评价分值汇总为相应人脸区域图像的综合评分；根据所述综合评分筛选出人脸区域图像用于确定所述直播视频流的封面图像。2.根据权利要求1所述的直播封面图像提取方法，其特征在于，从直播视频流中获取多个人脸区域图像，包括：基于所述直播视频流的图像帧进行人脸检测，确定其中携带人脸内容的多个目标图像帧以及其中人脸区域相对应的选择框；根据所述选择框从相应的目标图像帧中提取出其中的区域图像；对所述多个区域图像的人脸特征向量进行聚类，从聚类得到的多个簇类中确定最大簇类，将最大簇类中的区域图像作为人脸区域图像。3.根据权利要求2所述的直播封面图像提取方法，其特征在于，根据所述选择框从相应的目标图像帧中提取出其中的区域图像，包括：根据所述选择框从相应的目标图像帧中提取出相应的区域图像，对所述区域图像实施超分辨增强处理；对经过超分辨率增强处理的所述区域图像中的人脸内容进行姿态矫正处理。4.根据权利要求1所述的直播封面图像提取方法，其特征在于，同步确定每个人脸区域图像对应多个评价维度的多个评价分值，将多个评价分值汇总为相应人脸区域图像的综合评分，包括：将每个人脸区域图像输入人像评分模型的图像编码器中提取出其图像特征信息；将所述图像特征信息同步通过所述人像评分模型中对应多个评价维度设置的多个分类器，确定出每个评价维度相对应的评价分值；将每个人脸区域图像相对应的所述多个评价分值融合为相应人脸区域图像的综合评分。5.根据权利要求3所述的直播封面图像提取方法，其特征在于，从直播视频流中获取多个人脸区域图像之前，包括：调用训练数据集中的训练样本输入所述人像评分模型，预测出其映射到所述多个评价维度相对应的分类器的分类结果，其中部分训练样本为人脸区域图像；采用与所述训练样本相映射的对应多个评价维度提供的多个监督标签，对应计算各个分类结果的分类损失值；将各个所述分类损失值融合为总损失值，根据所述总损失值...
【专利技术属性】
技术研发人员：郑康元，宫凯程，陈增海，王璞，
申请(专利权)人：广州方硅信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。