本申请公开一种直播图像用人体关键点检测方法及其装置、设备、介质，所述方法包括：获取包含人体图像的原始图像，所述人体图像因局部超出所述原始图像的边界而表现为非完整形态；采用边界评估模型的预测网络确定出容纳所述人体图像的完整形态所需填充范围的裁切范围信息；采用所述边界评估模型的填充网络根据所述裁切范围信息为所述原始图像的对应区域填充图像信息，获得修正图像；采用人体关键点检测模型确定所述修正图像的人体关键点信息。本申请可以根据所述修正图像准确地提取出所述原始图像中的人体图像相对应的全部人体关键点信息，使网络直播之类的场景基于所述人体关键点信息处理图像时能够获得良好的交互体验。验。验。
【技术实现步骤摘要】
直播图像用人体关键点检测方法及其装置、设备、介质
[0001]本申请涉及网络直播
，尤其涉及一种适用于直播图像的人体关键点检测方法及其相应的装置、计算机设备以及计算机可读存储介质。
技术介绍
[0002]在处理人体图像时，常需识别人体关键点，以便根据人体关键点正确处理好人体各部分的关系，从而辅助实现人体三维建模或者辅助实现图像修正等，可见，人体关键点的正确获取是非常基础的技术。
[0003]示例性的网络直播场景中，在正确获取直播视频流中人体图像的人体关键点信息的情况下，可以根据人体关键点的对应关系，将直播视频流中的人体活动姿态迁移到数字人的三维模型中，从而提升交互体验，使网络直播可以获得更为宽广的应用，例如虚拟授课、虚拟表演、虚拟对话等等，从而获得更为巨大的社会经济效益。
[0004]现实中，赖以提取人体关键点的一些图像，由于摄像角度或者其他格式化处理的等问题，常导致其中的人体图像内容有所残缺，导体人体关键点检测模型无法提取出完整的人体关键点信息，进而导致下游业务在所得人体图像形态不全的情况下，难以获得符合预期的图像处理结果，因而，对图像中人体形态完整性相对应的空间冗余的处理是获取人体关键点信息以驱动各种下游业务的重中之重。
[0005]传统技术中，对于人体图像残缺的情况，常采用定值确定填充区域的方式，对图像中缺失人体关键点相对应的范围进行定值扩充，整个过程未考虑人体图像提供的语义，因而，在协助人体关键点检测模型正确预测人体关键点信息方面所起作用有限，依然无法满足需求。有鉴于此，需要提出更有效的解决方案。
技术实现思路
[0006]本申请的首要目的在于解决上述问题至少之一而提供一种适用于直播图像的人体关键点检测方法及其相应的装置、计算机设备以及计算机可读存储介质。
[0007]为满足本申请的各个目的，本申请采用如下技术方案：
[0008]适应本申请的目的之一而提出的一种人体关键点检测方法，包括如下步骤：
[0009]获取包含人体图像的原始图像，所述人体图像因局部超出所述原始图像的边界而表现为非完整形态；
[0010]采用边界评估模型的预测网络确定出容纳所述人体图像的完整形态所需填充范围的裁切范围信息；
[0011]采用所述边界评估模型的填充网络根据所述裁切范围信息为所述原始图像的对应区域填充图像信息，获得修正图像；
[0012]采用人体关键点检测模型确定所述修正图像的人体关键点信息。
[0013]可选的，获取包含人体图像的原始图像，包括：
[0014]获取网络直播产生的视频流中的图像帧；
[0015]检测所述图像帧中是否存在人脸信息，当存在人脸信息时，将所述图像帧作为目标图像；
[0016]获取所述目标图像中的人体图像，判断所述人体图像是否为完整形态，当为非完整形态时，将所述目标图像作为所述原始图像。
[0017]可选的，获取包含人体图像的原始图像之前，包括：
[0018]采用第一样本图像训练所述人体关键点检测模型至收敛，在训练过程中采用与所述第一样本图像相对应的人体关键点信息监督所述人体关键点检测模型预测出的人体关键点信息，其中，第一样本图像中包含有人体图像，所述人体图像处于完整形态；
[0019]采用第二样本图像训练所述边界评估模型至收敛，在训练过程中采用与所述第二样本图像对照其原图所确定的裁切范围信息监督所述边界评估模型预测出的裁切范围信息，其中，第二样本图像与其原图均包含有同一人体图像，第二样本图像的人体图像属于非完整形态，而其原图的人体图像属于完整形态。
[0020]可选的，采用第二样本图像训练所述边界评估模型至收敛之后，包括：
[0021]将所述边界评估模型后接所述人体关键点检测模型构成联合模型，采用第二样本图像输入所述联合模型实施训练；
[0022]根据所述第二样本图像相对应的人体关键点信息计算所述联合模型中由人体关键点检测模型预测出的人体关键点信息的相似损失值；
[0023]根据所述第二样本图像对照其原图的裁切范围信息计算所述联合模型中由边界评估模型的预测网络预测出的裁切范围信息的相似损失值；
[0024]将各个所述相似损失值汇总为所述联合模型的总体损失值，根据所述总体损失值对所述联合模型实施梯度更新。
[0025]可选的，采用第二样本图像训练所述边界评估模型至收敛，包括：
[0026]获取训练数据集中的第二样本图像及对照其原图确定的裁切范围信息，所述原图中包含有呈完整形态的人体图像，第二样本图像根据其原图局部裁切获得而使人体图像得到非完整形态；
[0027]将所述第二样本图像输入所述边界评估模型中，由其预测网络对所述第二样本图像提取出图像特征信息后，预测出容纳所述人体图像的完整形态所需填充范围相对应的裁切范围信息；
[0028]计算所述第二样本图像相对应的裁切范围信息与预测网络预测出的裁切范围信息之间的相似损失值，根据所述相似损失值对所述边界评估模型实施梯度更新。
[0029]可选的，获取训练数据集中的第二样本图像及其相应的第二监督图像之前，包括：
[0030]获取基础数据集，其中包含多个素材图像，所述素材图像中包含有人体图像，所述人体图像处于完整形态；
[0031]采用人体关键点检测模型检测出所述素材图像中的人体关键点信息，确定包围全部人体关键点的外框；
[0032]随机生成作用于至少一个图像边相对应的裁切比例，根据所述裁切比例对所述素材图像进行裁切，裁切掉所述外框所覆盖的部分范围，且控制所述外框内被裁切掉的部分范围与整个外框所覆盖的全部范围的占比不超过预设比例，获得第二样本图像；
[0033]将所述裁切比例表示为所述第二样本图像的裁切范围信息，将所述裁切范围信息
与所述第二样本图像构成映射关系数据，存储于训练数据集中。
[0034]可选的，采用人体关键点检测模型确定所述修正图像的人体关键点信息之后，包括：
[0035]将所述人体关键点信息应用于预设的数字人的三维模型，控制所述数字人切换到相应的活动姿态；
[0036]渲染所述三维模型，获得所述数字人的姿态图像；
[0037]将所述姿态图像推送到网络直播间显示。
[0038]适应本申请的目的之一而提供的一种人体关键点检测装置，包括：
[0039]图像获取模块，设置为获取包含人体图像的原始图像，所述人体图像因局部超出所述原始图像的边界而表现为非完整形态；
[0040]范围确定模块，设置为采用边界评估模型的预测网络确定出容纳所述人体图像的完整形态所需填充范围的裁切范围信息；
[0041]填充处理模块，设置为采用所述边界评估模型的填充网络根据所述裁切范围信息为所述原始图像的对应区域填充图像信息，获得修正图像；
[0042]关键点确定模块，设置为采用人体关键点检测模型确定所述修正图像的人体关键点信息。
[0043]适应本申请的目的之一而提供的一本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种人体关键点检测方法，其特征在于，包括如下步骤：获取包含人体图像的原始图像，所述人体图像因局部超出所述原始图像的边界而表现为非完整形态；采用边界评估模型的预测网络确定出容纳所述人体图像的完整形态所需填充范围的裁切范围信息；采用所述边界评估模型的填充网络根据所述裁切范围信息为所述原始图像的对应区域填充图像信息，获得修正图像；采用人体关键点检测模型确定所述修正图像的人体关键点信息。2.根据权利要求1所述的人体关键点检测方法，其特征在于，获取包含人体图像的原始图像，包括：获取网络直播产生的视频流中的图像帧；检测所述图像帧中是否存在人脸信息，当存在人脸信息时，将所述图像帧作为目标图像；获取所述目标图像中的人体图像，判断所述人体图像是否为完整形态，当为非完整形态时，将所述目标图像作为所述原始图像。3.根据权利要求1所述的人体关键点检测方法，其特征在于，获取包含人体图像的原始图像之前，包括：采用第一样本图像训练所述人体关键点检测模型至收敛，在训练过程中采用与所述第一样本图像相对应的人体关键点信息监督所述人体关键点检测模型预测出的人体关键点信息，其中，第一样本图像中包含有人体图像，所述人体图像处于完整形态；采用第二样本图像训练所述边界评估模型至收敛，在训练过程中采用与所述第二样本图像对照其原图所确定的裁切范围信息监督所述边界评估模型预测出的裁切范围信息，其中，第二样本图像与其原图均包含有同一人体图像，第二样本图像的人体图像属于非完整形态，而其原图的人体图像属于完整形态。4.根据权利要求3所述的人体关键点检测方法，其特征在于，采用第二样本图像训练所述边界评估模型至收敛之后，包括：将所述边界评估模型后接所述人体关键点检测模型构成联合模型，采用第二样本图像输入所述联合模型实施训练；根据所述第二样本图像相对应的人体关键点信息计算所述联合模型中由人体关键点检测模型预测出的人体关键点信息的相似损失值；根据所述第二样本图像对照其原图的裁切范围信息计算所述联合模型中由边界评估模型的预测网络预测出的裁切范围信息的相似损失值；将各个所述相似损失值汇总为所述联合模型的总体损失值，根据所述总体损失值对所述联合模型实施梯度更新。5.根据权利要求3所述的人体关键点检测方法，其特征在于，采用第二样本图像训练所述边界评估模型至收敛，包括：获取训练数据集中的第二样本图像及对照其原图确定的裁切范围信息，所述原图中包含有呈完整形态的人体图像，第二样本图像根据其原图局部裁切获得而使人体图像得到非完整形态；
将所述第二样本图像输入所述边界评估模型中...
【专利技术属性】
技术研发人员：任高生，
申请(专利权)人：广州方硅信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。