人像分割方法、装置及电子设备制造方法及图纸

本申请实施例提供一种人像分割方法、装置及电子设备，通过将视频采集设备实时采集到的当前视频帧导入至预先训练得到的人像识别模型中进行识别，以得到当前视频帧对应的掩膜图像。并根据掩膜图像中的各个像素点的标识划定出当前视频帧中的人像区域，再将当前视频帧的人像区域与当前视频帧的上一视频帧的人像区域进行比对，确定当前视频帧的目标区域。如此，基于确定出的目标区域可对视频帧进行多样化的处理，以改善直播场景单一、直播效果不佳的问题。

【技术实现步骤摘要】
人像分割方法、装置及电子设备
本申请涉及互联网直播领域，具体而言，涉及一种人像分割方法、装置及电子设备。
技术介绍
随着互联网行业的发展，带动了视频直播行业的快速发展。目前，在视频直播领域，一般是基于主播的实时直播场景、直播动作及直播互动信息等生成直播视频流以实现视频直播。这种直播方式无法对视频直播效果进行多样化设置，难以满足用户多样化需求，存在直播场景单一的问题，直播效果不尽如人意。
技术实现思路
有鉴于此，本申请实施例的目的在于提供一种人像分割方法、装置及电子设备，以解决或者改善上述问题。根据本申请实施例的一个方面，提供一种人像分割方法，所述方法包括：将视频采集设备实时采集到的当前视频帧导入至预先训练得到的人像识别模型中进行识别，输出所述当前视频帧对应的掩膜图像；根据所述掩膜图像中的各个像素点的标识划定出所述当前视频帧中的人像区域；将所述当前视频帧的人像区域与所述当前视频帧的上一视频帧的人像区域进行比对，确定所述当前视频帧的目标区域；将所述当前视频帧的目标区域发送至直播接收终端。目标根据本申请实施例的另一方面，提供一种人像分割装置，所述装置包括：识别模块，用于将视频采集设备实时采集到的当前视频帧导入至预先训练得到的人像识别模型中进行识别，输出所述当前视频帧对应的掩膜图像；划定模块，用于根据所述掩膜图像中的各个像素点的标识划定出所述当前视频帧中的人像区域；确定模块，用于将所述当前视频帧的人像区域与所述当前视频帧的上一视频帧的人像区域进行比对，确定所述当前视频帧的目标区域；发送模块，用于将所述当前视频帧的目标区域发送至直播接收终端。根据本申请实施例的另一方面，提供一种电子设备，包括一个或多个存储介质和一个或多个与存储介质通信的处理器，一个或多个存储介质存储有处理器可执行的机器可执行指令，当电子设备运行时，处理器执行所述机器可执行指令，以执行上述的人像分割方法。根据本申请实施例的另一方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有机器可执行指令，所述机器可执行指令被执行时实现上述的人像分割方法。基于上述任一方面，本申请实施例通过将视频采集设备实时采集到的当前视频帧导入至预先训练得到的人像识别模型中进行识别，以得到当前视频帧对应的掩膜图像。并根据掩膜图像中的各个像素点的标识划定出当前视频帧中的人像区域，再将当前视频帧的人像区域与当前视频帧的上一视频帧的人像区域进行比对，确定当前视频帧的目标区域。如此，基于确定出的目标区域可对视频帧进行多样化的处理，以改善直播场景单一、直播效果不佳的问题。为使本申请实施例的上述目的、特征和优点能更明显易懂，下面将结合实施例，并配合所附附图，作详细说明。附图说明为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1为本申请实施例提供的直播系统的示意图。图2为本申请实施例提供的人像分割方法的流程图。图3为本申请实施例提供的人像识别模型的层级结构示意图。图4为图2中步骤210的子步骤的流程图。图5为本申请实施例提供的第一卷积层的层级结构示意图。图6为本申请实施例提供的第二卷积层的层级结构示意图。图7为本申请实施例提供的第三卷积层的层级结构示意图。图8为图2中步骤220的子步骤的流程图。图9为图2中步骤230的子步骤的流程图。图10为本申请实施例提供的电子设备的示例性组件示意图。图11为本申请实施例提供的人像分割装置的功能模块框图。图标：10-直播系统；100-直播提供终端；110-存储介质；120-处理器；130-人像分割装置；131-识别模块；132-划定模块；133-确定模块；134-发送模块；140-通信接口；200-直播服务器；300-直播接收终端；400-视频采集设备。具体实施方式为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请实施例的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。图1所示为本申请实施例提供的直播系统10的示意图，其中，该直播系统10可以是用于实现互联网直播的服务平台。该直播系统10可以包括直播提供终端100、直播服务器200、直播接收终端300。直播服务器200分别与直播提供终端100和直播接收终端300通信连接，用于为直播提供终端100以及直播接收终端300提供直播服务。例如，直播提供终端100可以将直播视频流发送给直播服务器200，观众可以通过直播接收终端300访问直播服务器200以观看直播视频。其中，直播服务器200推送的直播视频流可以是当前正在直播平台中直播的视频流或者直播完成后形成的完整视频流。可以理解，图1所示的直播系统10仅为一种可行的示例，在其它可行的实施例中，该直播系统10也可以仅包括图1所示组成部分的其中一部分或者还可以包括其它的组成部分。本实施例中，直播提供终端100和直播接收终端300可以是，但不限于，智能手机、个人数字助理、平板电脑、个人计算机、笔记本电脑、虚拟现实终端设备、增强现实终端设备等。其中，直播提供终端100和直播接收终端300中可以安装用于提供互联网直播服务的互联网产品，例如，互联网产品可以是计算机或智能手机中使用的与互联网直播服务相关的应用程序APP、Web网页、小程序等。本实施例中，直播系统10还可以包括用于采集主播视频帧的视频采集设备400，视频采集设备400可以是，但不限于摄像头、数码照相机的镜头、监控摄像头或者网络摄像头等。视频采集设备400可以直接安装或集成于直播提供终端100。例如，视频采集设备400可以是配置在直播提供终端100上的摄像头，直播提供终端100中的其他模块或组件可以经由内部总线接收从视频采集设备400处发送的视频、图像。或者，视频采集本文档来自技高网...

【技术保护点】
1.一种人像分割方法，其特征在于，所述方法包括：/n将视频采集设备实时采集到的当前视频帧导入至预先训练得到的人像识别模型中进行识别，输出所述当前视频帧对应的掩膜图像；/n根据所述掩膜图像中的各个像素点的标识划定出所述当前视频帧中的人像区域；/n将所述当前视频帧的人像区域与所述当前视频帧的上一视频帧的人像区域进行比对，确定所述当前视频帧的目标区域；/n将所述当前视频帧的目标区域发送至直播接收终端。/n

【技术特征摘要】
1.一种人像分割方法，其特征在于，所述方法包括：
将视频采集设备实时采集到的当前视频帧导入至预先训练得到的人像识别模型中进行识别，输出所述当前视频帧对应的掩膜图像；
根据所述掩膜图像中的各个像素点的标识划定出所述当前视频帧中的人像区域；
将所述当前视频帧的人像区域与所述当前视频帧的上一视频帧的人像区域进行比对，确定所述当前视频帧的目标区域；
将所述当前视频帧的目标区域发送至直播接收终端。


2.根据权利要求1所述的人像分割方法，其特征在于，所述人像识别模型根据预先采集的包含主播图像的样本图像通过神经网络模型训练而得到。


3.根据权利要求1所述的人像分割方法，其特征在于，所述人像识别模型包括第一网络层、第二网络层、第三网络层以及第四网络层；
所述将视频采集设备实时采集到的当前视频帧导入至预先训练得到的人像识别模型中进行识别，输出所述当前视频帧对应的掩膜图像的步骤，包括：
分别利用所述第一网络层和第二网络层对所述当前视频帧进行卷积操作，得到所述当前视频帧的特征图；
利用所述第三网络层对所述特征图进行特征提取及特征融合处理，得到所述当前视频帧的特征融合图像；
利用所述第四网络层对所述特征融合图像进行卷积操作及上采样操作，得到所述当前视频帧对应的掩膜图像。


4.根据权利要求3所述的人像分割方法，其特征在于，所述第一网络层包括多个第一卷积层及多个第二卷积层，第一卷积层和第二卷积层交替设置，相邻两个第一卷积层之间具有至少一个第二卷积层，所述第二网络层包括多个依次连接的第三卷积层；
所述分别利用所述第一网络层和第二网络层对所述当前视频帧进行卷积操作得到所述当前视频帧的特征图的步骤，包括：
将所述当前视频帧的图像依次输入所述第一网络层中的第一卷积层和第二卷积层进行卷积操作，得到第一特征图像；
将所述第一特征图像依次输入所述第二网络层中的多个第三卷积层进行卷积处理，得到所述当前视频帧的特征图；
其中，各所述第一卷积层对输入的图像进行卷积操作得到对应的第一卷积特征图，将该第一卷积特征图输出至该第一卷积层的下一卷积层；
各所述第二卷积层对输入的图像进行特征提取后得到第二卷积特征图，并将该第二卷积特征图以及输入该第二卷积层的图像一起输出至下一卷积层；
各所述第三卷积层对输入的图像进行卷积操作得到对应的第三卷积特征图，将该第三卷积特征图输出至该第三卷积层的下一卷积层。


5.根据权利要求3所述的人像分割方法，其特征在于，所述第三网络层包括多个第四卷积层以及一个第五卷积层；
所述利用所述第三网络层对所述当前视频帧的特征图进行特征提取及特征融合处理，得到所述当前视频帧的特征融合图像的步骤，包括：
将所述当前视频帧的特征图输入至各所述第四卷积层分别进行特征提取处理得到多个第四卷积特征图，并将得到的各第四卷积特征图输出至所述第五卷积层；
所述第五卷积层对各所述第四卷积特征图进行特征融合处理，得到所述当前视频帧的特征融合图像。


6.根据权利要求4所述的人像分割方法，其特征在于，所述第四网络层包括上采样层以及第六卷积层，该第六卷积层分别连接至所述上采样层以及所述第一网络层中的其中一个第一卷积层或其中一个第二卷积层；
所述利用所述第四网络层对所述当前视频帧的特征融合图像进行卷积操作及上采样操作，得到所述当前视频帧对应的掩膜图像的步骤，包括：
将所述当前视频帧的特征融合图像输入所述上采样层进行上采样操作得到采样图像并输出至所述第六卷积层；
所述第六卷积层接收所连接的第一卷积层输出的第一卷积特征图或第二卷积层输出的第二卷积特征图以及所述上采样层输出的采样图像，对接收到的图像进行...

【专利技术属性】
技术研发人员：李益永，叶海佳，吴晓东，林哲，任高生，
申请(专利权)人：广州虎牙信息科技有限公司，
类型：发明
国别省市：广东;44