基于自适应跟踪框分割的直播服饰装扮方法及装置制造方法及图纸

本发明专利技术公开了一种基于自适应跟踪框分割的直播服饰装扮方法及装置，该方法包括：基于与第t‑1帧图像对应的跟踪框得到与第t帧图像对应的跟踪框，并利用该跟踪框对第t帧图像进行场景分割；根据分割结果，确定第二前景图像，并确定肢体区域；根据用户选择的服饰装扮，对肢体区域添加装扮效果，得到处理后的第t帧图像；将处理后的第t帧图像覆盖第t帧图像得到处理后的视频数据。该方案能够根据由分割结果所得到的前景图像，准确地确定人物的肢体区域，从而精准地对人物的肢体区域添加服饰装扮效果，提高了直播服饰与人物的融合性，有助于提高视觉效果。

【技术实现步骤摘要】
基于自适应跟踪框分割的直播服饰装扮方法及装置
本专利技术涉及图像处理
，具体涉及一种基于自适应跟踪框分割的直播服饰装扮方法、装置、计算设备及计算机存储介质。
技术介绍
随着互联网技术的不断发展，人们日常的娱乐活动也越来越丰富，例如，越来越多的人喜欢通过直播平台在线观看主播提供的视频节目等。主播在直播过程中为了更好地与观看直播的观众进行互动，增加直播趣味性，经常需要更换虚拟的直播服饰。现有技术中的直播服饰装扮方式一般是将主播所选择的直播服饰添加在主播身上，以获得装扮效果，然而这种直播服饰装扮方式并没有很好地将直播服饰与主播的肢体区域进行切合，仅是简单地添加在主播身上，直播服饰与人物的融合性较差，影响视觉效果。
技术实现思路
鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的基于自适应跟踪框分割的直播服饰装扮方法、装置、计算设备及计算机存储介质。根据本专利技术的一个方面，提供了一种基于自适应跟踪框分割的直播服饰装扮方法，该方法用于对视频中每隔n帧划分得到的各组帧图像进行处理，针对其中一组帧图像，该方法包括：获取一组帧图像中包含有特定对象的第t帧图像以及与第t-1帧图像对应的跟踪框，其中t大于1；与第1帧图像对应的跟踪框是根据与第1帧图像对应的分割结果所确定的；依据第t帧图像，对与第t-1帧图像对应的跟踪框进行调整处理，得到与第t帧图像对应的跟踪框；根据与第t帧图像对应的跟踪框，对第t帧图像的部分区域进行场景分割处理，得到与第t帧图像对应的分割结果；根据与第t帧图像对应的分割结果，确定第t帧图像的第二前景图像，并依据第二前景图像，确定第二前景图像中的肢体区域；根据用户选择的服饰装扮，对肢体区域添加装扮效果，得到处理后的第t帧图像；将处理后的第t帧图像覆盖第t帧图像得到处理后的视频数据；显示处理后的视频数据。进一步地，根据用户选择的服饰装扮，对肢体区域添加装扮效果，得到处理后的第t帧图像进一步包括：根据用户选择的服饰装扮，确定与服饰装扮对应的基础服饰装扮效果贴图；从肢体区域中提取出肢体区域的关键信息；根据肢体区域的关键信息，对基础服饰装扮效果贴图进行处理，得到服饰装扮效果贴图；根据肢体区域的关键信息，将服饰装扮效果贴图与第二前景图像进行融合处理，得到处理后的第t帧图像。进一步地，关键信息为关键点信息；根据肢体区域的关键信息，对基础服饰装扮效果贴图进行处理进一步包括：根据关键点信息，计算具有对称关系的至少两个关键点之间的位置信息；依据位置信息中的距离信息，对基础服饰装扮效果贴图进行缩放处理；和/或，依据位置信息中的旋转角度信息，对基础服饰装扮效果贴图进行旋转处理。进一步地，根据肢体区域的关键信息，将服饰装扮效果贴图与第二前景图像进行融合处理，得到处理后的第t帧图像进一步包括：根据肢体区域的关键信息，确定与服饰装扮效果贴图对应的融合位置信息；按照融合位置信息，将服饰装扮效果贴图与第二前景图像进行融合处理，得到处理后的第t帧图像。进一步地，该方法还包括：从视频中选取包含特定对象的帧图像，将帧图像确定为待识别帧图像；对待识别帧图像进行分析，确定待推荐服饰装扮；向用户推荐待推荐服饰装扮。进一步地，对待识别帧图像进行分析，确定待推荐服饰装扮进一步包括：对待识别帧图像进行场景分割处理，得到针对特定对象的待识别区域图像；对待识别区域图像进行识别，得到特定对象的特征信息；利用预设匹配规则将特征信息与直播服饰装扮进行匹配，确定待推荐服饰装扮。进一步地，依据第t帧图像，对与第t-1帧图像对应的跟踪框进行调整处理进一步包括：对第t帧图像进行识别处理，确定第t帧图像中针对特定对象的第一前景图像；将与第t-1帧图像对应的跟踪框应用于第t帧图像；根据第t帧图像中的第一前景图像，对与第t-1帧图像对应的跟踪框进行调整处理。进一步地，根据第t帧图像中的第一前景图像，对与第t-1帧图像对应的跟踪框进行调整处理进一步包括：计算第t帧图像中属于第一前景图像的像素点在与第t-1帧图像对应的跟踪框中所有像素点中所占的比例，将比例确定为第t帧图像的第一前景像素比例；获取第t-1帧图像的第二前景像素比例，其中，第t-1帧图像的第二前景像素比例为第t-1帧图像中属于第一前景图像的像素点在与第t-1帧图像对应的跟踪框中所有像素点中所占的比例；计算第t帧图像的第一前景像素比例与第t-1帧图像的第二前景比例之间的差异值；判断差异值是否超过预设差异阈值；若是，则根据差异值，对与第t-1帧图像对应的跟踪框的大小进行调整处理。进一步地，根据第t帧图像中的第一前景图像，对与第t-1帧图像对应的跟踪框进行调整处理进一步包括：计算第t帧图像中的第一前景图像距离与第t-1帧图像对应的跟踪框的各边框的距离；根据距离和预设距离阈值，对与第t-1帧图像对应的跟踪框的大小进行调整处理。进一步地，根据第t帧图像中的第一前景图像，对与第t-1帧图像对应的跟踪框进行调整处理进一步包括：根据第t帧图像中的第一前景图像，确定第t帧图像中的第一前景图像的中心点位置；依据第t帧图像中的第一前景图像的中心点位置，对与第t-1帧图像对应的跟踪框的位置进行调整处理，以使与第t-1帧图像对应的跟踪框的中心点位置与第t帧图像中的第一前景图像的中心点位置重合。进一步地，根据与第t帧图像对应的跟踪框，对第t帧图像的部分区域进行场景分割处理，得到与第t帧图像对应的分割结果进一步包括：根据与第t帧图像对应的跟踪框，从第t帧图像的部分区域提取出待分割图像；对待分割图像进行场景分割处理，得到与待分割图像对应的分割结果；依据与待分割图像对应的分割结果，得到与第t帧图像对应的分割结果。进一步地，根据与第t帧图像对应的跟踪框，从第t帧图像的部分区域提取出待分割图像进一步包括：从第t帧图像中提取出与第t帧图像对应的跟踪框中的图像，将提取出的图像确定为待分割图像。进一步地，对待分割图像进行场景分割处理，得到与待分割图像对应的分割结果进一步包括：将待分割图像输入至场景分割网络中，得到与待分割图像对应的分割结果。进一步地，显示处理后的视频数据进一步包括：将处理后的视频数据实时显示；该方法还包括：将处理后的视频数据上传至云服务器。进一步地，将处理后的视频数据上传至云服务器进一步包括：将处理后的视频数据上传至云视频平台服务器，以供云视频平台服务器在云视频平台进行展示视频数据。进一步地，将处理后的视频数据上传至云服务器进一步包括：将处理后的视频数据上传至云直播服务器，以供云直播服务器将视频数据实时推送给观看用户客户端。进一步地，将处理后的视频数据上传至云服务器进一步包括：将处理后的视频数据上传至云公众号服务器，以供云公众号服务器将视频数据推送给公众号关注客户端。根据本专利技术的另一方面，提供了一种基于自适应跟踪框分割的直播服饰装扮装置，该装置用于对视频中每隔n帧划分得到的各组帧图像进行处理，该装置包括：获取模块，适于获取一组帧图像中包含有特定对象的第t帧图像以及与第t-1帧图像对应的跟踪框，其中t大于1；与第1帧图像对应的跟踪框是根据与第1帧图像对应的分割结果所确定的；分割模块，适于依据第t帧图像，对与第t-1帧图像对应的跟踪框进行调整处理，得到与第t帧图像对应的跟踪框；根据与第t帧图像对应的跟踪框，对第t帧本文档来自技高网...

【技术保护点】
一种基于自适应跟踪框分割的直播服饰装扮方法，所述方法用于对视频中每隔n帧划分得到的各组帧图像进行处理，针对其中一组帧图像，所述方法包括：获取所述一组帧图像中包含有特定对象的第t帧图像以及与第t‑1帧图像对应的跟踪框，其中t大于1；与第1帧图像对应的跟踪框是根据与第1帧图像对应的分割结果所确定的；依据第t帧图像，对与第t‑1帧图像对应的跟踪框进行调整处理，得到与第t帧图像对应的跟踪框；根据与第t帧图像对应的跟踪框，对所述第t帧图像的部分区域进行场景分割处理，得到与第t帧图像对应的分割结果；根据与第t帧图像对应的分割结果，确定第t帧图像的第二前景图像，并依据所述第二前景图像，确定所述第二前景图像中的肢体区域；根据用户选择的服饰装扮，对所述肢体区域添加装扮效果，得到处理后的第t帧图像；将所述处理后的第t帧图像覆盖所述第t帧图像得到处理后的视频数据；显示处理后的视频数据。

【技术特征摘要】
1.一种基于自适应跟踪框分割的直播服饰装扮方法，所述方法用于对视频中每隔n帧划分得到的各组帧图像进行处理，针对其中一组帧图像，所述方法包括：获取所述一组帧图像中包含有特定对象的第t帧图像以及与第t-1帧图像对应的跟踪框，其中t大于1；与第1帧图像对应的跟踪框是根据与第1帧图像对应的分割结果所确定的；依据第t帧图像，对与第t-1帧图像对应的跟踪框进行调整处理，得到与第t帧图像对应的跟踪框；根据与第t帧图像对应的跟踪框，对所述第t帧图像的部分区域进行场景分割处理，得到与第t帧图像对应的分割结果；根据与第t帧图像对应的分割结果，确定第t帧图像的第二前景图像，并依据所述第二前景图像，确定所述第二前景图像中的肢体区域；根据用户选择的服饰装扮，对所述肢体区域添加装扮效果，得到处理后的第t帧图像；将所述处理后的第t帧图像覆盖所述第t帧图像得到处理后的视频数据；显示处理后的视频数据。2.根据权利要求1所述的方法，其中，所述根据用户选择的服饰装扮，对所述肢体区域添加装扮效果，得到处理后的第t帧图像进一步包括：根据用户选择的服饰装扮，确定与所述服饰装扮对应的基础服饰装扮效果贴图；从所述肢体区域中提取出所述肢体区域的关键信息；根据所述肢体区域的关键信息，对所述基础服饰装扮效果贴图进行处理，得到服饰装扮效果贴图；根据所述肢体区域的关键信息，将所述服饰装扮效果贴图与所述第二前景图像进行融合处理，得到处理后的第t帧图像。3.根据权利要求1或2所述的方法，其中，所述关键信息为关键点信息；所述根据所述肢体区域的关键信息，对所述基础服饰装扮效果贴图进行处理进一步包括：根据所述关键点信息，计算具有对称关系的至少两个关键点之间的位置信息；依据所述位置信息中的距离信息，对所述基础服饰装扮效果贴图进行缩放处理；和/或，依据所述位置信息中的旋转角度信息，对所述基础服饰装扮效果贴图进行旋转处理。4.根据权利要求1-3任一项所述的方法，其中，所述根据所述肢体区域的关键信息，将所述服饰装扮效果贴图与所述第二前景图像进行融合处理，得到处理后的第t帧图像进一步包括：根据所述肢体区域的关键信息，确定与所述服饰装扮效果贴图对应的融合位置信息；按照所述融合位置信息，将所述服饰装扮效果贴图与所述第二前景图像进行融合处理，得到处理后的第t帧图像。5.根据权利要求1-4任一项所述的方法，其中，所述方法还包括：从所述视频中选取包含特定对象的帧图像，将所述...

【专利技术属性】
技术研发人员：赵鑫，邱学侃，颜水成，
申请(专利权)人：北京奇虎科技有限公司，
类型：发明
国别省市：北京,11