视频流处理方法、视频流显示方法、装置及设备制造方法及图纸

本申请公开了一种视频流处理方法、视频流显示方法、装置及设备，属于音视频处理技术领域。所述方法包括：获取主播帐号的第一视频流中的第一视频帧；识别第一视频帧中的不整齐牙齿，不整齐牙齿包括多颗牙齿中的至少一颗牙齿；响应于第一视频帧中包括不整齐牙齿，校正第一视频帧中的不整齐牙齿得到第二视频帧，第二视频帧中包括对不整齐牙齿进行矫正得到的目标整齐牙齿。在根据该第二视频帧显示视频画面时，能够显示出对主播的形象进行进一步美化的画面，提升了显示的人脸的美颜效果。

【技术实现步骤摘要】
视频流处理方法、视频流显示方法、装置及设备
本申请涉及音视频处理
，特别涉及一种视频流处理方法、视频流显示方法、装置及设备。
技术介绍
在直播平台中，主播客户端将采集到的主播用户的直播流经由直播服务器发送给多个观众客户端。观众客户端根据该直播流，显示主播用户的直播画面。当主播用户开启美颜功能后，主播客户端在采集到主播用户的直播流时，会对该直播流进行美颜处理。例如会对直播流的视频帧中的主播人脸进行眼睛放大、皮肤美白以及瘦脸等。之后主播客户端将美颜处理后的直播流经由直播服务器发送给观众客户端，观众客户端根据美颜处理后的直播流显示包括美颜后的主播人脸的直播画面。目前，主播客户端对主播用户的直播流的美颜处理，通常采用以上方式。显示的主播人脸的美颜效果有限。
技术实现思路
本申请提供了一种视频流处理方法、视频流显示方法、装置及设备，可以提升显示的人脸的美颜效果。所述技术方案如下：根据本申请的一方面，提供了一种视频流处理方法，所述方法包括：获取主播帐号的第一视频流中的第一视频帧；识别所述第一本文档来自技高网...

【技术保护点】
1.一种视频流处理方法，其特征在于，所述方法包括：/n获取主播帐号的第一视频流中的第一视频帧；/n识别所述第一视频帧中的不整齐牙齿，所述不整齐牙齿包括多颗牙齿中的至少一颗牙齿；/n响应于所述第一视频帧中包括所述不整齐牙齿，校正所述第一视频帧中的所述不整齐牙齿得到第二视频帧，所述第二视频帧中包括对所述不整齐牙齿进行矫正得到的目标整齐牙齿。/n

【技术特征摘要】
1.一种视频流处理方法，其特征在于，所述方法包括：
获取主播帐号的第一视频流中的第一视频帧；
识别所述第一视频帧中的不整齐牙齿，所述不整齐牙齿包括多颗牙齿中的至少一颗牙齿；
响应于所述第一视频帧中包括所述不整齐牙齿，校正所述第一视频帧中的所述不整齐牙齿得到第二视频帧，所述第二视频帧中包括对所述不整齐牙齿进行矫正得到的目标整齐牙齿。


2.根据权利要求1所述的方法，其特征在于，所述识别所述第一视频帧中的不整齐牙齿，包括：
调用机器学习模型，识别所述第一视频帧中的不整齐牙齿，所述机器学习模型是通过不整齐牙齿样本集训练得到的。


3.根据权利要求2所述的方法，其特征在于，所述机器学习模型包括图像分割模型以及图像分类模型；
所述调用机器学习模型，识别所述第一视频帧中的不整齐牙齿，包括：
根据所述图像分割模型，分割出所述第一视频帧中单颗牙齿对应的牙齿图像区域，所述牙齿包括整齐牙齿以及所述不整齐牙齿；
根据所述图像分类模型，识别所述牙齿图像区域中的所述不整齐牙齿。


4.根据权利要求1所述的方法，其特征在于，所述响应于所述第一视频帧中包括所述不整齐牙齿，校正所述第一视频帧中的所述不整齐牙齿得到第二视频帧，包括：
确定每颗所述不整齐牙齿的第一两侧顶点以及每颗整齐牙齿的第二两侧顶点；
根据所述第一两侧顶点以及所述第二两侧顶点，通过多项式拟合方法确定校正曲线；
根据所述校正曲线，校正所述第一视频帧中的所述不整齐牙齿。


5.根据权利要求4所述的方法，其特征在于，所述根据所述第一两侧顶点以及所述第二两侧顶点，通过多项式拟合方法确定校正曲线，包括：
根据所述第一两侧顶点以及所述第二两侧顶点建立坐标系；
确定所述第一两侧顶点以及所述第二两侧顶点在所述坐标系中的坐标；
根据所述第一两侧顶点的所述坐标以及所述第二两侧顶点的所述坐标，通过多项式拟合方法确定校正函数，所述校正函数的函数图像为所述校正曲线。


6.根据权利要求4所述的方法，其特征在于，所述根据所述校正曲线，校正所述第一视频帧中的所述不整齐牙齿，包括：
在所述第一视频帧中确定所述第一两侧顶点对应的目标校正点，所述目标校正点在所述校正曲线上；
根据所述目标校正点，通过移动最小二乘法对所述不整齐牙齿对应的牙齿图像区域进行图像变形，得到所述目标整齐牙齿，所述目标整齐牙齿的第三两侧顶点为所述目标校正点。


7...

【专利技术属性】
技术研发人员：吴文艺，
申请(专利权)人：广州繁星互娱信息科技有限公司，
类型：发明
国别省市：广东;44