直播互动方法、直播互动系统及直播设备技术方案

技术编号:36700728 阅读:32 留言:0更新日期:2023-03-01 09:17
本申请实施例提供一种直播互动方法、直播互动系统及直播设备,可以从主播视频图像中提取包括眼球关键点以及多个眼皮关键点的多个人眼关键点,并根据所述眼球关键点以及所述眼皮关键点的位置信息获得主播的眼睛动作信息用于控制直播互动画面中展示的虚拟形象执行相应的眼睛互动操作。如此,可以根据主播视频图像控制虚拟形象的眼睛动作与主播眼部动作进行随动控制,将主播的眼部动作复制到虚拟形象上,进而对主播行为进行生动的表达,可以增强直播的互动效果并提升用户体验。强直播的互动效果并提升用户体验。强直播的互动效果并提升用户体验。

【技术实现步骤摘要】
直播互动方法、直播互动系统及直播设备


[0001]本申请涉及网络直播
,具体而言,涉及一种直播互动方法、直播互动系统及直播设备。

技术介绍

[0002]随着移动互联网技术以及网络通信技术的不断发展,网络直播在人们的日常工作及生活中得到了迅速的发展及应用。例如,用户可以通过智能手机、电脑、平板电脑等设备在线观看直播平台的各种主播提供的直播内容,又或者,用户也可以通过智能手机、电脑、平板电脑等设备随时随地在相应的直播平台提供直播内容,以供他人观看。在一些特定的直播场景中,为了提供多样化的直播体验,基于虚拟形象的直播方式也得到了广泛的应用。相较于真人主播进行直播的方式,通过虚拟形象进行直播无需主播进行真人互动,主播可在后台通过控制虚拟形象模拟后台主播的行为进行直播互动。然而,如何使虚拟形象能够对主播的行为进行生动的表达是目前需要解决的一大技术问题。

技术实现思路

[0003]基于以上内容,第一方面,本申请实施例提供一种直播互动方法,应用于直播设备,所述方法包括:
[0004]获取主播视频图像,并从所述主播视频图像中提取多本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种直播互动方法,应用于直播设备,其特征在于,所述方法包括:获取主播视频图像,并从所述主播视频图像中提取多个人眼关键点,所述多个人眼关键点包括眼球关键点以及多个眼皮关键点;根据所述眼球关键点以及所述眼皮关键点的位置信息获得主播的眼睛动作信息;根据所述主播的眼睛动作信息控制直播互动画面中展示的虚拟形象执行相应的眼睛互动操作。2.根据权利要求1所述的方法,其特征在于,所述根据所述眼球关键点以及所述眼皮关键点的位置信息获得主播的眼睛动作信息,包括:从所述多个眼皮关键点中获取至少一个参考关键点;根据所述眼球关键点的位置信息与所述至少一个参考关键点的位置信息计算得到所述眼球关键点与每个所述参考关键点之间的距离;根据所述眼球关键点与每个所述参考关键点之间的距离得到所述主播的眼睛动作信息。3.根据权利要求1所述的方法,其特征在于,所述方法还包括:获取预先确定的包括主播的眼部图像的参考图像,并基于所述参考图像分析得到主播左右眼角之间的第一标准距离以及上下眼皮之间的第二标准距离;所述根据所述眼球关键点以及所述眼皮关键点的位置信息获得主播的眼睛动作信息,包括:将所述多个眼皮关键点中的上眼皮点和下眼皮点的其中一个作为第一参考关键点,将所述多个眼皮关键点中的左眼角点和右眼角点中的其中一个作为第二参考关键点;计算所述眼球关键点分别与所述第一参考关键点和所述第二参考关键点之间的第一距离和第二距离;将所述第一距离和所述第二距离分别与所述第一标准距离和所述第二标准距离进行比较得到所述主播的眼睛动作信息。4.根据权利要求3所述的方法,其特征在于,将所述第一距离和所述第二距离分别与所述第一标准距离和所述第二标准距离进行比较得到所述主播的眼睛动作信息,包括:计算所述第一距离和所述第一标准距离之间的第一比值以及所述第二距离和所述第二标准距离之间的第二比值;根据所述第一比值和所述第二比值分析得到所述主播的眼睛向上、下、左、右转动的转动信息,进而得到所述眼睛动作信息。5.根据权利要求1所述的方法,其特征在于,所述根据所述眼球关键点以及所述眼皮关键点的位置信息获得主播的眼睛动作信息,包括:按照预设的帧间隔获取所述主播的当前主播视频帧图像之前的一个主播视频帧图像作为参考帧图像;获取从所述参考帧图像中提取的眼球关键点与每个眼皮关键点之间的距离,得到第一距离序列;计算从所述当前主播视频帧图像中提取的眼球关键点与每个眼皮关键点之间的距离,得到第二距离序列;将所述第一距离序列和所述第二距离序列进行比对分析,得到所述主播的眼睛动作信
息。6.根据权利要求1所述的方法,其特征在于,所述方法还包括:获取预先确定的包括主播的眼部图像的参考图像,从所述参考图像中提取上眼皮关键点以及下眼皮关键点,并计算得到所述上眼皮关键点与所述下眼皮关键点之间的距离作为第一标定距离;所述根据所述眼球关键点以及所述眼皮关键点的位置信息获得主播的眼睛动作信息,包括:根据所述多个眼皮关键点中的下眼皮点、上眼皮点以及所述第一标定距离在所述主播视频图像中确定一个虚拟上眼皮点作为第一参考关键点,其中,所述虚拟上眼皮点、所述下...

【专利技术属性】
技术研发人员:卫华威韩欣彤
申请(专利权)人:广州虎牙科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1