直播互动方法、直播互动系统及直播设备技术方案

本申请实施例提供一种直播互动方法、直播互动系统及直播设备，可以从主播视频图像中提取包括眼球关键点以及多个眼皮关键点的多个人眼关键点，并根据所述眼球关键点以及所述眼皮关键点的位置信息获得主播的眼睛动作信息用于控制直播互动画面中展示的虚拟形象执行相应的眼睛互动操作。如此，可以根据主播视频图像控制虚拟形象的眼睛动作与主播眼部动作进行随动控制，将主播的眼部动作复制到虚拟形象上，进而对主播行为进行生动的表达，可以增强直播的互动效果并提升用户体验。强直播的互动效果并提升用户体验。强直播的互动效果并提升用户体验。

【技术实现步骤摘要】
直播互动方法、直播互动系统及直播设备


[0001]本申请涉及网络直播
，具体而言，涉及一种直播互动方法、直播互动系统及直播设备。

技术介绍

[0002]随着移动互联网技术以及网络通信技术的不断发展，网络直播在人们的日常工作及生活中得到了迅速的发展及应用。例如，用户可以通过智能手机、电脑、平板电脑等设备在线观看直播平台的各种主播提供的直播内容，又或者，用户也可以通过智能手机、电脑、平板电脑等设备随时随地在相应的直播平台提供直播内容，以供他人观看。在一些特定的直播场景中，为了提供多样化的直播体验，基于虚拟形象的直播方式也得到了广泛的应用。相较于真人主播进行直播的方式，通过虚拟形象进行直播无需主播进行真人互动，主播可在后台通过控制虚拟形象模拟后台主播的行为进行直播互动。然而，如何使虚拟形象能够对主播的行为进行生动的表达是目前需要解决的一大技术问题。

技术实现思路

[0003]基于以上内容，第一方面，本申请实施例提供一种直播互动方法，应用于直播设备，所述方法包括：
[0004]获取主播视频图像，并从所述主播视频图像中提取多个人眼关键点，所述多个人眼关键点包括眼球关键点以及多个眼皮关键点；
[0005]根据所述眼球关键点以及所述眼皮关键点的位置信息获得主播的眼睛动作信息；
[0006]根据所述主播的眼睛动作信息控制直播互动画面中展示的虚拟形象执行相应的眼睛互动操作。
[0007]基于第一方面的一种可能的实施方式，所述根据所述眼球关键点以及所述眼皮关键点的位置信息获得主播的眼睛动作信息，包括：
[0008]从所述多个眼皮关键点中获取至少一个参考关键点；
[0009]根据所述眼球关键点的位置信息与所述至少一个参考关键点的位置信息计算得到所述眼球关键点与每个所述参考关键点之间的距离；
[0010]根据所述眼球关键点与每个所述参考关键点之间的距离得到所述主播的眼睛动作信息。
[0011]基于第一方面的一种可能的实施方式，所述方法还包括：
[0012]获取预先确定的包括主播的眼部图像的参考图像，并基于所述参考图像分析得到主播左右眼角之间的第一标准距离以及上下眼皮之间的第二标准距离；
[0013]所述根据所述眼球关键点以及所述眼皮关键点的位置信息获得主播的眼睛动作信息，包括：
[0014]将所述多个眼皮关键点中的上眼皮点和下眼皮点的其中一个作为第一参考关键点，将所述多个眼皮关键点中的左眼角点和右眼角点中的其中一个作为第二参考关键点；
[0015]计算所述眼球关键点分别与所述第一参考关键点和所述第二参考关键点之间的第一距离和第二距离；
[0016]将所述第一距离和所述第二距离分别与所述第一标准距离和所述第二标准距离进行比较得到所述主播的眼睛动作信息。
[0017]基于第一方面的一种可能的实施方式，将所述第一距离和所述第二距离分别与所述第一标准距离和所述第二标准距离进行比较得到所述主播的眼睛动作信息，包括：
[0018]计算所述第一距离和所述第一标准距离之间的第一比值以及所述第二距离和所述第二标准距离之间的第二比值；
[0019]根据所述第一比值和所述第二比值分析得到所述主播的眼睛向上、下、左、右转动的转动信息，进而得到所述眼睛动作信息。
[0020]基于第一方面的一种可能的实施方式，所述根据所述眼球关键点以及所述眼皮关键点的位置信息获得主播的眼睛动作信息，包括：
[0021]按照预设的帧间隔获取所述主播的当前主播视频帧图像之前的一个主播视频帧图像作为参考帧图像；
[0022]获取从所述参考帧图像中提取的眼球关键点与每个眼皮关键点之间的距离，得到第一距离序列；
[0023]计算从所述当前主播视频帧图像中提取的眼球关键点与每个眼皮关键点之间的距离，得到第二距离序列；
[0024]将所述第一距离序列和所述第二距离序列进行比对分析，得到所述主播的眼睛动作信息。
[0025]基于第一方面的一种可能的实施方式，所述方法还包括：
[0026]获取预先确定的包括主播的眼部图像的参考图像，从所述参考图像中提取上眼皮关键点以及下眼皮关键点，并计算得到所述上眼皮关键点与所述下眼皮关键点之间的距离作为第一标定距离；
[0027]所述根据所述眼球关键点以及所述眼皮关键点的位置信息获得主播的眼睛动作信息，包括：
[0028]根据所述多个眼皮关键点中的下眼皮点、上眼皮点以及所述第一标定距离在所述主播视频图像中确定一个虚拟上眼皮点作为第一参考关键点，其中，所述虚拟上眼皮点、所述下眼皮点、所述上眼皮点共线，所述虚拟上眼皮点与所述下眼皮点之间的连线距离等于所述第一标定距离；
[0029]分别计算所述眼球关键点与所述多个眼皮关键点中的左眼角点之间的第一距离、所述眼球关键点与所述多个眼皮关键点中的右眼角点之间的第二距离、所述眼球关键点与所述多个眼皮关键点中的下眼皮点之间的第三距离、以及所述眼球关键点与所述虚拟上眼皮点之间的第四距离；
[0030]根据所述第一距离、第二距离、第三距离、以及第四距离计算得到所述主播的眼球动作系数，其中所述眼球动作系数包括与所述第一距离负相关的第一动作系数、与所述第二距离负相关的第二动作系数、与所述第三距离负相关的第三动作系数、以及与所述第四距离负相关的第四动作系数，其中，所述眼睛动作信息包括所述眼球动作系数。
[0031]基于第一方面的一种可能的实施方式，所述根据所述第一距离、第二距离、第三距
离、以及第四距离计算得到所述主播的眼球动作系数，包括：
[0032]从所述参考图像中提取左眼角关键点以及右眼角关键点，并计算得到所述左眼角关键点与所述右眼角关键点之间的距离作为第二标定距离；
[0033]分别按照以下公式计算得到所述眼球动作系数：
[0034]C1＝(Pd2
‑
D1)/Pd2；
[0035]C2＝(Pd2
‑
D2)/Pd2；
[0036]C3＝(Pd1
‑
D3)/Pd1；
[0037]C4＝(Pd1
‑
D4)/Pd1；
[0038]其中，C1、C2、C3、C4分别为所述第一动作系数、第二动作系数、第三动作系数、以及第四动作系数，且取值区间为[0
‑
1]；D1、D2、D3、D4分别为所述第一距离、第二距离、第三距离、以及第四距离；Pd1和Pd2分别为所述第一标定距离和所述第二标定距离。
[0039]基于第一方面的一种可能的实施方式，所述根据所述主播的眼睛动作信息控制直播互动画面中展示的虚拟形象执行相应的眼睛互动操作，包括：
[0040]所述直播设备作为直播提供终端将所述眼睛动作信息发送给直播服务平台，使直播服务平台根据所述眼睛动作信息对所述虚拟形象的眼部动作进行渲染后生成相应的直播推流发送给直播接收终端进行展示；或者
[0041]所述直播设备作为直播服务平台将所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种直播互动方法，应用于直播设备，其特征在于，所述方法包括：获取主播视频图像，并从所述主播视频图像中提取多个人眼关键点，所述多个人眼关键点包括眼球关键点以及多个眼皮关键点；根据所述眼球关键点以及所述眼皮关键点的位置信息获得主播的眼睛动作信息；根据所述主播的眼睛动作信息控制直播互动画面中展示的虚拟形象执行相应的眼睛互动操作。2.根据权利要求1所述的方法，其特征在于，所述根据所述眼球关键点以及所述眼皮关键点的位置信息获得主播的眼睛动作信息，包括：从所述多个眼皮关键点中获取至少一个参考关键点；根据所述眼球关键点的位置信息与所述至少一个参考关键点的位置信息计算得到所述眼球关键点与每个所述参考关键点之间的距离；根据所述眼球关键点与每个所述参考关键点之间的距离得到所述主播的眼睛动作信息。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取预先确定的包括主播的眼部图像的参考图像，并基于所述参考图像分析得到主播左右眼角之间的第一标准距离以及上下眼皮之间的第二标准距离；所述根据所述眼球关键点以及所述眼皮关键点的位置信息获得主播的眼睛动作信息，包括：将所述多个眼皮关键点中的上眼皮点和下眼皮点的其中一个作为第一参考关键点，将所述多个眼皮关键点中的左眼角点和右眼角点中的其中一个作为第二参考关键点；计算所述眼球关键点分别与所述第一参考关键点和所述第二参考关键点之间的第一距离和第二距离；将所述第一距离和所述第二距离分别与所述第一标准距离和所述第二标准距离进行比较得到所述主播的眼睛动作信息。4.根据权利要求3所述的方法，其特征在于，将所述第一距离和所述第二距离分别与所述第一标准距离和所述第二标准距离进行比较得到所述主播的眼睛动作信息，包括：计算所述第一距离和所述第一标准距离之间的第一比值以及所述第二距离和所述第二标准距离之间的第二比值；根据所述第一比值和所述第二比值分析得到所述主播的眼睛向上、下、左、右转动的转动信息，进而得到所述眼睛动作信息。5.根据权利要求1所述的方法，其特征在于，所述根据所述眼球关键点以及所述眼皮关键点的位置信息获得主播的眼睛动作信息，包括：按照预设的帧间隔获取所述主播的当前主播视频帧图像之前的一个主播视频帧图像作为参考帧图像；获取从所述参考帧图像中提取的眼球关键点与每个眼皮关键点之间的距离，得到第一距离序列；计算从所述当前主播视频帧图像中提取的眼球关键点与每个眼皮关键点之间的距离，得到第二距离序列；将所述第一距离序列和所述第二距离序列进行比对分析，得到所述主播的眼睛动作信
息。6.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取预先确定的包括主播的眼部图像的参考图像，从所述参考图像中提取上眼皮关键点以及下眼皮关键点，并计算得到所述上眼皮关键点与所述下眼皮关键点之间的距离作为第一标定距离；所述根据所述眼球关键点以及所述眼皮关键点的位置信息获得主播的眼睛动作信息，包括：根据所述多个眼皮关键点中的下眼皮点、上眼皮点以及所述第一标定距离在所述主播视频图像中确定一个虚拟上眼皮点作为第一参考关键点，其中，所述虚拟上眼皮点、所述下...

【专利技术属性】
技术研发人员：卫华威，韩欣彤，
申请(专利权)人：广州虎牙科技有限公司，
类型：发明
国别省市：