直播方法、装置、终端及存储介质制造方法及图纸

本申请实施例提供一种直播方法、装置、终端及存储介质。该方法包括：获取第一图像流数据；在识别出第一图像流数据中人物的身体姿态为预设身体姿态时，基于预设身体姿态确定虚拟乐器；基于第一图像流数据中人物的手势变动信息，确定虚拟乐器对应的第二图像流数据，第二图像流数据包括虚拟乐器中控制部位的控制状态变化情况；将第二图像流数据发送至推流服务器。本申请实施例提供的技术方案，通过主播用户的手势变动信息虚拟乐器中控制部位的控制状态变化来模拟演奏乐器场景，使得直播乐器弹奏的过程无需受到乐器器材、场地因素等限制，更加简单易行。

【技术实现步骤摘要】
直播方法、装置、终端及存储介质
本申请实施例涉及互联网
，特别涉及一种直播方法、装置、终端及存储介质。
技术介绍
目前，互联网服务厂商通过直播类应用程序面向用户提供直播服务。相关技术中，主播用户通过表演才艺、打游戏等方式来吸引观众用户观看自己的直播。上述表演才艺包括弹奏乐器。相关技术中，主播在直播自身弹奏乐器的过程中，会受到乐器器材、场地限制等因素的制约，直播弹奏乐器的难度较大。
技术实现思路
本申请实施例提供一种直播方法、装置、终端及存储介质，降低直播弹奏乐器的难度。所述技术方案如下：一方面，本申请实施例提供一种直播方法，所述方法包括：获取第一图像流数据；在识别出所述第一图像流数据中人物的身体姿态为预设身体姿态时，基于所述预设身体姿态确定虚拟乐器；基于所述第一图像流数据中所述人物的手势变动信息，确定所述虚拟乐器对应的第二图像流数据，所述第二图像流数据包括所述虚拟乐器中控制部位的控制状态变化情况；将所述第二图像流数据发送至推流服务器。另一方面，本申请实施例提供一种直播方法，所述方法包括：显示直播画面；在识别出所述直播画面中人物的身体姿态为预设身体姿态时，基于所述预设身体姿态在所述直播画面中显示虚拟乐器；基于所述直播画面中所述人物的手势变动信息，控制所述虚拟乐器中控制部位的控制状态变化，并播放音频流。又一方面，本申请实施例提供一种直播装置，所述装置包括：数据获取模块，用于获取第一图像流数据；第一确定模块，用于在识别出所述第一图像流数据中人物的身体姿态为预设身体姿态时，基于所述预设身体姿态确定虚拟乐器；第二确定模块，用于基于所述第一图像流数据中所述人物的手势变动信息，确定所述虚拟乐器对应的第二图像流数据，所述第二图像流数据包括所述虚拟乐器中控制部位的控制状态变化情况；直播推流模块，用于将所述第二图像流数据发送至推流服务器。又一方面，本申请实施例提供一种直播装置，所述装置包括：画面显示模块，用于显示直播画面；乐器显示模块，用于在识别出所述直播画面中人物的身体姿态为预设身体姿态时，基于所述预设身体姿态在所述直播画面中显示虚拟乐器；虚拟乐器控制模块，用于基于所述直播画面中所述人物的手势变动信息，控制所述虚拟乐器中控制部位的控制状态变化；播放模块，用于播放音频流。又一方面，本申请实施例提供了一种终端，所述终端包括处理器和存储器，所述存储器存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现如一方面所述的直播方法。又一方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现如一方面所述的直播方法。又一方面，本申请实施例提供了一种计算机程序产品，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述直播方法。本申请实施例提供的技术方案可以带来的有益效果至少包括：通过在识别出主播用户的手部姿态处于弹奏虚拟乐器的准备状态时，通过主播用户的手势变动信息来控制虚拟乐器中控制部位(控制乐器发声的部位，比如钢琴琴键)的控制状态变化，以模拟弹奏乐器场景，此外，上述控制部位第二控制状态变化形成第二图像流数据，第二图像流数据由推流服务器转发至观众终端，供观众用户观看，通过主播用户的手势变动信息虚拟乐器中控制部位的控制状态变化来模拟演奏乐器场景，使得直播乐器弹奏的过程无需受到乐器器材、场地因素等限制，更加简单易行。附图说明图1是本申请一个实施例提供的实施环境的示意图；图2是本申请一个实施例提供的直播方法的流程图；图3是本申请另一个实施例提供的直播方法的流程图；图4是本申请一个实施例提供的弹奏虚拟乐器的界面示意图；图5是本申请一个实施例提供的显示弹奏得分的界面示意图；图6是本申请一个实施例提供的直播装置的框图；图7是本申请另一个实施例提供的直播装置的框图；图8是本申请一个实施例提供的终端的框图。具体实施方式为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。图1是本申请一个实施例提供的实施环境的示意图。该实施环境包括：主播终端11、推流服务器12。主播终端11安装有直播类应用程序，主播用户可以通过该直播类应用程序发起直播、发起直播对战、观看直播等等。主播终端11可以是智能手机、平板电脑、个人计算机(PersonalComputer，PC)等等。在本申请实施例中，主播终端11支持主播用户在直播过程中弹奏虚拟乐器，虚拟乐器包括且不限于虚拟钢琴、虚拟吉他、虚拟小提琴、虚拟大提琴、虚拟竖笛等等。弹奏过程中，主播终端11采集主播用户的图像流数据，以及获取上述虚拟乐器的图像流数据，将二者合成，得到直播流数据。需要说明的是，虚拟乐器的图像流数据基于主播用户的图像流数据确定。推流服务器12用于接收主播终端11发送的直播流数据，并将直播流数据推送至其他终端(例如观众终端)。可选地，推流服务器12是上述直播类应用程序对应的后台服务器。推流服务器12可以是一台服务器，也可以是多台服务器组成的服务器集群，还可以是一个云计算服务中心。可选地，该实施环境还包括至少一个观众终端13，观众终端13也安装有直播类应用程序，观众用户可以通过该直播类应用程序观看直播等等。观众终端13可以是智能手机、平板电脑、个人计算机等等。主播终端11与服务器12之间通过无线网络或有线网络建立通信连接。观众终端13与服务器12之间通过无线网络或有线网络建立通信连接。上述的无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网、但也可以是其它任何网络，包括但不限于局域网(LocalAreaNetwork，LAN)、城域网(MetropolitanAreaNetwork，MAN)、广域网(WideAreaNetwork，WAN)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合)。在一些实施例中，使用包括超文本标记语言(HyperTextMark-upLanguage，HTML)、可扩展标记语言(ExtensibleMarkupLanguage，XML)等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层(SecureSocketLayer，SSL)、传输层安全(TransportLayerSecurity，TLS)、虚拟专用网络(VirtualPrivateNetwork，VPN)、网际协议安全(InternetProtocolSecurity，IPsec)等常规加密技术来加密所有或者一些链路。在另一些实施例中，还可以使用定制和/或专用数据通信技术取代或者补充上述数本文档来自技高网...

【技术保护点】
1.一种直播方法，其特征在于，所述方法包括：/n获取第一图像流数据；/n在识别出所述第一图像流数据中人物的身体姿态为预设身体姿态时，基于所述预设身体姿态确定虚拟乐器；/n基于所述第一图像流数据中所述人物的手势变动信息，确定所述虚拟乐器对应的第二图像流数据，所述第二图像流数据包括所述虚拟乐器中控制部位的控制状态变化情况；/n将所述第二图像流数据发送至推流服务器。/n

【技术特征摘要】
1.一种直播方法，其特征在于，所述方法包括：
获取第一图像流数据；
在识别出所述第一图像流数据中人物的身体姿态为预设身体姿态时，基于所述预设身体姿态确定虚拟乐器；
基于所述第一图像流数据中所述人物的手势变动信息，确定所述虚拟乐器对应的第二图像流数据，所述第二图像流数据包括所述虚拟乐器中控制部位的控制状态变化情况；
将所述第二图像流数据发送至推流服务器。


2.根据权利要求1所述的方法，其特征在于，所述预设身体姿态包括预设手势，所述基于所述预设身体姿态确定虚拟乐器，包括：
在第一对应关系中查找所述预设手势对应的虚拟乐器，所述第一对应关系包括不同手势与不同虚拟乐器之间的对应关系。


3.根据权利要求2所述的方法，其特征在于，所述预设身体姿态包括预设手势和预设身体姿势，所述基于所述预设身体姿态确定虚拟乐器，包括：
在第二对应关系中查找与所述预设手势、所述预设身体姿态均对应的虚拟乐器，所述第二对应关系包括不同手势、不同身体姿势与不同虚拟乐器之间的对应关系。


4.根据权利要求1所述的方法，其特征在于，所述基于所述第一图像流数据中所述人物的手势变动信息，确定所述虚拟乐器对应的第二图像流数据，包括：
采集所述第一图像流数据中所述人物在第i个帧段的手势变动信息，所述i为正整数；
基于所述第一图像流数据中所述人物在第i个帧段的手势变动信息，预测所述第一图像流数据中所述人物在第i+1个帧段内的手势变动信息；
基于所述第一图像流数据中所述人物在第i+1个帧段内的手势变动信息，和所述虚拟乐器对应的音频流数据，确定所述虚拟乐器对应的第二图像流数据。


5.根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：
获取所述虚拟乐器对应的音频流数据；
获取所述音频流数据对应的手势集合；
将所述第一图像流数据中所述人物的手势变动信息，与所述音视频数据对应的手势集合进行比对，得到演奏得分。


6.根据权利要求5所述的方法，其特征在于，所述获取所述音频流数据对应的手势集合之后，还包括：
将所述音频流数据对应的手势集合的图像流数据发送至所述推流服务器。


7.根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：
获取所述虚拟乐器对应的第一音频；
基于所述虚拟乐器中控制部位的控制状态变化情况获取第二音频；
将所述第一音频与所述第二音频进行比对，得到演奏得分。


8.一种直播方法，其特征在于，所述方法包括：
显示直播画面；
在识别出所述直播画面中人物的身体姿态为预设身体姿态时，基于所述预设身体姿态在所述直播画面中显示虚拟乐器；
基于所述直播画面中所述人物的手势变动信息，控制所述虚拟乐器中控制部位的控制状态变化，并播放音频流。


9.根据权利要求8所述的方法，其特征在于，所述在所述直播画面中显示所述预设手部姿态对应的虚拟乐器，包括：
确定用于弹奏所述虚拟乐器的人体部位；
根据所述预设身体姿态确定所述虚拟乐器的尺寸；
按照所述虚拟乐器的尺寸，在所述直播画面中所述人体部位对应的位置处显示所述虚拟乐器。


10.根据权利要求9所述的方法，其特征在于，所述在所述直播画面中所述人体部位对应的位置处显示所述虚拟乐器，包括：
在所述直播画面上层显示第一图层，所述第一图层包括所述虚拟乐器，...

【专利技术属性】
技术研发人员：付敏，
申请(专利权)人：广州繁星互娱信息科技有限公司，
类型：发明
国别省市：广东;44