直播流对象跟踪方法及其装置、设备、介质制造方法及图纸

本申请涉及网络直播技术领域，公开一种直播流对象跟踪方法及其装置、设备、介质，包括：向直播间推送直播流，该直播流包含视频流和音频流，所述音频流包含音频输入设备输入的音频数据；对所述音频数据进行语音识别，获得相对应的口述文本，确定该口述文本所指向的目标对象；从所述图像流中识别出所述目标对象，获取该目标对象在该视频流的视频帧中的边缘轮廓信息；将所述边缘轮廓信息作为定位跟踪信息，推送至所述直播间，使接收该定位跟踪信息的终端设备在所述视频流的播放界面中突出显示所述目标对象的轮廓。本申请提升图形用户界面中直播内容的可读性，从而改善用户体验。从而改善用户体验。从而改善用户体验。

【技术实现步骤摘要】
直播流对象跟踪方法及其装置、设备、介质


[0001]本申请涉及网络直播
，尤其涉及一种直播流对象跟踪方法及其相应的装置、计算机设备以及计算机可读存储介质。

技术介绍

[0002]网络视频直播可以快速有效地传递信息，具有现场性、实时性、直观性和娱乐性等特点。网络视频直播的一种应用形式是用于为游戏项目或者体育项目之间的竞技类或娱乐类节目进行解说，为此，从技术上支持解说型的网络直播成本本领域的新热点。时下，热门直播项目普遍为多人竞技类项目，当主播进行解说时，时常会提及被解说项目中的选手或是选手的使用道具、技能等等对象，当主播提及这些对象时，观众仍需花费些许精力去反应和定位各个点评选手以便跟上主播的解说进度。由于定位主播解说的对象需要花费时间，容易影响观众的观感体验。
[0003]为了使观众用户可以迅速跟踪主播解说的内容，改善用户体验，本申请尝试探索更多适于满足实际需求的技术方案。

技术实现思路

[0004]本申请的首要目的在于解决上述问题至少之一而提供一种直播流对象跟踪方法及其相应的装置、计算机设备、计算机可读存储介质。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种直播流对象跟踪方法，其特征在于，包括如下步骤：向直播间推送直播流，该直播流包含视频流和音频流，所述音频流包含音频输入设备输入的音频数据，所述视频流包含第三方程序的显示界面相对应的图像流；对所述音频数据进行语音识别，获得相对应的口述文本，确定该口述文本所指向的目标对象；从所述图像流中识别出所述目标对象，获取该目标对象在该视频流的视频帧中的边缘轮廓信息；将所述边缘轮廓信息作为定位跟踪信息，推送至所述直播间，使接收该定位跟踪信息的终端设备在所述视频流的播放界面中突出显示所述目标对象的轮廓。2.根据权利要求1所述的直播流对象跟踪方法，其特征在于，向直播间推送直播流，包括如下步骤：从显存中获取第三方程序的显示界面相对应的图像流；接收与主播客户端设备连接的摄像设备摄取的视频数据；接收与主播客户端设备连接的音频输入设备输入的音频数据；将所述图像流、视频数据合成视频流，再将其和音频数据合成所述直播流，将其推送至直播间播放。3.根据权利要求1所述的直播流对象跟踪方法，其特征在于，对所述音频数据进行语音识别，获得相对应的口述文本，确定该口述文本所指向的目标对象，包括如下步骤：提取所述音频数据的深层声学特征，构建相对应的声学特征向量；根据所述声学特征向量调用第一神经网络模型获得对应的音素序列，解码该音素序列获得所述口述文本；根据预设的信息列表中的对象文本信息匹配所述口述文本，获得与该口述文本相匹配对象文本信息，以其确认所述目标对象。4.根据权利要求3所述的直播流对象跟踪方法，其特征在于，根据预设的信息列表中的对象文本信息匹配所述口述文本，获得与该口述文本相匹配对象文本信息，以其确认所述目标对象之前，包括如下步骤：获取用于竞技项目描述相对应的词条，所述竞技项目包括游戏项目或体育竞赛项目；筛选出参与所述竞技项目的目标对象的角色名称、角色技能名称相对应的对象文本信息；将所述对象文本信息关联相应的目标对象存储于所述信息列表中。5.根据权利要求1所述的直播流对象跟踪方法，其特征在于，从所述图像流中识别出所述目标对象，获取该目标对象在该视频流的视频帧中的边缘轮廓信息，包括如下步骤：提取所述视频流中各个视频帧的深层图片特征，构建相对应的图片特征向量；根据所述图片特征向量调用第二神经网络模型识别出在该视频流的视频帧中的所述目标对象，获得所述目标对象在该视频流的视频帧中的实时位置；调用第三神经网络模型分割出所述目标对象对应的图片特征向量，对其进行边缘补偿计算，获得该目标对象的边缘轮廓信息，所述边缘...

【专利技术属性】
技术研发人员：曾家乐，
申请(专利权)人：广州方硅信息技术有限公司，
类型：发明
国别省市：