一种基于社交群聊的直播方法、系统及存储介质技术方案

本发明专利技术公开了一种基于社交群聊的直播方法、系统及存储介质，基于社交网络状况数据，分析用户群体网络状况，并生成不同用户的用户网络状况信息；计算分析用户直播视频数据中的数据完整度，结合用户网络状况信息生成不同用户的网络传输方案；基于网络传输方案与所述数据完整度对用户直播视频数据进行数据修复并得到修正直播视频数据；将直播音频数据导入语音分析模型进行语义识别并生成实时字幕数据；将修正直播视频数据与实时字幕数据发送至接收方用户终端设备。通过本发明专利技术，能够有效提高多人社交直播时画面的完整度与连续性、并基于本发明专利技术方法，能够有效提高直播系统对多用户终端下与多种网络环境下的适应能力。下与多种网络环境下的适应能力。下与多种网络环境下的适应能力。

【技术实现步骤摘要】
一种基于社交群聊的直播方法、系统及存储介质


[0001]本专利技术涉及直播数据处理领域，更具体的，涉及一种基于社交群聊的直播方法、系统及存储介质。

技术介绍

[0002]网络直播是可以同一时间透过网络系统在不同的交流平台观看影片的一种网络视频体现形式，是一种新兴的网络社交方式，网络直播平台也成为了一种崭新的社交媒体。主要分为实时直播游戏、电影或电视剧，介绍产品知识及销售产品等。另外，直播的发展也促进在会议、电商等领域的高速发展。
[0003]新时代背景下，网络直播作为新兴的传播形式，网络直播能量巨大。唯有借力技术，拓展领域，加强管理，不断创新，更多更好地激发其经济价值和社会价值，网络直播行业才能更加稳步健康地发展，为社会做出更大贡献。
[0004]但是，受制于网络波动与硬件资源等条件，社交直播依然存在视频数据传输速率慢、直播画面卡顿、画面失真、实时字幕缺失等问题，从而大大降低了用户体验。

技术实现思路

[0005]本专利技术克服了现有技术的缺陷，提出了一种基于社交群聊的直播方法、系统及存储介质。
[0006]本专利技术第一方面提供了一种基于社交群聊的直播方法，包括：
[0007]实时获取发送方的用户直播视频数据；
[0008]基于社交网络状况数据，分析用户群体网络状况，并生成不同用户的用户网络状况信息；
[0009]计算分析用户直播视频数据中的数据完整度，根据所述数据完整度与用户网络状况信息生成不同用户的网络传输方案；
[0010]基于网络传输方案与所述数据完整度对用户直播视频数据进行数据修复并得到修正直播视频数据；
[0011]从修正直播视频数据中提取直播音频数据，将直播音频数据导入语音分析模型进行语义识别并生成实时字幕数据；
[0012]将修正直播视频数据与实时字幕数据发送至接收方用户终端设备。
[0013]本方案中，所述基于社交网络状况数据，分析用户群体网络状况，并生成不同用户的用户网络状况信息，具体为：
[0014]从社交网络状况数据中提取出网络波动信息、网络丢包率、网络平均延迟信息；
[0015]基于所述网络波动信息、网络丢包率、网络平均延迟信息，对每个用户生成对应的用户网络状况信息。
[0016]本方案中，所述计算分析用户直播视频数据中的数据完整度，根据所述数据完整度与用户网络状况信息生成不同用户的网络传输方案，之前包括：
[0017]将用户直播视频数据进行数据标准化与数据解压预处理，得到中间视频数据；
[0018]对中间视频数据进行关键帧提取，得到关键图像帧数据；
[0019]基于关键图像帧数据进行人物区域与背景区域识别，并基于人物区域与背景区域进行特征提取，得到人物图像特征与背景图像特征；
[0020]分析并计算人物图像特征与背景图像特征的特征连续度与完整度，基于所述特征连续度与完整度进行分析得到整个用户直播视频数据的数据完整度。
[0021]本方案中，所述计算分析用户直播视频数据中的数据完整度，根据所述数据完整度与用户网络状况信息生成不同用户的网络传输方案，包括：
[0022]获取中间视频数据的数据量并得到整体数据量；
[0023]基于人物图像特征与背景图像特征的特征连续度与完整度进行修复数据量计算，得到修复数据量与视频修复数据区域；
[0024]获取系统硬件资源信息、基于系统硬件资源信息、修复数据量、所述整体数据量进行实时修复时间预估分析，得到多段数据的修复时间；
[0025]将所述多段数据的修复时间进行均值计算得到时间均值，将所述时间均值作为主动延迟时间；
[0026]基于主动延迟时间、修复数据量、视频修复数据区域、用户网络状况信息生成不同用户对应的网络传输方案。
[0027]本方案中，所述基于网络传输方案与所述数据完整度对用户直播视频数据进行数据修复并得到修正直播视频数据，具体为：
[0028]获取用户直播视频数据中的关键图像帧数据；
[0029]从关键图像帧数据中进行随机图像帧提取，得到选取图像帧；
[0030]判断选取图像帧中的人物轮廓特征与人物色彩特征的完整度是否小于预设完整度，若是，则循环进行随机图像帧提取，直至选取图像帧中对应的人物轮廓特征与人物色彩特征的完整度均大于预设完整度；
[0031]从选取图像帧中进行人物特征提取得到修复人物特征信息；
[0032]将网络传输方案中的主动延迟时间作为背景更新周期；
[0033]基于背景更新周期，从关键图像帧数据中获取对应周期内的图像帧，得到选取背景图像帧；
[0034]从选取背景图像帧中进行背景特征提取并得到修复背景特征信息；
[0035]基于网络传输方案中的视频修复数据区域，从所述人物图像特征与背景图像特征提取出待修复人物特征与待修复背景特征；
[0036]将修复人物特征信息与待修复人物特征进行特征融合修复，得到修正人物特征；
[0037]将修复背景特征信息与待修复背景特征进行特征融合修复，得到修正背景特征；
[0038]基于修正人物特征与修正背景特征，对用户直播视频数据进行数据覆盖修正，得到修正直播视频数据。
[0039]本方案中，所述从修正直播视频数据中提取直播音频数据，将直播音频数据导入语音分析模型进行语义识别并生成实时字幕数据，之前包括：
[0040]获取所有用户的历史用户直播数据；
[0041]从所述历史用户直播数据进行音频数据数据提取并得到历史用户音频数据；
[0042]选定一个当前用户，从历史用户音频数据提取出当前用户历史音频数据与对应音频文字数据；
[0043]将当前用户历史音频数据进行音频数据标准化处理，将处理后的数据标记为音频数据集；
[0044]将音频数据集与音频文字数据进行整合得到语音训练数据；
[0045]构建基于CNN的语音分析模型；
[0046]将语音训练数据导入语音分析模型进行语义识别训练与音频特征分析，得到当前用户音频特征数据；
[0047]将音频文字数据导入语音分析模型进行语义分割，得到词汇数据；
[0048]对词汇数据进行词汇频率计算，筛选出高于预设频率值的词汇得到高频词汇数据；
[0049]基于高频词汇数据从当前用户音频特征数据中获取对应的高频音频数据；
[0050]将高频词汇数据与高频音频数据进行关联映射，并得到高频语音关联数据；
[0051]对其他用户对应的用户历史音频数据与对应音频文字数据进行分析并得到其他用户对应的用户音频特征数据与高频语音关联数据；
[0052]将所有用户对应的用户音频特征数据与高频语音关联数据导入语音数据库中。
[0053]本方案中，所述从修正直播视频数据中提取直播音频数据，将直播音频数据导入语音分析模型进行语义识别并生成实时字幕数据，具体为：
[0054]获取直播用户信息；
[0055]基于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于社交群聊的直播方法，其特征在于，包括：实时获取发送方的用户直播视频数据；基于社交网络状况数据，分析用户群体网络状况，并生成不同用户的用户网络状况信息；计算分析用户直播视频数据中的数据完整度，根据所述数据完整度与用户网络状况信息生成不同用户的网络传输方案；基于网络传输方案与所述数据完整度对用户直播视频数据进行数据修复并得到修正直播视频数据；从修正直播视频数据中提取直播音频数据，将直播音频数据导入语音分析模型进行语义识别并生成实时字幕数据；将修正直播视频数据与实时字幕数据发送至接收方用户终端设备。2.根据权利要求1所述的一种基于社交群聊的直播方法，其特征在于，所述基于社交网络状况数据，分析用户群体网络状况，并生成不同用户的用户网络状况信息，具体为：从社交网络状况数据中提取出网络波动信息、网络丢包率、网络平均延迟信息；基于所述网络波动信息、网络丢包率、网络平均延迟信息，对每个用户生成对应的用户网络状况信息。3.根据权利要求1所述的一种基于社交群聊的直播方法，其特征在于，所述计算分析用户直播视频数据中的数据完整度，根据所述数据完整度与用户网络状况信息生成不同用户的网络传输方案，之前包括：将用户直播视频数据进行数据标准化与数据解压预处理，得到中间视频数据；对中间视频数据进行关键帧提取，得到关键图像帧数据；基于关键图像帧数据进行人物区域与背景区域识别，并基于人物区域与背景区域进行特征提取，得到人物图像特征与背景图像特征；分析并计算人物图像特征与背景图像特征的特征连续度与完整度，基于所述特征连续度与完整度进行分析得到整个用户直播视频数据的数据完整度。4.根据权利要求3所述的一种基于社交群聊的直播方法，其特征在于，所述计算分析用户直播视频数据中的数据完整度，根据所述数据完整度与用户网络状况信息生成不同用户的网络传输方案，包括：获取中间视频数据的数据量并得到整体数据量；基于人物图像特征与背景图像特征的特征连续度与完整度进行修复数据量计算，得到修复数据量与视频修复数据区域；获取系统硬件资源信息、基于系统硬件资源信息、修复数据量、所述整体数据量进行实时修复时间预估分析，得到多段数据的修复时间；将所述多段数据的修复时间进行均值计算得到时间均值，将所述时间均值作为主动延迟时间；基于主动延迟时间、修复数据量、视频修复数据区域、用户网络状况信息生成不同用户对应的网络传输方案。5.根据权利要求4所述的一种基于社交群聊的直播方法，其特征在于，所述基于网络传输方案与所述数据完整度对用户直播视频数据进行数据修复并得到修正直播视频数据，具
体为：获取用户直播视频数据中的关键图像帧数据；从关键图像帧数据中进行随机图像帧提取，得到选取图像帧；判断选取图像帧中的人物轮廓特征与人物色彩特征的完整度是否小于预设完整度，若是，则循环进行随机图像帧提取，直至选取图像帧中对应的人物轮廓特征与人物色彩特征的完整度均大于预设完整度；从选取图像帧中进行人物特征提取得到修复人物特征信息；将网络传输方案中的主动延迟时间作为背景更新周期；基于背景更新周期，从关键图像帧数据中获取对应周期内的图像帧，得到选取背景图像帧；从选取背景图像帧中进行背景特征提取并得到修复背景特征信息；基于网络传输方案中的视频修复数据区域，从所述人物图像特征与背景图像特征提取出待修复人物特征与待修复背景特征；将修复人物特征信息与待修复人物特征进行特征融合修复，得到修正人物特征；将修复背景特征信息与待修复背景特征进行特征融合修复，得到修正背景特征；基于修正人物特征与修正背景特征，对用户直播视频数据进行数据覆盖修正，得到修正直播视频数据。6.根据...

【专利技术属性】
技术研发人员：王芗琦，蒙智莉，
申请(专利权)人：美琦佳成网络科技有限公司，
类型：发明
国别省市：