多媒体信息的互动处理方法、装置、电子设备及存储介质制造方法及图纸

本申请提供了一种多媒体信息的互动处理方法、装置、电子设备及计算机可读存储介质；涉及人工智能领域中的机器学习技术；方法包括：获取针对多媒体信息的多个互动信息；基于多媒体信息的观看用户和互动用户的用户画像、以及互动用户针对多媒体信息发表的每个互动信息，构建多媒体信息的用户评论交互特征；基于用户评论交互特征和多媒体信息的多模态特征进行融合处理，得到融合特征；基于融合特征确定观看用户针对每个互动信息的互动概率；基于互动概率对多个互动信息进行排序，并基于排序结果显示多个互动信息。通过本申请，能够针对多媒体信息的互动信息个性化展示，从而实现互动信息的准确推荐。

【技术实现步骤摘要】
多媒体信息的互动处理方法、装置、电子设备及存储介质
本申请涉及人工智能技术和互联网技术，尤其涉及一种多媒体信息的互动处理方法、装置、电子设备及计算机可读存储介质。
技术介绍
人工智能(AI，ArtificialIntelligence)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法和技术及应用系统。随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用。以信息推荐为例，随着互联网技术的发展，针对多媒体信息(例如视频或音频等)的用户互动信息(例如评论)也越来越多，用户会针对多媒体信息的内容进行互动。由于多媒体信息的互动信息数据量较大，相关技术中通常会根据互动信息的字数、或热门程度等指标对互动信息进行排序，用户无法直接获取感兴趣的互动信息，从而不会对推荐的互动信息实施互动行为，因此会导致互动信息的无效推荐，从而对用于推荐互动信息的计算资源和通信资源造成了不必要的浪费。可见，对于如何实现针对多媒体信息的互动信息的有效推荐，相关技术尚无有效解决方案。
技术实现思路
本申请实施例提供一种多媒体信息的互动处理方法、装置、电子设备及计算机可读存储介质，能够针对多媒体信息的互动信息个性化展示，从而实现互动信息的准确推荐。本申请实施例的技术方案是这样实现的：本申请实施例提供一种多媒体信息的互动处理方法，包括：获取针对多媒体信息的多个互动信息；基于所述多媒体信息的观看用户和互动用户的用户画像、以及所述互动用户针对所述多媒体信息发表的每个互动信息，构建所述多媒体信息的用户评论交互特征；基于所述用户评论交互特征和所述多媒体信息的多模态特征进行融合处理，得到融合特征；基于所述融合特征确定所述观看用户针对所述每个互动信息的互动概率；基于所述互动概率对所述多个互动信息进行排序，并基于排序结果显示所述多个互动信息。在上述方案中，所述确定所述每个互动信息的互动极向信息，包括：通过神经网络模型对所述每个互动信息执行以下处理：对所述互动信息进行特征提取，以获得所述互动信息的文本特征；将所述文本特征映射为分别属于不同的候选互动极向信息的概率；将最大概率所对应的候选互动极向信息确定为所述互动信息的互动极向信息；其中，所述神经网络模型是以样本互动信息、以及针对所述样本互动信息标注的互动极向信息训练得到的。在上述方案中，所述基于所述每个互动信息的互动程度、以及所述互动用户的互动程度，确定所述每个互动信息的热度信息，包括：针对所述每个互动信息执行以下处理：根据所述互动信息的被互动次数，确定所述互动信息的互动程度；根据所述互动用户的互动次数，确定所述互动用户的互动程度；将所述互动信息的互动程度、以及所述互动用户的互动程度进行加权求和，并将加权求和的结果确定为所述互动信息的热度信息。在上述方案中，所述根据所述互动信息的被互动次数，确定所述互动信息的互动程度，包括：将所述互动信息的被点赞次数、被回复次数和被转发次数进行加权求和，并将加权求和的结果与所述多媒体信息的播放次数之间的比值确定为第一比值；当所述第一比值大于第一比例阈值时，将所述第一比例阈值确定为所述互动信息的互动程度；当所述第一比值不大于第一比例阈值时，将所述第一比值确定为所述互动信息的互动程度。在上述方案中，所述根据所述互动用户的互动次数，确定所述互动用户的互动程度，包括：将所述互动用户发表的多媒体信息被播放次数、发表互动信息的次数、以及发表的互动信息被互动的次数进行加权求和，并将加权求和的结果与互动参数之间的比值确定为第二比值；其中，所述互动参数是在与多个互动用户一一对应的多个互动结果中选取的最大值，所述互动结果是对所述互动用户发表的多媒体信息被播放次数、发表互动信息的次数、以及发表的互动信息被互动的次数进行加权求和得到的；当所述第二比值大于第二比例阈值时，将所述第二比例阈值确定为所述互动用户的互动程度；当所述第二比值不大于第二比例阈值时，将所述第二比值确定为所述互动用户的互动程度。本申请实施例提供一种多媒体信息的互动处理装置，包括：获取模块，用于获取针对多媒体信息的多个互动信息；构建模块，用于基于所述多媒体信息的观看用户和互动用户的用户画像、以及所述互动用户针对所述多媒体信息发表的每个互动信息，构建所述多媒体信息的用户评论交互特征；融合模块，用于基于所述用户评论交互特征和所述多媒体信息的多模态特征进行融合处理，得到融合特征；互动确定模块，用于基于所述融合特征确定所述观看用户针对所述每个互动信息的互动概率；排序模块，用于基于所述互动概率对所述多个互动信息进行排序，并基于排序结果显示所述多个互动信息。在上述方案中，所述构建模块，还用于针对所述每个互动信息执行以下处理：将所述互动用户的用户画像中的文本和所述互动信息中的文本进行拼接处理，并对所述拼接处理得到的文本进行特征提取，以获得所述互动信息的文本特征；对所述观看用户的用户画像中的文本进行特征提取，以获得所述观看用户的用户特征；将所述互动信息的文本特征和所述观看用户的用户特征进行融合处理，以获得所述多媒体信息的用户评论交互特征。在上述方案中，所述互动信息的文本特征和所述观看用户的用户特征是通过同一个语言处理模型提取的；所述构建模块，还用于通过所述语言处理模型，确定所述互动信息的文本特征的注意力权重和所述观看用户的用户特征的注意力权重，并根据所述互动信息的文本特征的注意力权重和所述观看用户的用户特征的注意力权重，对所述互动信息的文本特征和所述观看用户的用户特征进行加权求和，以获得所述多媒体信息的用户评论交互特征。在上述方案中，所述融合模块，还用于对所述多媒体信息进行特征提取，以获得所述多媒体信息的文本特征、音频特征和视频特征；将所述文本特征、所述音频特征和所述视频特征进行融合处理，以获得所述多媒体信息的多模态特征；将所述用户评论交互特征和所述多媒体信息的多模态特征进行拼接处理，以获得所述融合特征。在上述方案中，所述融合模块，还用于从所述多媒体信息中提取文本信息，对所述文本信息进行特征提取，以获得所述多媒体信息的文本特征，其中，所述文本信息包括以下至少之一：标题、弹幕、对白文本、类型、标签；从所述多媒体信息中提取多个音频帧，并对所述多个音频帧进行特征提取，以获得与所述多个音频帧一一对应的多个音频帧特征，将所述多个音频帧特征进行融合处理，以获得所述多媒体信息的音频特征；从所述多媒体信息中提取多个视频帧，并对所述多个视频帧进行特征提取，以获得与所述多个视频帧一一对应的多个视频帧特征，将所述多个视频帧特征进行融合处理，以获得所述多媒体信息的视频特征。在上述方案中，所述互动确定模块，还用于针对所述每个互动信息执行以下处理：将所述融合特征映射为所述互动信息对应不同的互动类型的互动概率；其中，本文档来自技高网...

【技术保护点】
1.一种多媒体信息的互动处理方法，其特征在于，所述方法包括：/n获取针对多媒体信息的多个互动信息；/n基于所述多媒体信息的观看用户和互动用户的用户画像、以及所述互动用户针对所述多媒体信息发表的每个互动信息，构建所述多媒体信息的用户评论交互特征；/n基于所述用户评论交互特征和所述多媒体信息的多模态特征进行融合处理，得到融合特征；/n基于所述融合特征确定所述观看用户针对所述每个互动信息的互动概率；/n基于所述互动概率对所述多个互动信息进行排序，并基于排序结果显示所述多个互动信息。/n

【技术特征摘要】
1.一种多媒体信息的互动处理方法，其特征在于，所述方法包括：
获取针对多媒体信息的多个互动信息；
基于所述多媒体信息的观看用户和互动用户的用户画像、以及所述互动用户针对所述多媒体信息发表的每个互动信息，构建所述多媒体信息的用户评论交互特征；
基于所述用户评论交互特征和所述多媒体信息的多模态特征进行融合处理，得到融合特征；
基于所述融合特征确定所述观看用户针对所述每个互动信息的互动概率；
基于所述互动概率对所述多个互动信息进行排序，并基于排序结果显示所述多个互动信息。


2.根据权利要求1所述的方法，其特征在于，所述基于所述多媒体信息的观看用户和互动用户的用户画像、以及所述互动用户针对所述多媒体信息发表的每个互动信息，构建所述多媒体信息的用户评论交互特征，包括：
针对所述每个互动信息执行以下处理：
将所述互动用户的用户画像中的文本和所述互动信息中的文本进行拼接处理，并对所述拼接处理得到的文本进行特征提取，以获得所述互动信息的文本特征；
对所述观看用户的用户画像中的文本进行特征提取，以获得所述观看用户的用户特征；
将所述互动信息的文本特征和所述观看用户的用户特征进行融合处理，以获得所述多媒体信息的用户评论交互特征。


3.根据权利要求2所述的方法，其特征在于，
所述互动信息的文本特征和所述观看用户的用户特征是通过同一个语言处理模型提取的；
所述将所述互动信息的文本特征和所述观看用户的用户特征进行融合处理，以获得所述多媒体信息的用户评论交互特征，包括：
通过所述语言处理模型，确定所述互动信息的文本特征的注意力权重和所述观看用户的用户特征的注意力权重，并
根据所述互动信息的文本特征的注意力权重和所述观看用户的用户特征的注意力权重，对所述互动信息的文本特征和所述观看用户的用户特征进行加权求和，以获得所述多媒体信息的用户评论交互特征。


4.根据权利要求1所述的方法，其特征在于，所述基于所述用户评论交互特征和所述多媒体信息的多模态特征进行融合处理，得到融合特征，包括：
对所述多媒体信息进行特征提取，以获得所述多媒体信息的文本特征、音频特征和视频特征；
将所述文本特征、所述音频特征和所述视频特征进行融合处理，以获得所述多媒体信息的多模态特征；
将所述用户评论交互特征和所述多媒体信息的多模态特征进行拼接处理，以获得所述融合特征。


5.根据权利要求4所述的方法，其特征在于，所述对所述多媒体信息进行特征提取，以获得所述多媒体信息的文本特征、音频特征和视频特征，包括：
从所述多媒体信息中提取文本信息，对所述文本信息进行特征提取，以获得所述多媒体信息的文本特征，其中，所述文本信息包括以下至少之一：标题、弹幕、对白文本、类型、标签；
从所述多媒体信息中提取多个音频帧，并对所述多个音频帧进行特征提取，以获得与所述多个音频帧一一对应的多个音频帧特征，将所述多个音频帧特征进行融合处理，以获得所述多媒体信息的音频特征；
从所述多媒体信息中提取多个视频帧，并对所述多个视频帧进行特征提取，以获得与所述多个视频帧一一对应的多个视频帧特征，将所述多个视频帧特征进行融合处理，以获得所述多媒体信息的视频特征。


6.根据权利要求1所述的方法，其特征在于，所述基于所述融合特征确定所述观看用户针对所述每个互动信息的互动概率，包括：
针对所述每个互动信息执行以下处理：
将所述融合特征映射为所述互动信息对应不同的互动类型的互动概率；
其中，所述互动类型包括以下至少之一：点赞、转发、回复、回踩。


7.根据权利要求6所述的方法，其特征在于，所述基于所述互动概率对所述多个互动信息进行排序，并基于排序结果显示所述多个互动信息，包括：
将所述每个互动信息对应不同的互动类型的互动概率进行加权求和，以获得所述每个互动信息的排序分数；
根据所述排序分数对所述多个互动信息进行降序或升序地排序，并根据排序结果显示所述多个互动信息中的至少部分互动信息。


8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对所述多媒体信息进行特征提取，以获得所述多媒体信息的多模态...

【专利技术属性】
技术研发人员：陈小帅，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44